Signature-Guided Capacity Occupancy for Dense Expert Merging

Sintesi Tecnica: SigMerge (Signature-Guided Capacity Occupancy)

Definizione del Problema
La fusione densa di esperti mira a combinare più modelli linguistici specializzati per dominio in un unico checkpoint senza ulteriore addestramento, operando tipicamente sugli spazi dei vettori di task (task vectors) nello spazio dei pesi. Tuttavia, i metodi esistenti affrontano un limite fondamentale: un singolo set di parametri condivisi deve codificare competenze acquisite in isolamento, portando all' "interferenza tra esperti", in cui gli aggiornamenti per un dominio cancellano le capacità apprese da un altro.

Sebbene le strategie esistenti affrontino parzialmente questo problema, esse non riescono a rispondere a tre domande critiche riguardanti l'ammissione del supporto ai vettori di task:

1. Dove: In quali layer la capacità dovrebbe essere aperta, e quanto?
2. Chi: Quali domini dovrebbero occupare tale capacità in base alla domanda?
3. Come: Come dovrebbe essere ammesso il supporto senza fare affidamento su una costosa ricerca su ricette di fusione (merge recipes)?

L'analisi empirica rivela che le fusioni dense lasciano un significativo "gap residuo dell'esperto" (una media di 12,13 punti percentuali in varie configurazioni), indicando che le capacità specialistiche non sono pienamente preservate. Gli attuali metodi applicano spesso regole uniformi o si affidano a proxy basati sulla ricerca che potrebbero non catturare la vera performance dello specialista, fallendo nel dirigere la capacità verso i domini che ne hanno più bisogno.

Metodologia: SigMerge
Gli autori propongono SigMerge, un operatore privo di addestramento (training-free) che recupera la capacità specialistica allocando un numero limitato di coordinate dei vettori di task attraverso i layer e i domini. Il metodo opera sopra una fusione densa di base (l' "ancora") e consiste in tre componenti principali:

1. Dal Conflitto alla Capacità (Dove):
   SigMerge determina la capacità di ogni layer ($C_i$) in base al disaccordo tra esperti. Aggrega tre visioni complementari del conflitto per ogni layer:

   • Geometria degli stati nascosti: Misurata tramite l'Allineamento del Kernel Centrato (CKA) degli stati nascosti aggregati.
   • Direzione del vettore di task: Misurata tramite la similarità del coseno tra gli aggiornamenti degli esperti.
   • Domanda di coordinate con segno (Signed coordinate demand): Misurata dalla frequenza di segni opposti sui singoli pesi.
     Questi segnali vengono normalizzati e mediati per formare un punteggio di conflitto ($\bar{S}_i$). La capacità del layer viene quindi derivata linearmente: i layer con alto conflitto ricevono meno capacità (per evitare l'interferenza), mentre i layer con basso conflitto ricevono più capacità.

2. Dal Deficit all'Allocazione (Chi):
   Il metodo alloca la capacità aperta tra i domini in base ai "deficit residui dell'esperto". Per ogni dominio $d$, il deficit $g_d$ è definito come il gap di performance tra il modello fuso di base e il miglior esperto nel pool per quel dominio specifico. La quota di capacità ($\rho_d$) assegnata a ciascun dominio è proporzionale al suo deficit. I domini che il modello fuso di base già eguaglia perfettamente ricevono capacità zero, garantendo che la riparazione miri solo alle capacità mancanti.

3. Occupazione Sequenziale (Come):
   Per riempire il budget di layer-dominio senza ricerca, SigMerge impiega una regola di rivendicazione sequenziale. I domini sono ordinati per magnitudo del deficit (il deficit maggiore per primo). Ogni dominio rivendica la sua quota allocata di coordinate dall'insieme delle coordinate ancora non rivendicate all'interno di un layer, selezionando quelle con la magnitudo maggiore nel proprio vettore di task ($\Delta_{d,i}$). Ciò impedisce a più domini di competere per le stesse coordinate ad alta magnitudo e assicura che i domini più sotto-serviti abbiano priorità di accesso agli aggiornamenti più impattanti.

Il modello fuso finale è costruito come $\hat{\theta} = \theta_{base} + \sum_d V_d$, dove $V_d$ rappresenta l'incremento limitato ammesso dalla regola di occupazione sequenziale.

Contributi Chiave

1. Caratterizzazione Empirica: Gli autori dimostrano che i deficit degli specialisti nelle fusioni dense sono ampi ed eterogenei tra modelli, domini e famiglie di fusione, sostenendo che la riparazione richiede l'allocazione di coordinate piuttosto che semplici regole di mediazione migliori.
2. Framework Training-Free: SigMerge risolve le tre sfide dell'assegnazione della capacità (dove, chi, come) senza addestramento o ricerca. Utilizza segnali misurabili (firme di conflitto e deficit di performance) per costruire una matrice di budget di rango uno ($B = C\rho^\top$).
3. Garanzie Teoriche e Algoritmiche: Il paper fornisce una prova (Teorema 1) che la regola di occupazione sequenziale è ottima per stadi (stagewise optimal) per massimizzare la massa del vettore di task ammessa dati i quorum fissi e un ordine di precedenza.
4. Valutazione Completa: Il metodo è valutato in 21 configurazioni accoppiate (7 ancore $\times$ 3 pool di modelli) e confrontato con sei baseline, inclusi metodi sensibili al conflitto, per layer e basati sulla ricerca.

Risultati

• Miglioramento delle Performance: SigMerge migliora ognuna delle 21 configurazioni accoppiate, ottenendo un miglioramento relativo medio del 15,0% nei punteggi Macro-5.
• Riduzione del Gap: Il gap residuo medio dell'esperto è ridotto da 12,13 a 5,77 punti percentuali.
• Classifica: SigMerge raggiunge il miglior ranking medio (1,67) tra sei metodi di fusione, superando tutte le baseline in tre categorie (sensibili al conflitto, per layer e basate sulla ricerca).
• Studi di Ablazione: Rimuovere o il capacità derivata dal conflitto o l'allocazione guidata dal deficit causa cali significativi di performance (comparabili al guadagno totale), confermando che entrambi i segnali sono essenziali. La scelta specifica delle coordinate (occupazione sequenziale) spiega circa l'80% del guadagno a un budget fisso.
• Efficienza: Il metodo aggiunge circa 0,6 ore di GPU al costo dell'ancora, posizionandosi tra le baseline senza ricerca e risultando significativamente più veloce dei metodi basati sulla ricerca come MERGE3 (che richiede circa 26,8 ore).

Significatività e Rivendicazioni
Il paper sostiene che SigMerge offra un approccio principato e privo di addestramento alla fusione densa di esperti che affronta esplicitamente l'eterogeneità dei deficit di dominio e i conflitti per layer. Fondando le decisioni sulla capacità in segnali misurabili anziché nella ricerca o in euristiche uniformi, SigMerge recupera efficacemente le capacità specialistiche perse nelle fusioni dense standard.

Gli autori notano con modestia che il metodo non determina l'ancora o il pool di esperti; esso opera entro l'intervallo definito da essi. Inoltre, la valutazione attuale è limitata a cinque domini, e la scalabilità verso pool più grandi o la necessità di matrici di budget di rango superiore rimane una questione aperta. Tuttavia, i risultati suggeriscono che misurare e dirigere in base ai reali deficit di performance sia una strategia più efficace rispetto al semplice affidarsi alla geometria del vettore di task o a procedure di ricerca costose.