Sintesi Tecnica: La Geometria degli Aggiornamenti: Allineamento di Fisher su Scala di Vocabolario

1. Definizione del Problema

Il documento affronta la sfida della selezione delle sorgenti senza addestramento (training-free source selection) per famiglie di Large Language Models (LLM) che condividono un vocabolario ma differiscono nei target di predizione (ad esempio, adattare un tokenizer condiviso a sequenze SMILES, proteine o dati genomici).

Le metriche di trasferibilità attuali affrontano un dilemma in questo regime "activation-dark":

• Le metriche di similarità delle rappresentazioni (es. CKA, RSA, SVCCA) calcolano la similarità basandosi su attivazioni congelate. Gli autori sostengono che queste siano non identificabili per il trasferimento a livello di testa (head-level transfer), poiché ignorano la geometria degli errori condizionati dalle etichette. I modelli possono condividere rappresentazioni identiche pur avendo direzioni di aggiornamento ortogonali.
• Le metriche classiche della geometria degli aggiornamenti (es. allineamento di Fisher) catturano teoricamente la struttura di aggiornamento necessaria ma sono computazionalmente proibitive alla scala del vocabolario ($K \sim 10^5$). Memorizzare la matrice del secondo momento dell'errore ($\Gamma_e$) richiede circa 61 GiB per task, rendendo l'esecuzione esatta impraticabile per grandi set di candidati.

La domanda centrale è: come si può stimare efficientemente la compatibilità geometrica degli aggiornamenti dei parametri (allineamento di Fisher) alla scala del vocabolario senza materializzare matrici massicce o fare affidamento su segnali potenzialmente fuorvianti basati solo sulle attivazioni?

2. Metodologia

Fondamento Teorico

Gli autori stabiliscono che, per una testa lineare, il gradiente per singolo esempio $g$ si fattorizza esattamente nel prodotto di Kronecker tra l'attivazione pre-penultima $a$ e l'errore nello spazio dei logit $e$ (ovvero, $g = a \otimes e$).

• Non-Identificabilità delle Metriche di Rappresentazione: Il documento dimostra (Teorema 3.2) che le metriche basate solo sulla rappresentazione non possono determinare l'allineamento di Fisher della testa. Costruiscono un "testimone" (witness) in cui i task condividono rappresentazioni identiche ($Z_i = Z_j$) ma hanno set di etichette disgiunti, risultando in gradienti di testa ortogonali ($A_F(i, j) = 0$). Perti, $M(Z_i, Z_j)$ non può distinguere tra task identici e task ortogonali.
• Allineamento di Fisher come Cosine Product-Kernel: Il contributo teorico centrale (Teorema 4.2) riscrive l'allineamento di Fisher della testa come la similarità del coseno tra kernel mean embeddings in uno spazio di feature congiunto $(a, e)$.
  $$A_F^{head}(i, j) = \cos(\mu_{ae, i}, \mu_{ae, j})$$
  dove $\mu_{ae, k}$ è l'embedding medio del prodotto del kernel $k_{ae}((a, e), (a', e')) = (a^\top a')^2 (e^\top e')^2$.
  Questa decomposizione rivela che la trasferibilità dipende da tre fattori:
  1. Geometria delle Attivazioni: Similarità dei secondi momenti delle attivazioni ($M_a$).
  2. Geometria dell'Errore: Similarità dei secondi momenti dell'errore ($\Gamma_e$).
  3. Accoppiamento: Un rapporto di non-separabilità ($\rho$) che misura la deviazione dall'assunzione che attivazioni ed errori siano indipendenti.

Algoritmo: FisherSketch

Per rendere il processo trattabile alla scala del vocabolario, gli autori introducono FisherSketch, uno stimatore streaming a singolo passaggio.

• Caratteristiche Maclaurin Casuali (Random Maclaurin Features): Inveve di calcolare l'intero embedding $O(d^2 K^2)$, FisherSketch utilizza proiezioni casuali fattorizzate (vettori di Rademacher) per stimare l'aspettativa del prodotto del kernel.
• Efficienza: Sfrutta la struttura di Kronecker per calcolare le proiezioni separatamente per $a$ ed $e$, riducendo la complessità per campione da $O(mdK)$a$O(m(d+K))$.
• Trasformata di Hadamard Randomizzata Sottocampionata (SRHT): Per lo spazio dell'errore ad alta dimensionalità ($K \approx 128.256$), viene utilizzata la SRHT per ridurre il costo della proiezione da $O(mK)$a$O(K \log K + m)$.
• Output: Il metodo produce una firma del task compatta da 16 KB (un vettore in $\mathbb{R}^m$ con $m=4096$) per ogni task, che codifica la geometria congiunta di attivazione-errore. Mantiene inoltre uno stato di streaming ridotto di 192 KB per la stima split-sample al fine di ridurre il bias.

3. Contributi Chiave

1. Dimostrazione di Non-Identificabilità: Dimostrazione formale che le metriche di similarità della rappresentazione (CKA, RSA, SVCCA) sono insufficienti per predire il trasferimento a livello di testa senza assunzioni sulla geometria dell'errore o sulla mappatura delle etichette.
2. Identità di Decomposizione Esatta: Dimostrazione che l'allineamento di Fisher della testa è esattamente un coseno di prodotto-kernel tra mean embeddings congiunti, fornendo una rigorosa decomposizione a tre fattori (attivazione, errore, accoppiamento).
3. FisherSketch: Uno stimatore scalabile, senza addestramento, che comprime la geometria del task in una firma da 16 KB, permettendo confronti su scala di vocabolario ($K=128.256$) con uno stato di streaming di 192 KB per task.
4. Strumento Diagnostico: Le firme permettono ai ricercatori di distinguere se la similarità del task è guidata dalle attivazioni, dagli errori o dal loro accoppiamento, fungendo da sonda per regimi "activation-dark".

4. Risultati

Selezione della Sorgente su Scala di Vocabolario

Valutato su Llama-3.1-8B attraverso 100 domini:

• Performance: FisherSketch ha raggiunto una precisione di selezione della sorgente Top-1 del 45,7% (circa 10,9$\times$ il baseline casuale) con un regret massimo di 0,119.
• Confronto: È stato competitivo con i baseline basati solo sulle attivazioni su shift di dominio naturali, ma ha superato significativamente questi ultimi in regimi specifici.
• Efficienza: Ha ridotto i requisiti di archiviazione da ~61 GiB per task (per $\Gamma_e$ esatto) a 16 KB.

Test di Stress di Identificabilità (Shift del Verbalizer)

In un esperimento controllato utilizzando prompt a prefisso fisso dove le attivazioni erano identiche tra diversi verbalizer (es. "Sì/No" vs "Vero/Falso"):

• Fallimento delle Attivazioni-Only: La similarità delle attivazioni ($Scov(M_a)$) è crollata a una costante (baseline casuale di performance Top-1 del 20%).
• Successo di FisherSketch: FisherSketch ha raggiunto il 66,7% di Top-1, predire con successo le variazioni di trasferimento guidate esclusivamente dai cambiamenti nella geometria dell'errore condizionato dalle etichette.
• Marginale Error-Only: Anche il marginale dell'errore ($Scov(\Gamma_e)$) ha performato bene (72,2% Top-1), confermando che quando la geometria delle attivazioni è costante, la geometria dell'errore guida il segnale.

Prova di Concetto su Sequenze Scientifiche

Su domini molecolari SMILES, FisherSketch ha mostrato una correlazione significativa con la riduzione della perplessità cross-dominio ($\rho_s=0,53, p=0,006$), mentre la similarità basata solo sulle attivazioni non era significativa ($p=0,081$).

Validazione dello Stimatore

Su ViT-B/16, FisherSketch ha mostrato alte correlazioni di Spearman con l'allineamento di Fisher esatto per la similarità congiunta ($\hat{S}_{ae}: 0,97$) e l'accoppiamento ($\hat{\rho}: 0,95$). Il metodo ha ottenuto un accelerazione di 89$\times$ rispetto al calcolo esatto con $n=2000$ campioni.

5. Significato e Rivendicazioni

Il documento rivendica di fornire un meccanismo pratico e senza addestramento per la selezione della sorgente in famiglie di LLM con vocabolario condiviso, dove le metriche tradizionali falliscono a causa della natura "activation-dark" del problema.

• Impatto Operativo: Permette la selezione automatizzata della sorgente per il fine-tuning, l'apprendimento continuo consapevole delle interferenze e il routing al tempo dell'inferenza basato sulla predizione della compatibilità degli aggiornamenti dei parametri piuttosto che sulla semplice similarità delle rappresentazioni.
• Approfondimento Teorico: Chiarisce che la trasferibilità è fondamentalmente una geometria di aggiornamenti (gradienti), non solo di rappresentazioni. Il documento sostiene che, sebbene le metriche di rappresentazione possano essere informative in regimi favorevoli, esse sono fondamentalmente limitate senza un esplicito modellamento della struttura dell'errore.
• Scalabilità: Comprimendo la complessa geometria degli aggiornamenti in piccole firme, questo lavoro rende fattibile l'analisi della trasferibilità su scala di vocabolario, andando oltre i vincoli delle approssimazioni a etichette finite (come LogME/LEEP) o dei proibitivi calcoli di Fisher esatti.

Gli autori notano esplicitamente i limiti: il metodo assume una base di output condivisa (vocabolario o tassonomia allineata) e si concentra sull'allineamento di Fisher a livello di testa (o di parametri condivisi). Per spazi di output eterogenei o confronti a livello di intera rete senza parametri condivisi, si raccomandano approcci differenti o diagnostiche dei livelli interni.