Riepilogo Tecnico: Sottospazi Funzionali nei Modelli Linguistici di Grande Dimensione

Enunciato del Problema

Sebbene i Modelli Linguistici di Grande Dimensione (LLM) abbiano dimostrato notevoli "abilità emergenti", come l'Apprendimento in Contesto (ICL), i meccanismi sottostanti che abilitano tali capacità rimangono scarsamente compresi. Ricerche precedenti hanno stabilito che concetti di alto livello sono codificati come direzioni lineari negli spazi di attivazione e che le geometrie degli embedding delle parole veicolano significato semantico. Tuttavia, non è chiaro come gli LLM generalizzino a nuovi compiti senza fine-tuning o come accumulino prove da esempi in contesto per generare risposte corrette. La mancanza di comprensione riguardo a questi meccanismi operativi ostacola la capacità di diagnosticare e riparare adeguatamente gli LLM, in particolare prima del loro dispiegamento in domini critici per la sicurezza. Questo articolo indaga se gli LLM utilizzino sottospazi specifici e algebra vettoriale per risolvere compiti di ICL.

Metodologia

Gli autori propongono l'ipotesi che gli LLM proiettino i token di input in sottospazi funzionali dove i compiti possono essere risolti mediante semplice algebra vettoriale. Per verificare ciò, hanno analizzato i flussi residui e i moduli funzionali (Self-Attention e Reti Feed-Forward) di sei LLM preaddestrati pubblicamente disponibili: GPT-J-6B, Meta-Llama-3.1-8B, OLMo-2-0325-32B, Pythia-12B, Gemma-3-27b-it e GPT-NEOX-20B.

Il disegno sperimentale ha coinvolto i seguenti passaggi:

1. Generazione del Compito: Gli autori hanno generato 200 prompt di ICL per sei compiti distinti: antonimi, sinonimi, coppie paese-capitale, traduzioni inglese-francese, coppie azienda-prodotto e coppie persona-sport. Ogni prompt conteneva cinque coppie di esempi e una singola query di test.
2. Raccolta Dati: I flussi residui sono stati raccolti da tutti i token attraverso tutti i livelli del transformer mentre i modelli elaboravano questi prompt.
3. Riduzione della Dimensionalità: L'Analisi delle Componenti Principali (PCA) è stata applicata ai flussi residui per identificare potenziali sottospazi a bassa dimensionalità. Gli autori hanno valutato la varianza spiegata cumulativa delle prime 30 componenti principali.
4. Analisi di Regressione Lineare: Per determinare se i compiti di ICL potessero essere modellati come operazioni vettoriali, gli autori hanno eseguito una regressione lineare sulle componenti principali. Hanno testato se i token di risposta ($\vec{a}$) potessero essere descritti come una funzione lineare dei token di query ($\vec{q}$) e dei token separatore ($\vec{s}$) secondo l'equazione $\vec{a} = \alpha\vec{q} + \beta\vec{s} + \gamma$. La qualità di questo adattamento è stata misurata utilizzando il coefficiente di determinazione ($R^2$).
5. Correlazione con il Processo Decisionale: Per valutare la rilevanza funzionale di questi sottospazi, gli autori hanno confrontato le proiezioni dei token nelle componenti principali ad alte prestazioni tra i casi in cui l'LLM ha fatto previsioni corrette rispetto a quelle errate, utilizzando test t per valutare la significatività statistica.

Contributi Chiave e Risultati

1. Esistenza di Sottospazi Funzionali

L'analisi dei flussi residui ha rivelato che dal 40% al 90% della variabilità nelle attivazioni dei modelli poteva essere spiegata da sole 30 componenti principali, nonostante l'alta dimensionalità dei modelli (ad esempio, $d \approx 5000$). Ciò suggerisce che gli LLM operano all'interno di sottospazi a bassa dimensionalità durante i compiti di ICL.

2. ICL come Algebra Vettoriale

Lo studio ha rilevato che i token di risposta sono ben approssimati da combinazioni lineari di token di query e token separatore all'interno di sottospazi specifici.

• Valori Elevati di $R^2$: In tutti e sei i modelli e in tutti i compiti, specifiche componenti principali hanno esibito valori elevati di $R^2$ (avvicinandosi a 1), indicando che la relazione tra input e output in questi sottospazi è largamente lineare.
• Progressione dei Livelli: La qualità dell'adattamento lineare ($R^2$) tendeva ad essere bassa nei livelli iniziali e ad aumentare nei livelli successivi, suggerendo che i livelli iniziali trasformano gradualmente le attivazioni in sottospazi dove l'ICL può essere risolto mediante semplici operazioni vettoriali.
• Coerenza: Le componenti principali con alto $R^2$ erano coerenti attraverso i livelli, implicando che direzioni specifiche codificano concetti specifici del compito (ad esempio, "antonimo" o "capitale").

3. Accumulo di Prove e Clustering

L'analisi teorica ha suggerito che le Reti Feed-Forward (FFN) agiscono come memorie associative che memorizzano potenziali risposte, mentre i livelli di Self-Attention (SA) selezionano la previsione corretta basandosi sul contesto. Gli autori hanno ipotizzato che le intersezioni di potenziali risposte permettano alle prove di accumularsi lungo basi specifiche del sottospazio.

• Clustering dei Token: Le visualizzazioni dei token in sottospazi 3D (spaziati dalle prime 3 componenti principali) hanno mostrato che i token di query, separatore e risposta formavano cluster distinti e ben separati in base al loro tipo di token.
• Correlazione con l'Accuratezza: Crucialmente, le proiezioni dei token nelle componenti ad alte prestazioni erano significativamente diverse ($p < 0.05$) a seconda che il modello generasse una risposta corretta o errata. Questa correlazione si è mantenuta attraverso molteplici livelli intermedi e tardivi, suggerendo che questi sottospazi sono direttamente coinvolti nel processo decisionale del modello.

Significato e Affermazioni

L'articolo afferma che gli LLM creano nativamente sottospazi per accumulare prove da esempi in contesto e risolvere compiti utilizzando algebra vettoriale all'interno di questi sottospazi. Gli autori ipotizzano che:

• Meccanismo di Generalizzazione: La capacità di eseguire ICL si basa sulla proiezione dei token di input in sottospazi dove la geometria dei dati corrisponde direttamente al compito desiderato (ad esempio, invertire una direzione per gli antonimi).
• Capacità Emergenti: Sebbene i compiti di ICL siano più semplici rispetto ai compiti generali di codifica o ragionamento, il meccanismo di estrazione delle informazioni sul compito e della loro applicazione mediante operazioni vettoriali è fondamentale per il modo in cui gli LLM riescono in compiti più complessi.
• Potenziale Diagnostico: Se gli LLM si affidano a questi sottospazi funzionali per il processo decisionale, tali sottospazi potrebbero servire come base per diagnosticare il comportamento del modello e creare vettori di guida per intervenire o riparare le uscite del modello, in particolare nelle applicazioni critiche per la sicurezza.

Gli autori mantengono un tono modesto, riconoscendo che la loro analisi teorica si basa su condizioni idealizzate e che l'identificazione di tali sottospazi in compiti linguistici più complessi e generali potrebbe essere impegnativa a causa delle intricate interazioni tra i token. Tuttavia, sostengono che i risultati forniscono un collegamento concreto tra l'ipotesi della rappresentazione lineare e i meccanismi operativi dell'apprendimento in contesto.