Riepilogo Tecnico: Dinamiche Causali-Geometriche Emergenti attraverso la Profondità nei Modelli Linguistici di Grande Formato

Enunciato del Problema

La ricerca attuale sui Modelli Linguistici di Grande Formato (LLM) si biforca in due approcci distinti ma spesso disconnessi: l'analisi geometrica e l'intervento causale.

• Analisi Geometriche caratterizzano l'evoluzione delle rappresentazioni dei token attraverso la profondità della rete utilizzando metriche come similarità, dimensionalità e curvatura. Sebbene questi studi rivelino variazioni strutturate dipendenti dalla profondità, rimangono largamente correlazionali. Descrivono come il contesto viene codificato, ma non riescono a identificare quali specifiche caratteristiche geometriche governino direttamente la distribuzione di previsione dell'output.
• Interventi Causali (studi meccanicistici) perturbano gli stati interni per osservare cambiamenti nell'output. Questi studi hanno rivelato profili di efficacia dipendenti dalla profondità (ad esempio, certi interventi funzionano meglio negli strati iniziali rispetto a quelli finali), ma spesso mancano di un quadro rappresentativo unificante. Rimane poco chiaro come le rappresentazioni manipolate siano organizzate geometricamente o perché gli interventi abbiano successo in strati specifici ma non in altri.

La questione centrale irrisolta è come la struttura geometrica delle rappresentazioni interne venga riorganizzata attraverso la profondità della rete per modellare causalmente le previsioni. Nello specifico, la struttura rappresentativa può essere descrittivamente accessibile e linearmente decodificabile senza essere causalmente operativa nella generazione degli output. Questo articolo mira a sintetizzare queste prospettive definendo la "geometria meccanicistica": una geometria rappresentativa la cui struttura è direttamente legata al controllo causale sulla previsione.

Metodologia

Gli autori adottano un approccio integrato che combina analisi geometrica con interventi causali mirati su tre LLM basati su decoder: Llama V3.1 8B, Mistral 0.3 7B e Qwen 2.5 7B.

1. Analisi degli Interventi

Lo studio utilizza tre compiti modulari con spazi input-output ben definiti: "Mesi dell'anno", "Giorni della settimana" e "Matematica dell'orologio". Vengono applicati due tipi principali di intervento:

• Interventi Centrati sull'Input: I vettori di guida ($V_L$) sono calcolati basandosi sulle differenze di centroidi tra specifiche rappresentazioni di token di input (ad esempio, spostando la rappresentazione di "Gennaio" verso "Febbraio"). Questi vettori vengono aggiunti alle attivazioni nascoste dei token di input in strati specifici.
• Interventi Centrati sull'Output: I vettori di guida sono calcolati basandosi sulle differenze di centroidi tra le rappresentazioni nascoste dell'ultimo token associate a diversi output previsti. Questi vengono applicati all'attivazione dell'ultimo token.
• Metrica: L'efficacia di un intervento è quantificata dalla variazione nella preferenza di logit del modello tra le previsioni originali e quelle target.

2. Analisi delle Rappresentazioni

Per caratterizzare la geometria sottostante, gli autori analizzano le rappresentazioni utilizzando il dataset WikiText-103, concentrandosi su:

• Dimensionalità: Misurata tramite il Rapporto di Partecipazione (PR) delle attivazioni degli strati nascosti per determinare la dimensionalità effettiva. Vengono effettuate comparazioni tra "token identici" (l'ultimo token attraverso diverse sequenze) e "token non identici" (token vicini alla fine che variano per sequenza).
• Codifica Geometrica: Le distanze euclidee e angolari a coppie tra le rappresentazioni dei token sono correlate con la divergenza simmetrica di Kullback-Leibler (KL) delle loro corrispondenti distribuzioni di previsione dell'output.
• Interventi Puri: Per isolare i componenti geometrici, gli autori eseguono "interventi angolari puri" (normalizzando i vettori prima della guida per preservare solo la direzione) e "interventi di norma puri" (ridimensionando i vettori per corrispondere alle norme medie).

Risultati Chiave

1. Una Transizione Netta lungo la Profondità

Gli esperimenti di intervento rivelano una struttura computazionale bifasica in tutti i modelli testati:

• Fase Iniziale (Centrata sul Contesto): Circa i primi due terzi degli strati sono selettivamente sensibili agli interventi centrati sull'input. Perturbare i token di input qui sposta efficacemente le previsioni.
• Fase Finale (Centrata sulla Previsione): Circa l'ultimo terzo degli strati è selettivamente sensibile agli interventi centrati sull'output. Perturbare la rappresentazione dell'ultimo token qui sposta efficacemente le previsioni.
• Questa transizione rappresenta un passaggio da una computazione di elaborazione del contesto a una computazione di formazione della previsione.

2. Riorganizzazione della Geometria Rappresentativa

L'analisi geometrica rivela una distinta riorganizzazione dello spazio rappresentativo a seguito del punto di transizione:

• Dimensionalità: I token identici mostrano un'espansione e una successiva contrazione della dimensionalità effettiva negli strati iniziali, stabilizzandosi negli strati successivi. I token non identici esibiscono profili di dimensionalità più ampi e multimodali, guidati dall'identità del token e dal contesto.
• Codifica Angolare vs Euclidea: Nella fase centrata sulla previsione (strati finali), emerge un codice geometrico a due componenti:
  • Struttura Angolare: Le distanze angolari tra le rappresentazioni dei token diventano fortemente positivamente correlate con la similarità delle loro distribuzioni di previsione dell'output.
  • Norme: Le distanze euclidee diventano in gran parte disaccoppiate dalla similarità della previsione. La divergenza tra distanze euclidee e angolari indica che le norme dei vettori codificano informazioni (variazioni specifiche per token e contesto) che sono ortogonali al meccanismo di previsione.

3. Validazione Causale della Codifica Angolare

L'ipotesi secondo cui la previsione è controllata dalla geometria angolare negli strati finali è confermata attraverso interventi puri:

• Interventi Angolari: Gli interventi puramente direzionali sull'ultimo token sono altamente efficaci nella fase finale (centrata sulla previsione) ma inefficaci nella fase iniziale.
• Interventi di Norma: Gli interventi puramente basati sulla norma sono in gran parte inefficaci attraverso tutti gli strati e tipi di intervento.
• Meccanismo: Gli autori propongono che nello strato finale, la distribuzione di output $p \propto \text{Softmax}(W_{out} h_L)$ dipenda dalla direzione di $h_L$ per i valori relativi dei logit, mentre la norma agisca meramente come un fattore di scala globale (temperatura inversa). Pertanto, modificare la struttura angolare altera direttamente l'identità della previsione.

Contributi Chiave

1. Sintesi delle Prospettive: Il lavoro unifica gli approcci geometrici e causali, dimostrando che, sebbene la struttura geometrica esista in tutta la rete, solo aspetti specifici (organizzazione angolare negli strati finali) sono causalmente rilevanti per la previsione.
2. Identificazione di un'Architettura Bifasica: Stabilisce una chiara dissociazione funzionale in cui gli strati iniziali elaborano il contesto e gli strati finali formano le previsioni, segnata da una transizione netta nell'efficacia degli interventi.
3. Geometria Meccanicistica della Previsione: Identifica un codice geometrico specifico negli strati finali in cui la struttura angolare parametrizza la similarità distributiva del prossimo token, mentre le norme delle rappresentazioni trasportano informazioni disaccoppiate dalla previsione.
4. Confutazione della Decodificabilità come Causalità: Il lavoro dimostra che la mera presenza di una struttura semantica decodificabile (separabilità lineare) non implica rilevanza causale per la previsione, sfidando le assunzioni nella letteratura precedente sugli interventi.

Significato e Affermazioni

Gli autori affermano che i loro risultati forniscono una spiegazione meccanicistica di come gli LLM trasformino il contesto in previsione. Il significato risiede in:

• Riconciliazione di Risultati Sconcertanti: Spiega perché gli interventi sono dipendenti dalla profondità e perché la similarità angolare si correla con la pertinenza semantica solo in contesti specifici (strati finali).
• Implicazioni per il Controllo: Il lavoro sostiene che la funzione per strato non può essere compresa o efficacemente intervenuta in isolamento. Un controllo efficace richiede di mirare alla struttura dinamica globale emergente, specificamente alla geometria angolare degli strati finali. Gli interventi che mirano a caratteristiche facilmente decodificabili (che possono essere basate sulla norma o negli strati iniziali) potrebbero non generalizzare o esercitare solo un controllo indiretto.
• Insight Architettonici: I risultati suggeriscono che gli schemi di normalizzazione (come RMSNorm) possono creare condizioni favorevoli per la codifica angolare, dove la direzione diventa un segnale più affidabile della magnitudine per la previsione.

Gli autori mantengono un tono modesto, notando che questi risultati si basano su compiti modulari specifici e famiglie di modelli, e che la relazione tra la geometria del contesto negli strati iniziali e l'emergere di codici angolari negli strati finali rimane una domanda aperta. Non propongono nuovi interventi di sicurezza o strategie di deployment, concentrandosi invece sul miglioramento della comprensione scientifica del calcolo degli LLM.