Sintesi Tecnica: Il Contesto è Re: Come la Specifica In-Context Plasma la Geometria dei Concetti

Problema

La ricerca attuale sull'interpretabilità spesso postula che i Large Language Models (LLM) memorizzino concetti strutturati come varietà geometriche fisse all'interno dei loro pesi (ad esempio, i giorni della settimana che formano un cerchio, i mesi un altro). Questa "ipotesi della rappresentazione lineare" suggerisce che le relazioni semantiche corrispondano a spostamenti fissi o forme topologiche apprese durante il pretraining e recuperate durante l'inferenza. Tuttavia, rimane poco chiaro se queste strutture geometriche siano proprietà intrinseche e statiche del modello o assemblaggi dinamici costruiti on-demand dal contesto di input. Nello specifico, una specifica in-context conflittuale si limita a spostare la posizione di un concetto all'interno di una varietà fissa, o riconfigura fondamentalmente la topologia della rappresentazione stessa?

Metodologia

Gli autori indagano su questo punto forzando un conflitto diretto tra i priori pre-addestrati del modello e una specifica dichiarativa in-context.

1. Framework Sperimentale:

• Specifica In-Context: Gli autori definiscono una "specifica" come una regola dichiarativa che asserisce relazioni tra un insieme di entità senza fornire esempi. Può essere un ordine (ad esempio, "L'unico ordine valido è: Mercoledì, Lunedì...") o una gerarchia (ad esempio, "P è il genitore di A e B").
• Regime di Conflitto: Lo studio impone specifiche che contraddicono la comprensione naturale del modello (ad esempio, ridefinendo l'ordine dei giorni della settimana o applicando una struttura gerarchica a concetti ciclici).
• Entità: Gli esperimenti coprono priori ciclici forti (giorni della settimana, mesi, ore dell'orologio), priori deboli (segni zodiacali), priori non ciclici (note musicali) e token arbitrari privi di significato.
• Forme Superficiali: Le specifiche sono presentate come liste numerate o archi di adiacenza, con o senza un arco di "chiusura" (wrap edge) per chiudere un ciclo.

2. Misurazione e Analisi:

• Analisi della Similitudine delle Rappresentazioni (RSA): La metrica primaria è la correlazione di Spearman tra la Matrice di Dissimilarità delle Rappresentazioni (RDM) dei centroidi delle entità (estratti dallo stream residuo all'ultimo token prima della generazione) e un template teorico (ad esempio, distanza ciclica o profondità dell'albero). Fondamentalmente, i centroidi sono centrati sulla media per rimuovere le direzioni anisotrope nello stream residuo.
• Patching delle Attivazioni: Per stabilire la causalità, gli autori eseguono il patching di sostituzione delle entità. Sovrascrivono l'attivazione residua di un'entità ($E_{orig}$) con quella di un'altra entità ($E_{patch}$) dello stesso contesto e osservano se l'output del modello segue il successore dell'entità patchata secondo l'ordine imposto dal contesto piuttosto che l'ordine pre-addestrato.
• Sweep di Scala: Lo studio valuta otto modelli istruiti (instruction-tuned) appartenenti a tre famiglie (Gemma, Qwen, Llama) con parametri che variano da 2B a 31B per determinare come la scala del modello influenzi la formazione e l'uso di queste geometrie.

Contributi Chiave e Risultati

1. Il Contesto Detta la Topologia, Non Solo la Posizione
Il paper dimostra che la specifica in-context determina la topologia della geometria del concetto, non meramente uno spostamento all'interno di una forma fissa.

• Switching Topologico: Quando una regola dichiarativa definisce una gerarchia, la geometria delle entità (anche quelle cicliche come i giorni della settimana) si riorganizza in un albero stratificato per profondità. Viceversa, una regola ciclica forza una struttura ad albero in un anello.
• Token Arbitrari: Questo effetto si verifica anche con token arbitrari privi di significato, dove non esiste alcun prior pre-addestrato, provando che la geometria è costruita dalla specifica piuttosto che recuperata.
• Evidenza: In Gemma-31B, l'imposizione di una gerarchia sui giorni della settimana produce una RSA di profondità di +0.67, mentre l'imposizione di un ciclo produce una RSA ciclica di +0.72. La dimensionalità effettiva cambia di conseguenza (da circa 4.8 per un anello naturale a circa 1.8 per un albero imposto).

2. La Geometria del Set di Contesto Domina i Priori Pre-addestrati
Quando il contesto entra in conflitto con un forte prior pre-addestrato, la geometria del set di contesto domina.

• Dominanza: Nei modelli capaci (Gemma-31B, Qwen-27B), la RSA rispetto all'ordine imposto è alta (+0.80 a +0.90), mentre la RSA rispetto all'ordine naturale e pre-addestrato crolla vicino allo zero (es. -0.03 per i giorni).
• Uso Causale: Il patching delle attivazioni conferma che questa geometria è usata causalmente. Quando l'attivazione di un'entità viene scambiata, la risposta del modello segue il successore definito dalla mappa imposta dal contesto, non dalla mappa pre-addestrata. Questa "doppia dissociazione" (seguire l'ordine imposto in un contesto imposto e l'ordine naturale in un contesto naturale) esclude il semplice lookup di una tabella fissa.

3. Fedeltà Regolata dalla Scala: Formazione vs Uso
La capacità di formare una geometria approssimativa è presente anche nei modelli piccoli, ma la capacità di usarla in modo pulito e fedele è regolata dalla scala.

• Modelli Piccoli: Modelli come Gemma-2B o Qwen-9B possono formare una geometria imposta approssimativa (superando i valori nulli), ma la mappa è spesso "leaky" (permeabile) o unidirezionale. Ad esempio, il patching potrebbe influenzare la risposta solo sotto il contesto imposto ma fallire nel cambiare sotto il contesto naturale, o la geometria potrebbe essere un anello che si auto-interseca invece di un ciclo pulito.
• Modelli Grandi: Mappe pulite e traversabili e una piena doppia dissociazione causale emergono solo nei modelli più grandi (Gemma-12B/31B, Qwen-27B).
• Implicazione: Un meccanismo presente in un modello grande (geometria dipendente dal contesto fedele) può essere assente o fondamentalmente diverso in un modello più piccolo della stessa famiglia.

4. Localizzazione del Meccanismo
Lo studio localizza la formazione di questa mappa in uno stadio intermedio della rete (circa 0.45–0.75 di profondità).

• Dall'Identità al Binding: Gli strati iniziali codificano l'identità del token, ma verso la metà della rete, l'identità viene legata (bound) alla posizione imposta dal contesto. Il patching a questi strati medi è più efficace nel guidare l'output.

Significato e Rivendicazioni

Il paper sostiene che la struttura geometrica dei concetti negli LLM non è una proprietà fissa e intrinseca memorizzata nei pesi, ma un calcolo impostato dal contesto.

• Riformulazione dei "Modelli del Mondo": Sebbene i modelli possano memorizzare strutture simili a modelli del mondo, queste non sono le uniche o le finali rappresentazioni utilizzate durante l'inferenza. La "geometria usata dal modello" è quella specificata dal contesto, anche se contraddice il prior memorizzato.
• Meccanicistico vs Istruzionale: Questo è un fenomeno meccanicistico, non una semplice esecuzione di istruzioni. La tipologia di topologia cambia su comando, si forma su token privi di prior da ereditare e si inverte sotto modifiche causali.
• Cautela sul Trasferimento: I risultati suggeriscono che la proprietà geometrica e l'interpretabilità a livello di circuito osservate in modelli piccoli potrebbero non trasferirsi ai modelli più grandi. I modelli piccoli possono formare un'approssimazione grezza di una mappa impostata dal contesto, ma la geometria pulita e causalmente operativa è una capacità che emerge con la scala.

Gli autori concludono che le geometrie dei "modelli del mondo" recuperate dovrebbero essere lette come dipendenti dal contesto piuttosto che come intrinseche, e che il comportamento del modello è guidato da una mappa costruita on-demand dalla specifica.