On the Emergence and Test-Time Use of Structural Information in Large Language Models

Sintesi Tecnica: Sull'emergenza e l'uso al tempo di test dell'informazione strutturale nei Large Language Models

Motivazione del problema
Il documento affronta la capacità dei Large Language Models (LLM) di apprendere informazioni strutturali astratte da dati osservativi e di utilizzare tale conoscenza per generare nuove combinazioni autentiche al tempo di test. Mentre gli esseri umani possono riorganizzare elementi linguistici di base per comprendere combinazioni inedite (generalizzazione composizionale), i modelli attuali spesso faticano a generalizzare sistematicamente verso concetti out-of-distribution (OOD). Gli autori postulano che comprendere come gli LLM apprendano e compongano l'informazione strutturale sia centrale per produrre nuova conoscenza al di fuori del corpus di addestramento, una capacità legata alla comprensione meccanicistica e alla predizione robusta. Per studiare questo fenomeno in un ambiente controllato, gli autori vanno oltre i classici benchmark per concentrarsi sulle trasformazioni strutturali linguistiche derivate dalla Grammatica Trasformazionale.

Metodologia
Gli autori introducono un playground sintetico controllato basato sulla Grammatica Trasformazionale (TG).

• Costruzione del Dataset: Hanno generato un dataset in linguaggio naturale comprendente dieci distinti tipi di trasformazione (ad es., NP-raising, passivizzazione, I-movement) raggruppati in cinque categorie sintattiche. Il dataset include:
  • Trasformazioni a singolo livello: Applicazione di un operatore a una frase base.
  • Trasformazioni annidate: Applicazione sequenziale di operatori (ad es., $B(A(s))$).
  • Ambiguità composizionale: Casi in cui certe trasformazioni non possono essere composte significativamente, richiedendo al modello di identificare implicitamente pattern compatibili.
  • Il dataset è stato generato utilizzando DeepSeek-V3 con prompt specifici per garantire la coerenza, producendo circa 2000 campioni per le trasformazioni a singolo livello e circa 500 per le trasformazioni annidate.
• Configurazione Sperimentale:
  • Analisi dell'emergenza: Utilizzando il modello Pythia-410M, gli autori hanno tracciato l'evoluzione delle rappresentazioni strutturali durante l'addestramento. Hanno calcolato la distanza $L_2$ tra le rappresentazioni dello stream residuo delle frasi base e le loro versioni trasformate ($\Delta A(s)$) per misurare la sensibilità strutturale.
  • Generalizzazione Composizionale: Hanno valutato LLaMA3-8B utilizzando sia il fine-tuning a tutti i parametri che il fine-tuning efficiente dei parametri (LoRA). La valutazione ha testato la capacità del modello di eseguire trasformazioni annidate e combinazioni OOD (ad es., addestramento su $A(B(s))$ e $B(C(s))$, poi test su $A(C(s))$) senza che i passaggi intermedi siano forniti durante l'inferenza.
  • Interpretabilità Meccanicistica: Gli autori hanno eseguito un'analisi di intervento causale (azzeramento di teste di attenzione e blocchi MLP) e probing lineare (LDA) per identificare quali componenti della rete e quali livelli siano responsabili delle trasformazioni sintattiche.

Contributi Chiave

1. Dataset: Introduzione di un dataset in linguaggio naturale basato su trasformazioni strutturali linguistiche per studiare formalmente l'apprendimento dell'informazione strutturale.
2. Correlazioni Empiriche: Dimostrazione che l'emergenza dell'informazione strutturale durante l'apprendimento correla con il successo in compiti di ragionamento complesso, piuttosto che con la semplice perplessità del modello di linguaggio standard.
3. Limitazioni nella Composizione: Evidenza del fatto che, sebbene i modelli apprendano rappresentazioni strutturali, la loro capacità di eseguire la generazione composizionale al tempo di test (specificamente per trasformazioni annidate inedite) rimane limitata sotto fine-tuning.
4. Approfondimenti Meccanicistici: Identificazione di componenti specifiche della rete responsabili dell'apprendimento strutturale, rivelando una concentrazione del calcolo rilevante per la trasformazione nei livelli tardivi e una dominanza dei blocchi MLP rispetto ai meccanismi di attenzione.

Risultati

• Emergenza della Struttura:
  • Diverse trasformazioni di frasi formano cluster distinti e separabili nello spazio di embedding.
  • La norma $L_2$ tra le rappresentazioni della frase base e della frase trasformata aumenta costantemente durante l'addestramento, con un aumento netto intorno allo step 64k, indicando una transizione di fase in cui le distinzioni strutturali diventano pronunciate.
  • Questo raffinamento strutturale correla più strettamente con i guadagni nei compiti di ragionamento complesso che con la perplessità standard della predizione della parola successiva.
• Generalizzazione Composizionale:
  • Il fine-tuning a tutti i parametri ha performato scarsamente, probabilmente a causa dell'overfitting sul dataset limitato.
  • Il fine-tuning LoRA ha mostrato un miglioramento significativo rispetto al fine-tuning a tutti i parametri. Tuttavia, il modello ha faticato a ottenere corrispondenze esatte per le trasformazioni annidate quando i risultati intermedi non venivano forniti durante l'inferenza.
  • Le prestazioni sulle trasformazioni annidate OOD (ad es., $A+C$) sono rimaste basse (0.00% di corrispondenza esatta, ~45-49% di corrispondenza parziale), suggerendo che il modello non riesce a disaccoppiare completamente le operazioni di trasformazione per comporle in modo flessibile al tempo di test.
  • Fornire passaggi intermedi espliciti durante l'addestramento e l'inferenza ha migliorato le prestazioni, indicando che il modello beneficia della guida strutturale ma non è ancora in grado di generalizzare robustamente a composizioni inedite senza di essa.
• Ablazione e Interpretabilità:
  • Concentrazione dei Livelli: La probabilità di predire il token di trasformazione corretto aumenta bruscamente nell'ultimo terzo della rete (livelli 24–32), con il 38% del contributo concentrato lì.
  • Preferenza dei Componenti: I blocchi MLP contribuiscono maggiormente al successo della trasformazione sintattica (65% del contributo causale) rispetto ai meccanismi di attenzione (35%).
  • Separabilità Lineare: I probe lineari mostrano una separazione quasi perfetta tra i tipi di trasformazione nello stream residuo, supportando l'ipotesi della rappresentazione lineare.

Significatività e Rivendicazioni
Il documento rivendica di fornire prove riguardo ai limiti e ai meccanismi degli LLM nella generazione di nuova conoscenza attraverso la composizione strutturale. Gli autori concludono che, sebbene gli LLM possano apprendere informazioni strutturali ed esibire una transizione di fase nella sensibilità strutturale durante l'addestramento, attualmente mancano della capacità di ricomporre in modo flessibile strutture out-of-distribution per produrre nuova conoscenza senza una guida intermedia esplicita. I risultati suggeriscono che il ragionamento possa richiedere informazioni strutturali, ma i regimi di fine-tuning attuali su modelli come LLaMA3-8B non raggiungono ancora una robusta generalizzazione composizionale. Il lavoro evidenzia che le trasformazioni sintattiche si affidano pesantemente agli MLP dei livelli tardivi e che la separazione dei concetti emerge linearmente nello stream residuo con l'avanzare del fine-tuning.

Limitazioni
Gli autori riconoscono che la loro analisi è limitata all'inglese, il che potrebbe restringere la generalizzabilità a pattern cross-linguistici. L'uso di trasformazioni a singolo livello per l'attribuzione causale può confondere le sub-operazioni. Inoltre, i risultati su un modello da 8B potrebbero non scalare direttamente a modelli più grandi, che richiederebbero dataset più complessi per evitare la memorizzazione.