Riassunto Tecnico: La Curvatura Rappresentazionale Modula l'Incertezza Comportamentale nei Large Language Models

Problema e Motivazione

Il lavoro affronta una lacuna fondamentale nella comprensione dei Large Language Models (LLM): il legame tra la geometria delle rappresentazioni interne e il comportamento predittivo (l'output).

Sebbene la teoria del "temporal straightening" (raddrizzamento temporale) suggerisca che i modelli imparino a trasformare le sequenze di input in traiettorie rappresentazionali geometricamente più lineari per facilitare l'estrapolazione del prossimo token, non era stato dimostrato se questa geometria avesse una funzione pratica. Il problema centrale è determinare se la "curvatura" di queste traiettorie (ovvero quanto bruscamente cambia la direzione della rappresentazione nello spazio latente) sia direttamente correlata all'incertezza del modello (misurata tramite l'entropia della distribuzione di probabilità del prossimo token).

Metodologia

Gli autori hanno condotto uno studio multidimensionale utilizzando due modelli (GPT-2 XL e Pythia-2.8B) e un esperimento di addestramento controllato su un modello GPT-2 Small.

1. Misurazione della Curvatura Contestuale ($C$): La curvatura è calcolata come l'angolo tra vettori di differenza consecutivi nello residual stream del Transformer. Viene utilizzata una finestra temporale retrospettiva per ottenere una misura localizzata di quanto la traiettoria "curvi" in un determinato punto della sequenza.
2. Misurazione dell'Incertezza (Entropia $H$): L'incertezza del modello per il token successivo è quantificata tramite l'entropia di Shannon applicata ai logit di output.
3. Esperimenti di Perturbazione: Per testare la causalità, gli autori hanno applicato modifiche additive alle attivazioni interne. Hanno confrontato cinque tipi di perturbazioni, passando da direzioni casuali nello spazio completo a direzioni strettamente allineate alla traiettoria rappresentazionale (subspazi planari e di traiettoria).
4. Regolarizzazione durante l'Addestramento: È stato introdotto un obiettivo ausiliario (loss di curvatura) per forzare le traiettorie a essere più "diritte" (untangling) o più "tortuose" (tangling) durante la fase di pre-training.

Contributi Chiave

• Identificazione di un legame geometrico-comportamentale: Il paper stabilisce che la curvatura non è solo un artefatto geometrico, ma una caratteristica allineata al compito che modula l'incertezza.
• Validazione del Temporal Straightening: Fornisce prove empiriche che il raddrizzamento delle traiettorie è una strategia funzionale per ridurre l'incertezza predittiva.
• Metodo di Intervento Selettivo: Dimostra che è possibile manipolare l'incertezza del modello agendo specificamente sulla geometria della traiettoria, senza dover alterare l'intero spazio delle attivazioni.

Risultati Principali

1. Correlazione Curvatura-Entropia: Esiste una correlazione positiva tra curvatura e entropia. Nei livelli intermedi del modello (dove la traiettoria è più lineare), la curvatura è il miglior predittore dell'entropia del token successivo.
2. Dinamiche di Addestramento: Durante il pre-training, la capacità della curvatura di predire l'entropia emerge parallelamente alla riduzione della curvatura stessa. Man mano che il modello impara, le traiettorie si raddrizzano e il legame tra geometria e incertezza si rafforza.
3. Sensibilità alle Perturbazioni: Le perturbazioni hanno influenzato l'entropia solo quando erano allineate alla traiettoria rappresentazionale. Le perturbazioni casuali o basate solo sulla varianza dei dati (PCA) non hanno prodotto cambiamenti significativi nell'incertezza, dimostrando che il modello è robusto a rumore non geometricamente strutturato.
4. Effetto della Regolarizzazione: L'addestramento con una perdita di curvatura ridotta (untangling) ha portato a una diminuzione dell'entropia (maggiore confidenza) senza degradare la perdita di validazione (accuratezza predittiva). Al contrario, l'aumento della curvatura (tangling) ha aumentato l'incertezza.

Significato e Implicazioni

Questo studio ha profonde implicazioni per l'interpretabilità meccanicistica:

• Suggerisce che per comprendere il comportamento degli LLM non dobbiamo guardare solo allo "stato" di un token in un singolo strato, ma alla dinamica temporale (come il token evolve rispetto ai precedenti).
• Offre nuovi strumenti per il controllo del comportamento: è possibile modulare la confidenza di un modello agendo sulla geometria delle sue rappresentazioni interne.
• Supporta l'idea che l'obiettivo di predizione del prossimo token spinga intrinsecamente il modello a organizzare lo spazio latente in strutture geometriche ottimali per l'estrapolazione, rendendo la geometria una componente essenziale della computazione linguistica.