Laguerre Geometry for Interpreting Large Language Models

Sintesi Tecnica: Geometria di Laguerre per l'Interpretazione dei Large Language Models

Problematica
Nonostante la chiarezza ontologica dei calcoli atomici all'interno dei Large Language Models (LLM), i meccanismi epistemologici attraverso i quali questi calcoli si coalizzano in intelligenza emergente rimangono opachi. Un mistero centrale riguarda l'organizzazione dei concetti semantici all'interno degli spazi di rappresentazione degli LLM. Gli approcci esistenti, principalmente basati sull'Ipotesi della Rappresentazione Lineare (LRH), definiscono tipicamente i concetti come singoli punti, direzioni lineari o cluster gaussiani. Tuttavia, quattro domande fondamentali rimangono irrisolte sotto tali framework: (I) Qual è la definizione precisa di un concetto? (II) In quale spazio di rappresentazione è codificato? (III) Quale struttura geometrica concreta lo trasporta? e (IV) Perché si assume la linearità, e in che misura essa sia valida? Inoltre, gli strumenti di interpretabilità attuali (ad es. Logit Lens, Tuned Lens) spesso si affidano a una decodifica euristica o richiedono addestramento, mancando di un ground truth principato per il "significato" dei vettori nascosti negli strati intermedi.

Metodologia
Gli autori propongono un framework geometrico basato sulla Geometria di Laguerre per unificare la decomposizione geometrica di basso livello con l'organizzazione semantica di alto livello. La metodologia procede attraverso tre fasi principali:

1. Lo Strato di Unembedding come Diagramma di Laguerre-Voronoi (LVD):
   Il documento stabilisce che l'ultimo strato di proiezione lineare (strato di unembedding) di un LLM, parametrizzato da pesi $W$ e bias $b$, partiziona naturalmente lo spazio di rappresentazione $\mathbb{R}^d$ in un Diagramma di Laguerre-Voronoi (noto anche come Diagramma di Potenza).

   • Definizione di Concetto: Un concetto viene ridefinito non come un vettore, ma come una specifica cella di Laguerre-Voronoi $\omega_j$, caratterizzata da un centro $c_j$ e un peso $\nu_j$. Una categoria è definita come l'unione di più tali celle.
   • Proprietà Geometriche: Questa formulazione permette la definizione rigorosa della separabilità lineare tra concetti e categorie. Fondamentalmente, introduce un Punteggio di Dominio derivato dai pesi e dai centri di Laguerre, consentendo il rilevamento di relazioni gerarchiche (ad es. iponimia/iperonimia) come "cane" $\subset$ "mammifero" $\subset$ "animale", che sono difficili da rilevare utilizzando solo le distanze vettoriali.

2. Decomposizione degli Strati Transformer:
   Gli autori estendono questa visione geometrica ai blocchi transformer intermedi. Decomponendo la rete in operatori lineari a tratti (blocchi MLP) e analizzando il meccanismo di attenzione, dimostrano che lo spazio di input è partizionato in regioni lineari a tratti.

   • Single-Input vs. Multiple-Input: Per i token a singolo input, la traiettoria segue un albero statico di flusso lineare a tratti. Per gli input multipli, il meccanismo di cross-attention agisce come un termine di trasporto dinamico, "saltando" la traiettoria nascosta attraverso diversi alberi (regioni) quando l'attenzione si attiva.
   • Corrispondenza delle Regioni: A ogni regione lineare in qualsiasi strato viene assegnata un'etichetta semantica corrispondente alla cella di Laguerre che raggiungerebbe alla fine se propagata attraverso il resto della rete senza ulteriori interferenze contestuali.

3. Lente Geometrica e Autoencoder di Laguerre:

   • Lente Geometrica (Geometric Lens): Un metodo di decodifica dei vettori nascosti privo di addestramento e privo di iperparametri. Isola un vettore nascosto $h^{(\ell)}_i$ dagli effetti contestuali successivi forzando i pesi di self-attention a 1 (azzerando gli aggiornamenti tra i token) e propagando il vettore attraverso la restante rete lineare a tratti per identificare la sua cella di Laguerre finale.
   • Autoencoder di Laguerre (LAE): Uno strumento di visualizzazione 2D che renderizza congiuntamente le rappresentazioni nascoste e le corrispondenti regioni LVD. È addestrato con una funzione di perdita che combina l'errore di ricostruzione con un termine che assicura che il punto ricostruito cada nella stessa cella di Laguerre dell'originale, preservando la geometria decisionale.

Contributi Chiave

• Ridefinizione dei Concetti: Il documento va oltre le definizioni basate su punti o direzioni, definendo i concetti come regioni poliedriche convesse (celle di Laguerre-Voronoi) indotte dallo strato di unembedding.
• Scoperta Gerarchica: Dimostra che i pesi di Laguerre codificano naturalmente le gerarchie concettuali e le relazioni di inclusione, permettendo la scoperta non supervisionata di iponimi e iperonimi senza set di attributi predefiniti.
• Lente Geometrica: Uno strumento di interpretabilità innovativo e privo di addestramento che rivela il concetto esatto codificato da un vettore nascosto in qualsiasi strato, tracciando il suo percorso attraverso la partizione lineare a tratti intrinseca del modello.
• Visualizzazione: L'Autoencoder di Laguerre fornisce una vista 2D unificata sia della geometria decisionale del modello che della traiettoria delle rappresentazioni dei token.

Risultati Sperimentali
Gli autori validano il loro framework attraverso diversi esperimenti:

• Separabilità Lineare: Nei compiti di probing lineare confrontando "Animale vs. Pianta" e "Evento vs. Cognizione", la Geometria di Laguerre (utilizzando punti elevati dall'LVD) ha ottenuto tassi di errore inferiori rispetto alla Geometria Categorica (vettori bianchi) e alla Geometria a Reticolo (Lattice Geometry) attraverso molteplici modelli (Phi-2, Gemma-2, Pythia).
• Rilevamento Gerarchico: Il punteggio di dominio proposto ha identificato con successo le relazioni gerarchiche (ad es. "cane" sotto "animale") con un'accuratezza significativamente superiore alla Geometria a Reticolo e ai baseline casuali su Phi-2 e Pythia-70M.
• Analisi della Traiettoria: Le visualizzazioni del prompt "La capitale della Francia è" mostrano che la Lente Geometrica traccia un percorso più complesso e diversificato attraverso lo spazio di rappresentazione rispetto a Logit Lens e Patchscopes. Cattura il processo di raffinamento interno del modello, dove i token grammaticalmente errati ma fattualmente corretti (ad es. "Paris") appaiono negli strati intermedi prima che il modello si stabilizzi sul token grammaticalmente corretto ("_Paris").
• Interferenza In-Context: In prompt progettati per indurre interferenza (ad es. scambiare nomi di città in un contesto fittizio), la Lente Geometrica ha dimostrato una robustezza superiore. Esaminando il rango del token negli strati intermedi (specificamente lo strato 20), la Lente Geometrica ha recuperato il token fattualmente corretto più spesso rispetto a Logit Lens o Patchscopes, suggerendo che rivela il vero processo di ragionamento del modello prima che venga sovrascritto dall'interferenza dell'ultimo strato.

Significatività e Rivendicazioni
Il documento sostiene di fornire una base geometrica rigorosa per l'Ipotesi della Rappresentazione Lineare, spostandola da un'ipotesi informale a una proprietà strettamente definita della struttura lineare a tratti del modello. Stabilendo che i concetti sono regioni piuttosto che punti, gli autori sostengono che questo framework offre un ground truth principato per le rappresentazioni nascoste, eliminando la necessità di decodifica euristica o addestramento esterno.

La significatività risiede nello spostamento dell'interpretabilità dalla "geometria esplicativa" (descrizione di strutture statiche) all' "interpretabilità azionabile". La Lente Geometrica permette ai ricercatori di leggere l'esatto concetto codificato in un vettore nascosto e, come dimostrato, di recuperare verità fattuali anche quando l'output finale del modello è corrotto dall'interferenza in-context. Gli autori posizionano questo lavoro come un passo fondamentale verso la comprensione di come l'intelligenza di alto livello emerga da partizioni geometriche di basso livello, con lavori futuri pianificati per estendere questo framework all'intervento causale e al controllo del comportamento (behavior steering).