Polar probe linearly decodes semantic structures from LLMs

Sintesi Tecnica: La Sonda Polare Decodifica Linearmente le Strutture Semantiche dagli LLM

Formulazione del Problema
Il lavoro affronta la domanda fondamentale su come i Large Language Models (LLM) legano i concetti per formare strutture semantiche complesse. Sebbene lavori precedenti abbiano dimostrato che le strutture sintattiche (ad esempio, le dipendenze soggetto-verbo) possono essere decodificate linearmente dalle attivazioni degli LLM utilizzando principi geometrici (Hewitt & Manning, 2019; Diego-Simon et al., 2024), non è chiaro se principi simili si applichino al legame semantico. Gli autori ipotizzano che gli LLM rappresentino l'esistenza e il tipo di relazioni tra entità non attraverso meccanismi complessi e non lineari, ma tramite un semplice codice geometrico: la distanza euclidea tra gli embedding delle entità codifica l'esistenza di una relazione, mentre la direzione relativa codifica il tipo di relazione.

Metodologia
Per testare questa ipotesi, gli autori introducono una Sonda Polare, una trasformazione lineare addestrata per mappare le attivazioni dei livelli degli LLM in uno spazio di sonda in cui è possibile recuperare il grafo relazionale.

1. Dataset: Lo studio utilizza un dataset sintetico che copre cinque domini semantici distinti:

   • Domini euclidei: Ordinalità variabile (variabili matematiche), layout spaziali (disposizioni di oggetti 2D) e ruoli tematici (interazioni sociali).
   • Domini non euclidei: Alberi genealogici (relazioni non commutative, molti-a-molti) e mappe della metropolitana (percorsi più brevi basati su reti).
   • Ciascun campione consiste in una descrizione in linguaggio naturale di un grafo relazionale. Per impedire al modello di apprendere correlazioni di superficie, l'ordine delle relazioni e delle entità viene randomizzato e vengono generate molteplici descrizioni testuali per lo stesso grafo.

2. Architettura della Sonda:

   • Perdita Strutturale ($L_s$): Ottimizza la correlazione di rango di Spearman tra la matrice delle distanze a coppie prevista e la matrice delle distanze dei percorsi più brevi di ground-truth del grafo semantico.
   • Perdita Angolare ($L_a$): Ottimizza l'allineamento tra il vettore di differenza di due embedding di entità ($\delta_{ij}$) e un vettore prototipo appreso ($p_r$) specifico per il tipo di relazione $r$.
   • La sonda viene addestrata indipendentemente su ciascun livello di vari LLM (Llama3-8B, OLMo-7B e la famiglia Pythia).

3. Valutazione:

   • Prestazioni di Decodifica: Misurate tramite $\rho$ di Spearman per l'esistenza della relazione (ordinamento delle distanze) e il tipo di relazione (allineamento della direzione).
   • Generalizzazione: Testata su nomi di entità e forme superficiali delle relazioni fuori distribuzione (OOD).
   • Intervento Causale: Gli autori intervengono sugli stati nascosti guidando le attivazioni lungo le direzioni dei prototipi appresi per osservare gli spostamenti nelle prestazioni downstream di Question-Answering (QA).
   • Correlazione: Gli errori della sonda sono correlati con la probabilità logit delle risposte corrette nei compiti di QA.

Risultati Chiave

• Decodificabilità Lineare: Le vere strutture semantiche possono essere recuperate linearmente dalle attivazioni degli LLM. La Sonda Polare decodifica con successo sia l'esistenza che il tipo di relazione in tutti e cinque i domini.
• Emergenza per Livello: Il codice geometrico è più prominente nei livelli intermedi degli LLM preaddestrati (con un picco intorno ai livelli 12–15 per Llama3-8B). Nei modelli inizializzati casualmente, le prestazioni di decodifica rimangono a livelli di caso, indicando che il codice emerge durante il preaddestramento.
• Dimensione del Modello e Addestramento: Le prestazioni scalano con la dimensione del modello (da 14M a 6,9B parametri) e aumentano con i passaggi di preaddestramento, suggerendo che il codice polare è una capacità appresa dipendente dalla capacità del modello e dalla durata dell'addestramento.
• Generalizzazione: Le sonde generalizzano a nuove entità e forme superficiali delle relazioni, sebbene le prestazioni decadano moderatamente con entità OOD e in modo più significativo con tipi di relazione OOD. Le prestazioni diminuiscono anche all'aumentare del numero di entità nel grafo, probabilmente a causa dell'espansione dello spazio combinatorio.
• Influenza Causale: Guidare le attivazioni del modello lungo le direzioni dei prototipi appresi sposta causalmente la probabilità di risposte corrette nei compiti di QA, confermando che queste rappresentazioni geometriche sono funzionalmente rilevanti per il ragionamento del modello.
• Disgiunzione degli Sottospazi: I sottospazi appresi per diversi domini semantici sono in gran parte disgiunti nello spazio di attivazione, con la notevole eccezione dei layout spaziali e dell'ordinalità variabile, che mostrano una sovrapposizione significativa (a supporto dell'ipotesi di sovrapposizione).

Significato e Affermazioni
Il lavoro afferma di dimostrare che gli LLM imparano a costruire strutture semantiche complesse legando le rappresentazioni attraverso un semplice principio geometrico. Nello specifico, estende la portata della sonda lineare oltre la sintassi a una classe più ampia di grafi diretti e etichettati.

• Oltre la Sintassi: A differenza di lavori precedenti limitati agli alberi sintattici, questo approccio decodifica con successo strutture semantiche che non sono necessariamente strutturate ad albero e includono topologie non euclidee (ad esempio, alberi genealogici, mappe della metropolitana), sebbene con alcune limitazioni nella precisione per le relazioni non commutative.
• Oltre il Recupero di Conoscenze: Lo studio mira a strutture composizionali che non potrebbero essere memorizzate durante l'addestramento (a causa della randomizzazione di entità e relazioni), fornendo prove su come i modelli eseguono l'apprendimento in contesto e il legame.
• Tensione Simbolico-Connectionista: I risultati suggeriscono una risoluzione alla tensione tra approcci simbolici e connectionisti, proponendo che le strutture simboliche possano essere rappresentate all'interno di sistemi vettoriali tramite sottospazi lineari e relazioni geometriche.

Gli autori mantengono un tono modesto riguardo alle limitazioni del metodo, notando che la Sonda Polare si basa su distanze lineari ed è adattata per grafi euclidei. Di conseguenza, non può rappresentare perfettamente intere relazioni non commutative, molti-a-molti o distanze complesse dei percorsi più brevi presenti nei domini non euclidei, sebbene catturi la coerenza locale al loro interno.