Cell-Based Representation of Relational Binding in Language Models

Titolo: Rappresentazione Cellulare del Legame Relazionale nei Modelli Linguistici

1. Il Problema

Comprendere un discorso richiede di tracciare entità e le relazioni che intercorrono tra loro man mano che il testo si sviluppa. Sebbene i Large Language Models (LLM) dimostrino eccellenti capacità di ragionamento relazionale, il meccanismo interno attraverso il quale "legano" (bind) entità, relazioni e attributi rimane oscuro.
La ricerca precedente si è concentrata principalmente su testi molto brevi o su legami semplici (entità-attributo), lasciando inesplorato il legame relazionale a livello di discorso (discourse-level), che coinvolge strutture complesse su più frasi, multiple entità e molteplici relazioni per ciascuna entità. Il lavoro si pone la domanda: come organizzano e recuperano le informazioni relazionali i LLM all'interno del loro spazio di attivazione durante l'elaborazione di discorsi complessi?

2. Metodologia

Gli autori propongono un framework chiamato Cell-Based Binding Representation (CBR) e utilizzano una combinazione di analisi lineare, interventi causali e visualizzazione geometrica per investigare i modelli (Llama3-8B-Instruct e Qwen3-8B).

• Schema di Indicazione Relazionale (IRS): Per analizzare i dati, gli autori creano un dataset controllato con discorsi multi-sentenza annotati con indici discreti per le entità ($e_i$) e per i tipi di relazione ($r_i$). Ogni attributo è legato a una specifica coppia $(e_i, r_i)$.
• Identificazione dello Spazio CBR: Utilizzando la Regressione ai Minimi Quadrati Parziali (PLS), gli autori mappano i vettori di attivazione dei token attributo (da uno strato intermedio, tipicamente il 15°) verso gli indici $e_i$ e $r_i$. Questo permette di identificare un sottospazio lineare a bassa dimensionalità dove le informazioni di legame sono codificate.
• Interventi Causali (Activation Patching/Steering): Per verificare la rilevanza causale dello spazio CBR, gli autori manipolano le attivazioni:
  • Patching: Sostituiscono le attivazioni originali con quelle di un sottospazio diverso per osservare il crollo delle prestazioni.
  • Steering: Spostano le attivazioni lungo le direzioni degli indici (es. cambiando l'indice della relazione da $r_1$ a $r_2$) per vedere se il modello cambia sistematicamente la sua previsione (es. da "Cina" a "Francia").
• Analisi di Generalità e Robustezza: Vengono testati diversi domini semantici, modelli, e condizioni di perturbazione (shuffling dell'ordine delle frasi, ablazione di attributi, variazione della distanza di riferimento) per verificare la stabilità della struttura CBR.

3. Contributi Chiave

• Scoperta della Rappresentazione CBR: Dimostrano che i LLM codificano il legame relazionale in un sottospazio lineare a bassa dimensionalità organizzato in una griglia (o diagramma di Voronoi). Ogni "cella" in questo spazio corrisponde a una specifica coppia indice-entità/indice-relazione $(e_i, r_i)$.
• Decodificabilità Lineare: Gli indici di entità e relazione sono linearmente decodificabili dalle attivazioni del modello con un'ottima precisione ($R^2$ vicina a 1) utilizzando pochi componenti (2-5).
• Geometria del Legame: Lo spazio di attivazione mostra due direzioni dominanti e interpretabili: una per gli indici di entità e una per gli indici di relazione. Gli attributi legati alla stessa entità si raggruppano lungo la direzione $e_i$, mentre quelli con la stessa relazione si allineano lungo $r_i$.
• Trasferimento Cross-Contesto: Le rappresentazioni CBR specifiche per un contesto sono correlate tra loro da vettori di traslazione nello spazio di attivazione. Questo permette di trasferire la capacità di decodifica da un contesto all'altro applicando una semplice traslazione.
• Evidenza Causale: Attraverso l'attivazione patching, dimostrano che manipolare questo sottospazio altera sistematicamente le previsioni del modello, fornendo prove causali che i LLM dipendono attivamente da questa struttura per recuperare informazioni relazionali.

4. Risultati Principali

• Visualizzazione a Griglia: Proiettando le attivazioni sui primi due componenti PLS, si osserva una distribuzione a griglia chiara dove ogni punto corrisponde a una coppia $(e_i, r_i)$.
• Landscape dei Logit: La manipolazione delle attivazioni all'interno dello spazio CBR crea un "paesaggio" logit in cui ogni cella ha un picco di probabilità per l'attributo corretto associato a quella cella. Muovendosi verso un'altra cella, la probabilità dell'attributo originale diminuisce mentre aumenta quella dell'attributo target.
• Robustezza: La struttura CBR rimane stabile anche quando si altera l'ordine superficiale delle frasi (shuffling) o si rimuovono attributi (ablazione), indicando che il modello codifica la struttura relazionale profonda e non si basa su indizi superficiali o ripetitivi.
• Generalizzazione Semantica: Lo spazio CBR cattura anche similarità semantiche: relazioni semanticamente simili (es. "lavora come" e "ruolo di") formano blocchi di similarità coerenti nello spazio proiettato.
• Applicazione Reale: L'analisi su un dataset reale di estrazione di relazioni (Re-DocRED) mostra che il segnale CBR è recuperabile quando il contesto di test è semanticamente simile ai dati di addestramento.
• Confronto con Baseline: Il metodo CBR supera le tecniche basate su Hessian (Feng et al., 2024) nell'identificare legami corretti in scenari che contrastano gli stereotipi (es. "CEO" legato a "femmina" invece che a "maschio").

5. Significato e Implicazioni

Questo lavoro estende l'Ipotesi della Rappresentazione Lineare al dominio del legame relazionale complesso a livello di discorso.

• Interpretabilità: Fornisce una mappa chiara e strutturata di come i LLM gestiscono la memoria a lungo termine e le relazioni in contesti complessi, offrendo uno strumento per monitorare gli "stati del mondo" interni del modello.
• Controllo e Intervento: La natura causale e geometrica del CBR apre la strada a tecniche di intervento mirato (es. correzione di bias, allineamento) manipolando direttamente gli indici di legame nello spazio latente.
• Teoria Cognitiva: Suggerisce che i LLM, simile ai sistemi cognitivi umani, utilizzano un meccanismo di "binding" strutturato e composizionale (indici discreti organizzati in una griglia) per tracciare entità e relazioni, piuttosto che affidarsi solo a correlazioni statistiche superficiali.

In sintesi, il paper dimostra che i LLM non sono "scatole nere" caotiche quando si tratta di ragionamento relazionale, ma utilizzano un'architettura interna ordinata, geometrica e interpretabile per legare informazioni attraverso il discorso.