Riepilogo Tecnico: Geometria del Rang Relazionale nei Trasformatori

Enunciato del Problema

L'interpretabilità meccanicistica attuale si concentra prevalentemente su oggetti locali o di basso ordine, come singoli neuroni, testine di attenzione, caratteristiche sparse o direzioni lineari nel flusso residuo. Sebbene efficaci per le caratteristiche localizzate, questi strumenti lasciano un divario fondamentale: non descrivono adeguatamente la geometria delle relazioni tra più token come oggetto unificato. La letteratura recente suggerisce che i concetti possano formare varietà curve e che il vincolo relazionale rimanga una difficoltà sistematica per i modelli all'avanguardia. Questo lavoro ipotizza che, quando un modello rappresenta una relazione tra diversi token, la relazione stessa costituisca un distinto oggetto geometrico — un frame relazionale — definito come la configurazione dello stato nascosto delle tuple di token partecipanti. Il problema centrale è determinare se questi frame possiedano una struttura orientata misurabile e indicizzata per rango, e se tale struttura possa essere mirata per guidare il comportamento del modello.

Metodologia

1. Diagnostica: Entropia del Segno di Plücker

Per rilevare la geometria delle relazioni, il lavoro introduce l'entropia del segno di Plücker, una statistica diagnostica derivata dalle coordinate di Plücker (minori determinanti).

• Proiezione: Gli stati nascosti sono proiettati in un sottospazio fisso a bassa dimensionalità (dimensione $p=64$) utilizzando una matrice di proiezione gaussiana.
• Misurazione dell'Orientamento: Per una tupla di $k$ token, il metodo calcola il segno del determinante del minore di riga selezionato nell'incorporamento dei token a sinistra dei primi $k$ singolari. Questo segno registra l'orientamento (chiralità) della tupla, scartando la scala.
• Calcolo dell'Entropia: L'entropia di questi segni è calcolata su insiemi di tuple di relazioni vere, tuple mescolate (stessi token, vincolo rotto) e controlli casuali. Un'entropia del segno più bassa indica una firma di orientamento più coerente.
• Ipotesi del Rango: Il lavoro ipotizza che una relazione a $r$ argomenti mostri la sua massima coerenza di orientamento (entropia più bassa) al rango di Plücker $k=r$. La diagnostica misura il "margine diagonale", confrontando il divario di entropia al rango atteso $k=r$ con altri ranghi ammissibili.

2. Intervento: Saggio Griglia-Bordo Pulito/Corrotto

Per verificare se questi frame sono azionabili, il lavoro impiega un saggio griglia-bordo utilizzando griglie $8 \times 8$ di token di riga/colonna con marcatori SÌ/NO.

• Configurazione: I prompt condividono la stessa impalcatura di riga/colonna e vocabolario, ma differiscono nella mappa di relazione SÌ/NO (Pulito: mappa di identità coerente; Corrotto: mappa con target duplicati). Ciò crea un ambiente controllato in cui lo stato della relazione cambia mentre la struttura superficiale rimane fissa.
• Percorsi di Guida: Lo studio applica patch agli stati nascosti in posizioni specifiche dei token marcatori SÌ/NO (Livello 5) per spostare la "nuvola" di marcatori di relazione "corrotta" verso la nuvola "pulita". Vengono testate diverse famiglie di intervento:
  • Basato sulla forma: Sostituzione della disposizione relativa dei marcatori (forma centrata) mantenendo fisso il centroide.
  • Basato sul centroide: Traslazione solo del vettore medio.
  • Basato sul sottospazio: Spostamento del sottospazio di Grassmann generato dalla nuvola.
  • Controlli: Rumore a norma uguale, rotazioni casuali e patch su siti errati.
• Lettura: Il recupero è misurato da due metriche al livello di lettura (Livello 35 per i modelli da 70B/405B):
  1. Recupero Comportamentale: Lo spostamento nei logit delle risposte verso la risposta pulita.
  2. Recupero Geometrico Residuo: Lo spostamento di un vettore di lama relazionale residuo (costruito dai prodotti esterni dei token di riga/colonna) verso la geometria pulita.
  3. Recupero Accoppiato: Una metrica che garantisce che comportamento e geometria si muovano insieme lungo il percorso.

Contributi Chiave

1. Saggio Diagnostico Indicizzato per Rango: Il lavoro dimostra che le tuple di relazioni controllate a $r$ argomenti mostrano una maggiore coerenza del segno di orientamento al rango di Plücker atteso $k=r$ nei modelli della famiglia Llama da 8B, 70B e 405B. Questo segnale è più uniforme nel modello da 405B e persiste attraverso audit multi-template, distinguendosi da artefatti di livello superficiale.
2. Saggio Griglia-Bordo con Gate di Competenza: Un disegno sperimentale innovativo che isola la geometria del marcatore di relazione dall'impalcatura circostante del prompt, consentendo un'intervento preciso sullo stato della relazione senza alterare la struttura del compito.
3. Evidenza Interventistica per i Frame Relazionali: Lo studio mostra che nei modelli competenti (70B e 405B), guidare la forma della nuvola di marcatori di relazione (specificamente la geometria ordinata, stato pulito) recupera sia il comportamento della risposta pulita sia la geometria relazionale residua. Crucialmente, la sola traslazione del centroide e il rumore a norma uguale non producono questo recupero, indicando che la forma strutturata, non solo la media o l'entità della perturbazione, è l'oggetto causalmente efficace.

Risultati

• Rilevamento: In tutte le dimensioni del modello, le tuple di relazioni vere mostrano margini diagonali positivi al rango atteso ($k=r$ per solo argomenti, $k=r+1$ per predicato più argomento). Il modello da 405B mostra margini positivi coerenti attraverso tutti i costruttori e le arità testati ($r=3$ fino a $6$), mentre i modelli da 8B e 70B mostrano variazioni strutturate ma specifiche per costruttore.
• Guida: Nei modelli 70B e 405B, percorsi lisci di frame relazionale (marcatore lineare, solo forma, forma di Grassmann) raggiungono un recupero quasi completo del punto finale sia del comportamento sia della geometria residua.
  • Forma vs Centroide: Gli interventi basati solo sulla forma recuperano il comportamento quasi tanto efficacemente quanto gli interventi completi centroide-plus-forma, mentre la sola traslazione del centroide produce un recupero trascurabile ($\approx 0.002$).
  • Controlli di Sito/Ordine: Permutare l'ordine delle forme pulite o rifletterle abolisce il recupero, confermando che la geometria ordinata è essenziale. Il trasferimento cross-prompt della forma pulita ha successo, ma trasferire una forma corrotta o applicare delta puliti a siti errati fallisce.
  • Lettura di Plücker: Gli interventi riusciti ripristinano anche la lettura di Plücker del marcatore di bordo (struttura del segno del determinante) verso lo stato pulito, colmando le metà diagnostica e interventistica dello studio.
• Limitazioni: Il modello da 8B è identificato come un confine di competenza; manca della competenza comportamentale di base per ancorare l'affermazione di guida, sebbene si osservi un certo movimento geometrico. I risultati del trasferimento cross-prompt sono specifici allo stato pulito di mappa di identità utilizzato nel banco di prompt e non provano ancora il trasferimento attraverso contenuti relazionali arbitrari.

Significato e Affermazioni

Il lavoro afferma di stabilire un ponte a livello di stato dal rilevamento delle relazioni all'intervento sui frame relazionali. Sostiene che la geometria del rango relazionale è sia rilevabile tramite statistiche del segno del determinante sia mirabile tramite interventi sugli stati nascosti che recuperano il comportamento dipendente dalla relazione.

Il significato risiede nello spostamento dell'unità di analisi dalle caratteristiche isolate o dalle direzioni lineari alle configurazioni finite e ordinate degli stati nascosti dei token. I risultati suggeriscono che per le relazioni di ordine superiore, il modello utilizza un oggetto geometrico (il frame relazionale) la cui forma strutturata è il principale motore del comportamento corretto. Ciò fornisce una maniglia concreta a livello di relazione per l'interpretabilità meccanicistica, distinta ma complementare agli oggetti a livello di circuito o di caratteristica. Il lavoro afferma esplicitamente di non rivendicare di aver localizzato l'intera circuitaria a monte/a valle, ma piuttosto di aver identificato un oggetto di stato misurabile e guidabile che media il comportamento relazionale.