Causal Evidence of Stack Representations in Modeling Counter Languages Using Transformers

Sintesi Tecnica: Evidenza Causale delle Rappresentazioni di Stack nella Modellazione di Linguaggi di Contatore tramite Transformer

Definizione del Problema
Sebbene l'interpretabilità meccanicistica abbia identificato con successo caratteristiche latenti nei modelli linguistici (LM) addestrati su linguaggi formali, rimane un divario critico nel determinare il ruolo causale di tali caratteristiche. Studi precedenti, come Tiwari et al. (2025), hanno dimostrato che i transformer addestrati su linguaggi di contatore (es. Dyck-1, Shuffle-k) apprendono rappresentazioni coerenti con una struttura sottostante di tipo stack. Tuttavia, questi studi non hanno determinato se tali rappresentazioni siano meramente correlate al compito o se siano causalmente necessarie per il calcolo del modello. Questo articolo affronta la domanda: le rappresentate strutture di stack apprese sono coinvolte causalmente nella capacità del transformer di predire il token successivo?

Metodologia
Lo studio impiega una pipeline sperimentale in tre fasi che prevede addestramento, probing e intervento causale:

1. Addestramento del Modello: Un transformer encoder-only viene addestrato sulla predizione del token successivo per i linguaggi Shuffle-k (dove $k \in \{2, 4, 6, 8\}$). Shuffle-k è definito come l'intercalazione di $k$ linguaggi Dyck-1 indipendenti, richiedendo al modello di tracciare la profondità di $k$ distinti stack di parentesi simultaneamente. L'architettura del modello consiste in un singolo strato con 4 teste di attenzione, una dimensione di embedding di 32 e una dimensione nascosta di 64. Il modello raggiunge un'accuratezza di validazione perfetta entro il 25° epoca, garantendo che tutte le analisi successive siano eseguite su un modello completamente convergente.
2. Probing della Profondità dello Stack: Probe lineari vengono addestrati per predire la profondità di stack specifici ($c_i(t)$) a partire dagli stati nascosti del modello ($h^{(l)}_t$) al layer $l$. Per garantire che i probe catturino informazioni strutturali genuine piuttosto che correlazioni spurie, un control probe viene addestrato su etichette perturbate. La metrica Selettività è definita come la differenza di accuratezza tra il probe sperimentale e il control probe. Un'alta selettività indica che la profondità dello stack è genuinamente codificata nello spazio nascosto.
3. Intervento Causale (Ablazione):
   • Estrazione della Direzione: La matrice dei pesi $W$ del probe viene decomposta tramite SVD (Singular Value Decomposition). Il vettore singolare destro principale, $w$, viene identificato come la direzione principale corrispondente alla rappresentazione della profondità dello stack.
   • Ablazione: Durante l'inferenza, la componente dello stato nascosto allineata con $w$ viene rimossa utilizzando l'operazione $h' = h - \alpha(w \cdot h)w$, dove $\alpha \in [0, 1]$ rappresenta l'intensità dell'ablazione.
   • Controllo: Direzioni casuali vengono similmente ablate per servire come baseline.
   • Valutazione: Gli stati ablati vengono passati direttamente alla testa del decoder (senza rieseguire gli strati interni del transformer) per misurare l'impatto su Accuratezza Posizionale ($A_{pos}$) e Accuratezza Sequenziale ($A_{seq}$).

Risultati Chiave

• Esistenza della Rappresentazione: I probe lineari estraggono con successo informazioni sulla profondità dello stack con alta selettività (es. 85,8% per $k=6$, Stack 2), confermando che il modello apprende rappresentazioni coerenti con una struttura di stack.
• Necessità Causale: L'ablazione mirata della direzione principale dello stack ($w$) causa un crollo drammatico delle prestazioni del modello. Man mano che l'intensità dell'ablazione $\alpha$ aumenta da 0 a 1, l'Accuratezza Sequenziale scende vicino allo 0%.
• Specificità: L'ablazione di direzioni casuali non ha alcun effetto significativo sull'accuratezza, confermando che il crollo delle prestazioni è specifico per la rimozione della rappresentazione dello stack e non un artefatto generale della manipolazione vettoriale.
• Sensibilità della Metrica: Lo studio osserva che, mentre l'accuratezza posizionale subisce un calo, l'accuratezza sequenziale crolla in modo più netto. Ciò è attribuito alla natura cumulativa degli errori nella generazione di sequenze, dove un singolo token errato invalida l'intera stringa.

Significatività e Rivendicazioni
L'articolo sostiene di fornire una forte evidenza empirica che le rappresentazioni di stack nei transformer addestrati su linguaggi di contatore non sono solo artefatti emergenti, ma sono causalmente necessarie per il calcolo interno del modello e la predizione del token successivo.

Dimostrando che la rimozione di una specifica direzione di rappresentazione appresa porta a un fallimento quasi totale del modello, gli autori sostengono che il transformer utilizzi esplicitamente queste strutture simili a stack per risolvere i compiti di ragionamento logico richiesti dai linguaggi formali. Ciò sposta il campo oltre l'analisi correlazionale (probing) verso una comprensione meccanicistica causale, convalidando il fatto che il comportamento "black box" del modello si basa su primitive computazionali specifiche e identificabili.

Direzioni Future
Gli autori suggeriscono che i lavori futuri dovrebbero esplorare:

• L'intervento a metà rete, passando stati ablati o modificati attraverso la rete feed-forward per osservare i cambiamenti negli output successivi.
• L'indagine sul ruolo di diverse architetture nell'emergenza, ridondanza e causalità di queste rappresentazioni.
• La comprensione di come i transformer gestiscano la manipolazione di altre primitive computazionali emergenti come i contatori.