💬 NLP

Mechanistic evaluation of Transformers and state space models

Questo articolo impiega interventi causali per rivelare che, sebbene i Transformer e gli SSM possano raggiungere un'accuratezza simile nei compiti di associazione di memoria (associative recall), essi si affidano a meccanismi fondamentalmente diversi — nello specifico, i modelli Transformer e Based utilizzano l'induzione in-context, mentre la maggior parte degli SSM si affida a computazioni di stato a singolo strato, con Mamba che ottiene unicamente l'induzione attraverso brevi convoluzioni piuttosto che attraverso il suo componente SSM principale.

Autori originali: Aryaman Arora, Neil Rathi, Nikil Roashan Selvam, Róbert Csordás, Dan Jurafsky, Christopher Potts

Pubblicato 2026-02-02

📖 6 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Aryaman Arora, Neil Rathi, Nikil Roashan Selvam, Róbert Csordás, Dan Jurafsky, Christopher Potts

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di dover insegnare a un robot come giocare a un gioco di memoria. Il gioco è semplice: mostri al robot un elenco di coppie, come "Mela = Rossa", "Banana = Gialla" e "Uva = Viola". Poi chiedi: "Qual è il colore della Banana?". Il robot deve guardare indietro all'elenco, trovare "Banana" e ricordare che è collegata a "Gialla".

Nel mondo dell'IA, questo si chiama Associazione di Richiamo (Associative Recall). Il documento che hai condiviso è un'analisi approfondita di come diversi tipi di cervelli artificiali (architetture) risolvono questo gioco. I ricercatori non si sono limitati a guardare chi otteneva il punteggio più alto; hanno messo i robot sotto un microscopio per vedere esattamente cosa stava accadendo dentro le loro "teste" mentre giocavano.

Ecco la storia delle loro scoperte, suddivisa in concetti semplici.

I due principali contendenti

Il documento confronta due tipi principali di architetture IA:

Transformer: I campioni attuali dell'IA (come quelli che alimentano la maggior parte dei chatbot). Utilizzano un meccanismo chiamato "Attenzione", che è come avere un riflettore che può scansionare istantaneamente l'intero elenco di coppie per trovare la risposta.
Modelli a Spazio di Stato (SSM): I nuovi sfidanti, più veloci ed efficienti (come Mamba e DeltaNet). Sono progettati per essere più leggeri e rapidi dei Transformer, ma è stato sospettato che siano peggiori nei compiti di memoria.

La grande scoperta: Non si tratta solo del punteggio

Di solito, se un'IA ottiene il 99% in un test, assumiamo che abbia imparato la lezione. Ma questo documento sostiene che ottenere la risposta corretta non significa aver imparato nel modo giusto.

I ricercatori hanno utilizzato una tecnica speciale di "chirurgia" chiamata Intervento Causale. Immagina di avere un robot che risolve il gioco della memoria perfettamente. Poi, sostituisci segretamente la parola "Banana" con "Auto" nella memoria del robot dopo che ha letto l'elenco, ma prima di dare la risposta.

Se il robot dice improvvisamente "Giallo è il colore di un'Auto", significa che stava effettivamente ricordando il legame (Induzione).
Se il robot semplicemente indovina o fallisce, significa che non stava memorizzando il legame in modo flessibile; stava solo guardando ciò che aveva immediatamente intorno.

Cosa hanno scoperto

1. La differenza tra "Induzione" e "Recupero Diretto"

Transformer e modelli "Based": Questi modelli hanno imparato a giocare nel modo "intelligente". Hanno creato una mappa mentale dove hanno memorizzato la connessione tra l'elemento e il suo valore (ad esempio, "Banana" è incollata a "Gialla") mentre leggevano l'elenco. Quando veniva posta una domanda, cercavano in questa mappa memorizzata. I ricercatori chiamano questo Induzione.
La maggior parte degli SSM (come H3 e Hyena): Questi modelli hanno fallito il gioco. Non sono riusciti a capire come memorizzare i legami.
Mamba e DeltaNet: Questi modelli hanno ottenuto punteggi alti, ma hanno barato! Non hanno costruito una mappa mentale. Invece, hanno usato una "scorciatoia". Quando arrivava la domanda "Banana?", hanno guardato immediatamente il token subito prima di esso o hanno usato un trucco molto specifico e rigido per prendere la risposta. Non hanno imparato la regola generale di "associare" le cose; hanno solo imparato a prendere la risposta da un punto specifico.

2. L'arma segreta: La "Convoluzione Breve"

I ricercatori hanno scoperto che i modelli che hanno avuto successo (Mamba e Based) avevano un'arma segreta: uno strumento di memoria a brevissimo termine chiamato convoluzione breve (short convolution).

Analogia: Immagina di leggere un libro. Una "convoluzione lunga" è come leggere l'intero capitolo per capire una frase. Una "convoluzione breve" è come dare un'occhiata veloce alla parola che hai appena letto e a quella precedente.
La scoperta: Mamba usa questo "colpo d'occhio" (convoluzione breve) per collegare "Banana" a "Gialla" mentre legge. Senza questo strumento specifico, Mamba dimentica completamente come giocare al gioco. Si scopre che Mamba non usa la sua "parte principale del cervello" (la parte SSM) per fare il lavoro di memoria; usa questo piccolo strumento di "colpo d'occhio" per fare il lavoro pesante.

3. Il colpo di scena: Il gioco dell' "Albero" (ATR)

Per vedere se queste scoperte fossero solo un caso fortuito dovuto al gioco semplice, i ricercatori hanno inventato una versione più difficile chiamata Associative Treecall (ATR).

Il cambiamento: Nel gioco semplice, "Banana" e "Gialla" erano sempre vicine tra loro. Nel gioco dell' "Albero", potevano essere lontane, separate da altre parole, come un albero genealogico. "John aveva un cane. Il cane inseguiva un gatto. Il gatto vide un uccello. Cosa aveva John?".
Il risultato:
- Transformer e Based: Hanno continuato a usare la loro mappa di "Induzione". Hanno gestito facilmente la distanza.
- Mamba (con la scorciatoia): Ha continuato a usare il suo strumento di "colpo d'occhio" e ha ottenuto buoni risultati.
- Mamba (senza la scorciatoia): Ecco la sorpresa! Quando i ricercatori hanno rimosso lo strumento della "convoluzione breve" di Mamba, Mamba ha fallito il gioco semplice ma ha avuto successo al gioco difficile dell' "Albero".
- Perché? Senza la scorciatoia, Mamba è stato costretto a imparare la mappa di "Induzione" (allo stesso modo dei Transformer) per risolvere il problema più difficile. Questo ha dimostrato che Mamba è capace di imparare il modo intelligente, ma lo fa solo quando è assolutamente costretto a farlo.

Il punto fondamentale

Il documento conclude che l'accuratezza è una bugia.

Due modelli di IA possono ottenere lo stesso punteggio in un test, ma uno potrebbe essere un genio che comprende le regole (Induzione), mentre l'altro potrebbe essere un imbroglione che ha solo memorizzato la chiave delle risposte per quel test specifico (Recupero Diretto).

I Transformer sono come bibliotecari che organizzano i libri sugli scaffali per poter trovare qualsiasi connessione in seguito.
Mamba (nella sua forma standard) è come una persona che ricorda solo l'ultima cosa che ha visto, a meno che non usi un particolare "post-it" (convoluzione breve) per aiutarla.
La lezione: Per comprendere davvero l'IA, non possiamo limitarci a guardare i punteggi dei test. Dobbiamo guardare sotto il cofano per vedere come pensa la macchina. Questa "valutazione meccanicistica" è il nuovo strumento che gli autori propongono per evitare di essere ingannati da punteggi elevati che nascondono una comprensione debole.

Riepilogo Tecnico: Valutazione Meccanicistica di Transformer e Modelli Spazio-Stato

Definizione del Problema

Sebbene i Modelli Spazio-Stato (SSM) offrano un'alternativa efficiente e sub-quadratica ai Transformer per la modellazione del linguaggio, essi presentano delle carenze nei compiti di recupero (retrieval)—specificamente nel copiare informazioni dal contesto—che i benchmark standard spesso non riescono a catturare. Lavori precedenti hanno utilizzato compiti sintetici come l'Associazione Ricorsiva (Associative Recall - AR) per identificare questi gap di prestazione, ma l'affidarsi a metriche comportamentali (ad es. l'accuratezza del compito) fornisce scarsi approfondimenti sul perché determinate architetture falliscano o abbiano successo. Il problema centrale è la mancanza di una comprensione meccanicistica su come diverse architetture implementino il recupero nel contesto e se apprendano soluzioni robuste e generalizzabili (come l'induzione) o se si affidino a euristiche fragili e dipendenti dalla posizione.

Metodologia

Gli autori propongono un framework per la valutazione meccanicistica utilizzando interventi causali per analizzare come i modelli risolvano i compiti di recupero.

Compiti:
- Associative Recall (AR): Un compito sintetico in cui un modello riceve una sequenza di coppie chiave-valore seguita da una chiave di query, richiedendo al modello di produrre il valore corrispondente.
- Associative Treecall (ATR): Un nuovo compito di recupero gerarchico generato tramite una Grammatica Liberamente Associativa Probabilistica (PCFG). A differenza di AR, dove chiavi e valori sono adiacenti, l'ATR richiede l'associazione di token non adiacenti basati su strutture ad albero latenti, imitando più da vicino il recupero del linguaggio naturale del mondo reale.
Metriche Meccanicistiche (Interventi di Scambio):
- Gli autori utilizzano interventi di scambio (interchange interventions) (Geiger et al., 2021; 2024) sugli stati interni del modello.
- Procedura: Corrompono un token specifico nell'input (ad es. la chiave) per degradare le prestazioni. Successivamente intervengono su stati nascosti specifici (alla posizione della chiave, del valore o della query) in determinati layer, sostituendo la rappresentazione corrotta con una rappresentazione "pulita" proveniente da un input controfattuale.
- Metrica: Misurano l'entità in cui questo intervento ripristina la verosimiglianza della risposta corretta. Un alto ripristino al token del valore indica un meccanismo di induzione (memorizzazione delle associazioni al valore per un recupero successivo). Un alto ripristino alla query o alla chiave indica un recupero diretto (calcolo dell'associazione immediatamente alla query o in un layer specifico).
Architetture Valutate:
- Transformer (Attention)
- SSM: Mamba, DeltaNet, H3, Hyena
- Modelli Ibridi: Based, BaseConv, DeltaNet
Studi di Ablazione:
- Rimozione sistematica o modifica delle convoluzioni brevi (variando le dimensioni del kernel $d_{conv}$ ) in Mamba e Based per determinare la loro necessità per l'associazione.

Contributi Chiave e Risultati

1. Meccanismi Divergenti per Accuratezza Simile

Le metriche comportamentali mostrano che i Transformer, Based e Mamba raggiungono un'alta accuratezza su AR, mentre altri SSM (H3, Hyena) falliscono. Tuttavia, l'analisi meccanicistica rivela differenze fondamentali:

Transformer e Based: Imparano un meccanismo di induzione. Memorizzano le associazioni chiave-valore al token del valore durante il passaggio in avanti (forward pass), permettendo a un layer successivo di recuperare la risposta. Questa è una soluzione robusta a due layer.
Mamba e DeltaNet: Utilizzano principalmente il recupero diretto. Calcolano l'associazione al token della query (spesso nel layer 0 o 1) senza memorizzare esplicitamente l'associazione al token del valore.
H3 e Hyena: Falliscono nell'apprendere efficacemente il compito in queste condizioni.

2. Il Ruolo Critico delle Convoluzioni Brevi

Gli autori identificano le convoluzioni brevi come la componente critica che abilita l'associazione in Mamba e Based:

In Mamba: Le convoluzioni brevi sono necessarie per l'AR. Quando la dimensione del kernel di convoluzione viene ridotta a 1 o rimossa, le prestazioni di Mamba sull'AR crollano quasi a zero.
Meccanismo in Mamba: Contrariamente all'assunto che Mamba si affidi esclusivamente allo stato SSM, gli autori scoprono che la convoluzione breve all'interno di Mamba esegue il passaggio di associazione simile all'induzione (spostando l'informazione della chiave verso il valore o la chiave successiva), mentre la componente SSM gestisce il recupero.
In Based: Sostituire le convoluzioni brevi con convoluzioni implicite lunghe degrada significativamente le prestazioni, confermando la necessità del campo ricettivo breve per questo specifico compito.

3. Generalizzazione al Recupero Gerarchico (ATR)

Gli autori introducono l'ATR per testare se questi meccanismi si generalizzino oltre i token adiacenti:

Risultati Comportamentali: Mamba supera o eguaglia tutte le altre architetture su ATR, anche senza convoluzioni brevi.
Spostamento Meccanicistico: Su ATR, Mamba senza convoluzioni brevi impara con successo un meccanismo di induzione a due layer (memorizzazione al valore), simile ai Transformer.
Implicazione: Ciò suggerisce che Mamba possiede la capacità di induzione, ma opta per il recupero diretto tramite convoluzioni brevi su compiti più semplici (AR). La dipendenza dalle convoluzioni brevi è dipendente dal compito; esse sono essenziali per l'AR ma non strettamente per l'ATR, dove il modello può ricorrere a un meccanismo di induzione più generale.

Significato e Rivendicazioni

Il paper sostiene che le valutazioni meccanicistiche sono essenziali per comprendere le capacità architettoniche, poiché l'accuratezza comportamentale da sola può essere fuorviante.

Differenze Sostanziali: Architetture con accuratezza simile (ad es. Transformer vs Mamba) possono impiegare meccanismi interni fondamentalmente diversi. I Transformer e Based imparano un meccanismo di induzione generalizzabile, mentre il successo di Mamba sull'AR dipende fortemente da una specifica componente architettonica (la convoluzione breve) che implementa l'induzione localmente.
Dipendenza dal Compito: I meccanismi appresi non sono statici; Mamba adatta la sua strategia in base alla struttura del compito (adiacente vs gerarchica).
Implicazioni di Design: I risultati suggeriscono che le convoluzioni brevi sono un elemento abilitante chiave per la memoria associativa negli SSM, ma la loro assenza non preclude l'apprendimento di meccanismi di induzione se il compito (come l'ATR) lo richiede.
Direzioni Future: Gli autori sostengono che le metriche meccanicistiche dovrebbero essere adottate come uno strumento standard per l'analisi delle architetture per "aprire la scatola nera" del progresso dell'IA, andando oltre l'intuizione e il benchmarking empirico per spiegare come i modelli risolvono i compiti.

Il paper conclude che, sebbene i compiti sintetici come l'AR abbiano guidato l'innovazione architettonica, trattarli esclusivamente come benchmark comportamentali significa scartare segnali preziosi. Applicando interventi causali, gli autori rivelano che il "successo" degli SSM nei compiti di recupero spesso dipende da componenti specifiche e sensibili al compito, piuttosto che da una capacità di induzione universale e robusta inerente alla formulazione stessa degli SSM.