💬 NLP

Detection vs. Execution: Single-Bucket Probes Miss Half the Mamba-2 State Sink

Questo articolo dimostra che in Mamba-2, le firme rappresentazionali identificate da sonde a singolo bucket spesso confondono distinti circuiti di rilevamento ed esecuzione per il fenomeno dello stato sink, rivelando che solo un sottoinsieme specifico di teste (specialiste del BOS) guida causalmente le prestazioni critiche di recupero nel lungo contesto, mentre altre con rappresentazioni simili non lo fanno.

Autori originali: Yuhang Jiang

Pubblicato 2026-06-02

📖 6 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Yuhang Jiang

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

L'Idea Centrale: Vedere l' "Ombra" vs l' "Attore"

Immaginate di cercare di capire come un'orchestra massiccia e complessa suoni un brano specifico. Avete un microfono (una sonda) che può rilevare quando uno strumento specifico sta suonando ad alto volume.

Nel mondo della ricerca sull'IA, gli scienziati spesso assumono che, se il loro microfono rileva un suono forte da uno strumento specifico, quello strumento sia quello che effettivamente sta suonando la melodia.

Questo articolo sostiene che in un nuovo tipo di modello di IA chiamato Mamba-2, questa assunzione è errata. Il microfono rileva una enorme "ombra" di attività, ma l' "attore" reale che svolge il lavoro pesante è un piccolo gruppo nascosto all'interno di quell'ombra. Se guardate solo il suono forte, vi perderete il vero meccanismo.

L'Ambiente: Il "State Sink" (Pozzo dello Stato)

Per capire il problema, dobbiamo capire cosa sta facendo l'IA.

L'Analogia: Immaginate una lunga fila di persone che si passano un secchio d'acqua in una catena. Ogni volta che una nuova persona si unisce alla fila (una nuova parola in una frase), la persona all'estremo fronte (il "Inizio della Frase" o BOS token) deve stringere il secchio con forza per evitare che l'acqua si rovesci.
La Scienza: In questi modelli di IA, questo "stringere con forza" è chiamato State Sink. Il modello concentra una quantità massiccia di energia sui primi token (come l'inizio di una frase o di una nuova riga) per mantenere stabile la propria memoria.

La Scoperta: Due Gruppi, Un Segnale

I ricercatori hanno esaminato i modelli Mamba-2 e hanno scoperto che questo "State Sink" non è solo un grande gruppo di lavoratori. È in realtà composto da due gruppi distinti che sembrano uguali a un rilevatore semplice, ma svolgono compiti molto diversi.

1. Gli "Specialisti del BOS" (Lo Strato di Esecuzione)

Chi sono: Un piccolo gruppo di lavoratori (solo circa il 5% del totale).
Cosa fanno: Sono i compitatori. Sono loro che stanno effettivamente reggendo il secchio e mantenendo il flusso dell'acqua. Se li rimuovete, l'intera fila crolla e l'IA dimentica tutto.
L'Affermazione del Paper: Questi sono il circuito di "Esecuzione". Sono loro che stanno effettivamente eseguendo il calcolo.

2. Le "Doppie Teste" (Lo Strato di Rilevamento)

Chi sono: Un gruppo molto più numeroso (circa il 30% del totale).
Cosa fanno: Sono gli osservatori. Stanno in piedi accanto ai compitori, guardano la stessa cosa e si eccitano tanto quanto loro. Per un semplice microfono (una "sonda a secchio singolo"), sembrano identici ai compitori. I loro segnali sono quasi identici.
Il Colpo di Scena: Se rimuovete questi osservatori, l'IA funziona ancora bene! Non stanno facendo il lavoro pesante. Stanno solo "rilevando" che qualcosa di importante sta accadendo.
L'Affermazione del Paper: Questi sono il circuito di "Rilevamento". Hanno la giusta firma (sembrano lavorare) ma non la giusta funzione (non stanno effettivamente lavorando).

L'Errore: La Trappola del "Secchio Singolo"

Il paper chiama l'errore di confondere questi due gruppi "Errore della Sonda a Secchio Singolo".

L'Analogia: Immaginate di cercare di trovare i migliori chef in una cucina chiedendo: "Chi sta impugnando un coltello?".
- Troverete un piccolo gruppo di Chef Capo (gli Specialisti del BOS) che stanno effettivamente cucinando il pasto.
- Troverete anche un grande gruppo di Sous Chef (le Doppie Teste) che tengono in mano dei coltelli ma stanno solo tagliando le verdure per il contorno.
- Se usate un test semplice che dice "Chiunque impugni un coltello è uno Chef Capo", crederete erroneamente che i Sous Chef siano quelli che cucinano il piatto principale.
- Il Risultato: Pensate di aver trovato tutta la brigata di cucina, ma avete mancato il fatto che la vera cucina è fatta da una piccola squadra d'élite.

In Mamba-2, i "coltelli" sono i segnali matematici. La sonda semplice vede entrambi i gruppi impugnare i coltelli, ma solo il piccolo gruppo sta effettivamente cucinando il pasto.

Perché succede questo? (L'Architettura)

Perché Mamba-2 ha questo gruppo "Ombra" mentre i modelli precedenti no?

Mamba-1 (Il Vecchio Modello): Immaginate una cucina dove ogni chef ha il proprio bancone privato. Se uno chef vuole concentrarsi sull'Inizio della Frase, può farlo senza disturbare nessun altro. I "Compitori" e gli "Osservatori" sono la stessa persona.
Maumba-2 (Il Nuovo Modello): Immaginate una cucina dove gli chef sono costretti a condividere un unico, piccolo bancone. Poiché devono condividere lo spazio, devono fare più cose contemporaneamente.
- Il modello costringe un gruppo di teste a "multiplexare" (fare due lavori contemporaneamente).
- Un lavoro è rilevare l'inizio di una frase (gli Osservatori).
- L'altro lavoro è eseguire il reset (i Compitori).
- Poiché condividono lo stesso spazio, sembrano identici a una sonda semplice, anche se i loro compiti sono diversi.

La Prova: Il Test "Ago nel Pagliaio"

Per dimostrare che il piccolo gruppo (Specialisti) è il vero eroe e il grande gruppo (Doppie Teste) è solo uno spettatore, i ricercatori hanno eseguito un test "Ago nel Pagliaio".

Il Test: Hanno nascosto una frase specifica (l' "ago") nel profondo di un grande libro (il "pagliaio") e hanno chiesto all'IA di trovarla.
Il Risultato:
- Quando hanno rimosso il Piccolo Gruppo (Specialisti): L'IA è fallita completamente. Non riusciva affatto a trovare l'ago. L'accuratezza è scesa dal 100% allo 0%.
- Quando hanno rimosso il Grande Gruppo (Doppie Teste): L'IA ha trovato l'ago perfettamente.
- Conclusione: Il grande gruppo stava solo guardando; il piccolo gruppo era quello che stava effettivamente ricordando l'ago.

Riassunto delle Affermazioni del Paper

Rilevamento $\neq$ Esecuzione: Solo perché una parte dell'IA si illumina (viene rilevata) non significa che stia facendo il lavoro (esecuzione).
La Divisione: In Mamba-2, lo "State Sink" si divide in un piccolo Strato di Esecuzione (5% delle teste) e un grande Strato di Rilevamento (30% delle teste).
La Trappola: Le sonde semplici (a secchio singolo) vedono solo il grande Strato di Rilevamento e perdono il piccolo Strato di Esecuzione.
La Soluzione: Per capire come funziona Mamba-2, non puoi limitarti a guardare chi è "forte". Devi testare chi è effettivamente necessario rimuovendoli e vedendo se l'IA si rompe.
L'Architettura conta: Questo accade a causa di come è costruito Mamba-2 (proiezioni condivise), non solo per la dimensione del modello.

In breve: Il paper ci avverte che nei nuovi modelli Mamba-2, le parti del cervello che sono "rumorose" non sono sempre quelle che pensano. C'è una piccola squadra nascosta che fa il vero lavoro, e una squadra molto più grande che sta solo lì intorno a sembrare impegnata. Se ascoltate solo il rumore, perderete la storia reale.

Sintesi Tecnica: Rilevamento vs. Esecuzione nei Sink di Stato di Mamba-2

Problema
L'interpretabilità meccanicistica opera spesso sotto l'assunto che i probe che identificano una specifica firma rappresentazionale (ad esempio, alta attivazione sui token di confine) identifichino anche il circuito specifico che esegue la corrispondente computazione. Questo articolo mette in discussione tale assunto nel contesto dei Modelli di Spazio di Stato (SSM) selettivi, specificamente Mamba-2. Gli autori investigano il "sink di stato" (state sink), analogamente all' "attention sink" nei Transformer, dove si verifica un'attivazione sproporzionata del gate condizionale al token ( $\Delta$ ) sui token di confine (Begin-of-Sequence/BOS e newline). Il problema centrale è se i probe a singolo bucket (che classificano le unità in base all'attivazione su una singola classe) localizzino accuratamente il circuito causale responsabile della gestione dello stato, o se perdano un insieme più ampio e funzionalmente distinto di unità che condividono la stessa firma rappresentazionale.

Metodologia
Lo studio impiega una rigorosa griglia di interventi coinvolgente 12.096 celle (6.060 valutate) attraverso quattro checkpoint del modello: Mamba-1 (130M, 2.8B) e Mamba-2 (1.3B, 2.7B), insieme a Pythia (160M–2.8B) come baseline cross-architettura.

Classificazione Specialistica: Le unità (canali in Mamba-1, teste in Mamba-2) sono classificate come "specialiste" se la media dell'attivazione pre-softplus di $\Delta$ su una specifica classe di token (BOS, newline, ecc.) supera una soglia ( $\tau=0.5$ ) rispetto a un set di riferimento. Ciò produce specialisti a "singolo bucket" (una classe) e specialisti "dual" (due classi).
Interventi Causali: Gli autori eseguono studi di ablazione utilizzando sei tipi di intervento (ad es., gate_zero, delta_zero, gate_one) su specifici set di unità. Misurano il differenziale di Negative Log-Likelihood (NLL) sui primi otto token dopo un token di confine, confrontando il set di specialisti con complementi casuali di dimensioni corrispondenti.
Confronto della Granularità: Lo studio confronta Mamba-1 (granularità di canale, proiezioni $\Delta$ indipendenti) con Mamba-2 (granularità di testa, proiezioni $\Delta$ condivise tra le teste) per isolare gli effetti architettonici.
Validazione: I risultati sono validati attraverso due corpora (wikitext-2, Pile-10k), molteplici scale e un compito di recupero a lungo contesto (RULER Needle-in-a-Haystack).

Contributi Chiave e Risultati

Causalità Condizionata alla Granularità:
- In Mamba-1 (granularità di canale), i BOS-specialisti a singolo bucket portano la massa causale del sink di stato. L'ablazione di essi causa una degradazione significativa delle prestazioni, e il probe traccia accuratamente il circuito di esecuzione.
- In Mamba-2 (granularità di testa), i probe a singolo bucket recuperano solo un piccolo "strato di esecuzione" (~5% delle teste). Tuttavia, un set molto più ampio di "teste duali" (27–35% delle teste), che condividono la stessa firma rappresentazionale (alta attivazione sia su BOS che su newline), viene ignorato dalla classificazione a singolo bucket.
Dicotomia Rilevamento vs. Esecuzione:
- Strato di Esecuzione: I BOS-specialisti a singolo bucket sono lo strato di esecuzione causale. L'ablazione di essi fa crollare l'accuratezza di recupero da 1.00 a 0.00 nei compiti RULER NIAH e aumenta significativamente la NLL su target BOS-context e newline.
- Strato di Rilevamento: Le teste duali mostrano un'alta similarità rappresentazionale con gli specialisti (similarità del coseno $\approx 0.89$ su BOS vs. newline), ma mostrano effetti causali sostanzialmente più deboli sotto ablazione. In effetti, l'ablazione delle teste duali ha spesso effetti trascurabili o addirittura negativi sulle prestazioni rispetto alla baseline, indicando che esse sono uno "strato di rilevamento rappresentazionale" piuttosto che lo strato di esecuzione funzionale.
- Probe Fuorvianti: Il documento dimosta che la similarità rappresentazionale non implica equivalenza funzionale. I probe a singolo bucket sottostimano sistematicamente il substrato causale di un fattore 3–7× in termini di dimensione del set alla granularità di testa di Mamba-2.
Driver Architetturale:
- L'asimmetria è attribuita all'architettura di Mamba-2, dove la proiezione $\Delta$ è condivisa tra i canali all'interno di una testa. Ciò costringe le teste a multiplexare tra le classi di confine, creando la grande popolazione di teste duali.
- Un esperimento di controllo che prevede il raggruppamento casuale dei canali di Mamba-1 per eguagliare il rapporto testa-classe di Mamba-2 non è riuscito a riprodurre la dominanza delle teste duali, implicando la proiezione $\Delta$ condivisa tra le teste come il driver, piuttosto che la sola granularità del substrato.
Baseline Cross-Architettura:
- Le teste di attenzione di Pythia (Transformer) mostrano selettività a singolo bucket ma mancano del dominante set di teste duali trovato in Mamba-2. Ciò conferma che la divisione rilevamento/esecuzione è specifica della meccanica dello spazio di stato dell'architettura Mamba-2, non una proprietà universale dei modelli a granularità di testa.

Significatività e Rivendicazioni
Il documento sostiene che lo standard "label-to-locus" dell'interpretabilità meccanicistica — assumere che le unità con la più alta attivazione identificate da un probe siano il circuito causale — è sistematicamente inaffidabile alla granularità di testa di Mamba-2.

Necessità di Re-audit: I risultati dell'interpretabilità localizzati alle teste di Mamba-2 utilizzando probe a singolo bucket richiedono un re-audit sotto regole di aggregazione multi-classe.
Decomposizione Funzionale: Il sink di stato in Mamba-2 si decompone in due strati funzionali distinti: un piccolo strato di esecuzione (specialisti a singolo bucket) e un grande strato di rilevamento (teste duali). Separarli richiede un'ablazione condizionale alla classe piuttosto che affidarsi alla similarità del coseno condizionale alla classe.
Ancora Attiva: A differenza dei sink di attenzione nei Transformer che possono essere passivi o sopprimibili, il sink di stato di Mamba-2 è un'ancora attiva dove specifiche teste sono necessarie per il recupero a lungo contesto e la gestione dello stato di confine.

Gli autori concludono che, sebbene i probe siano efficaci per l'analisi rappresentazionale, possono fallire nell'identificare il vero circuito causale in architetture con proiezioni condivise e profili di attivazione multiplexati, rendendo necessaria la verifica basata sull'intervento per distinguere tra rilevamento ed esecuzione.