🤖 machine learning

Repeated-Token Counting Reveals a Dissociation Between Representations and Outputs

Questo articolo dimostra che il fallimento dei grandi modelli linguistici nel contare i token ripetuti non deriva da un'incapacità di rappresentare internamente il conteggio corretto, bensì da un meccanismo specifico MLP attivato dal formato che sovrascrive la rappresentazione accurata con una risposta fissa errata durante la generazione dell'output.

Autori originali: Sohan Venkatesh

Pubblicato 2026-05-12

📖 4 min di lettura☕ Lettura da pausa caffè

CC BY 4.0

Autori originali: Sohan Venkatesh

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di avere un bibliotecario molto intelligente e colto (il modello di IA). Chiedi a questo bibliotecario di contare quante volte la parola "mela" appare in un lungo elenco. Ti aspetteresti che lo faccia correttamente, ma invece afferma con sicurezza: "Ci sono 8 mele", anche se ce ne sono chiaramente 10.

Per lungo tempo, le persone hanno pensato che il bibliotecario fosse semplicemente bravo a contare. Hanno ipotizzato che il cervello del bibliotecario non avesse un "contatore" integrato, quindi non poteva tenere traccia dei numeri.

Questo articolo afferma che tale ipotesi è errata.

Ecco una semplice spiegazione di ciò che i ricercatori hanno effettivamente scoperto, utilizzando alcune analogie quotidiane:

1. Il bibliotecario sa la risposta

I ricercatori hanno esaminato a fondo il cervello del bibliotecario (gli strati interni del modello) a ogni singolo passo del processo di pensiero. Hanno scoperto che il numero corretto (10) era scritto in modo chiaro e perfetto dal primo all'ultimo passo.

L'analogia: Immagina che il bibliotecario stia camminando lungo un corridoio con una lavagna in mano. A ogni singolo passo della camminata, la lavagna indica chiaramente "10". L'informazione è lì, alta e chiara. Il bibliotecario non è confuso; in realtà sa la risposta.

2. Il "segnalista" difettoso

Quindi, se il bibliotecario sa che la risposta è 10, perché dice "8"?

I ricercatori hanno individuato un specifico "difetto" a metà del corridoio. Circa il 90% del percorso del processo di pensiero, c'è un lavoratore specifico (una parte del codice informatico chiamata blocco MLP) che vede il formato dell'elenco (parole separate da spazi) e decide di ignorare la lavagna.

L'analogia: Immagina che il bibliotecario stia camminando lungo il corridoio, tenendo il cartello con scritto "10". Improvvisamente, un lavoratore specifico (chiamiamolo "Formato-Fred") salta fuori. Fred vede che l'elenco è scritto con spazi (come "mela mela mela"). Ha una regola pre-programmata: "Se vedo un elenco di parole con spazi, devo cambiare il cartello per scrivere '8'."
Fred afferra la lavagna, cancella il "10" e scrive "8".
Anche se il cervello del bibliotecario sa ancora che è 10 (il segnale originale è ancora lì sullo sfondo), l'output finale è ora "8" perché Fred lo ha sovrascritto.

3. Non si tratta delle parole, ma del formato

Questo difetto si verifica solo con le parole (come "mela" o "gatto"), non con i numeri (come "1" o "2").

L'analogia: Se dai al bibliotecario un elenco di numeri ("1 1 1 1..."), Formato-Fred non se ne cura. Reagisce solo alle parole. Il bibliotecario conta i numeri perfettamente. Ma se gli dai delle parole, Fred si attiva.
Inoltre, se cambi il formato usando le virgole invece degli spazi (ad esempio "mela, mela, mela"), Fred non salta fuori. La regola dell'"8" non viene attivata e il bibliotecario risponde correttamente. Questo dimostra che il problema non è la capacità di contare; è una reazione specifica al modo in cui l'elenco appare.

4. Il problema del "routing", non della "rappresentazione"

L'articolo fa una grande distinzione tra due tipi di fallimenti:

Fallimento di rappresentazione: Il bibliotecario non sa come contare. (Questo articolo afferma che questo NON sta accadendo).
Fallimento di routing: Il bibliotecario sa come contare, ma il segnale viene dirottato prima di raggiungere la bocca. (Questo è ciò che sta accadendo).
L'analogia: È come una stazione radio che trasmette la canzone corretta (il conteggio), ma un DJ nella cabina (il blocco MLP) decide di tagliare la musica e suonare una canzone diversa (il numero sbagliato) proprio prima che esca verso gli altoparlanti. La musica è buona; il routing è rotto.

5. I modelli più grandi hanno un difetto diverso

I ricercatori hanno esaminato anche modelli più grandi e intelligenti. Questi modelli di solito ottengono il conteggio corretto, ma falliscono se inserisci di nascosto una "banana" nell'elenco delle mele.

Il difetto: Questi modelli più grandi vedono la banana. Il loro sistema di attenzione la nota. Ma, proprio come i modelli più piccoli, non riescono a far sì che quell'informazione cambi la risposta finale. Vedono l'anomalia ma non riescono a "instradare" quella nuova informazione all'output finale.

La conclusione

L'articolo conclude che questi modelli di IA non sono "brutti in matematica". In realtà sono molto bravi a tenere traccia dei numeri internamente. Il problema è che una parte specifica del loro cervello viene attivata dal modo in cui l'elenco è scritto (spazi contro virgole, parole contro numeri) e forza una risposta sbagliata sull'output finale, sovrascrivendo quella corretta che era già presente.

Per risolvere il problema, non dobbiamo insegnare all'IA a contare (lo sa già). Dobbiamo sistemare il "vigile urbano" (il meccanismo di routing) che attualmente blocca la risposta corretta dall'uscire.

Riepilogo Tecnico: Il Conteggio dei Token Ripetuti Rivela una Dissociazione tra Rappresentazioni e Output

Enunciato del Problema
I grandi modelli linguistici (LLM) mostrano fallimenti sistematici e riproducibili nel contare token ripetuti, nonostante dimostrino prestazioni solide su benchmark di ragionamento più ampi. Ad esempio, quando viene chiesto di contare dieci parole ripetute (ad esempio, "mela"), i modelli spesso producono una risposta errata, deterministica e sicura (ad esempio, "8" o "14") con varianza zero sotto decodifica greedy. Le attribuzioni comuni per questo fallimento suggeriscono una mancanza di rappresentazioni interne di conteggio o limitazioni nel tracciare i conteggi all'interno dello stato del modello. Questo articolo sfida tale attribuzione, proponendo invece che il fallimento non risieda nella rappresentazione, ma nell'instradamento delle informazioni verso l'output.

Metodologia
Gli autori impiegano tecniche di interpretabilità meccanica su cinque modelli decoder-only addestrati con istruzioni: Llama-3.2 (1B, 3B) e Qwen2.5 (1.5B, 3B, 7B). La configurazione sperimentale prevede tre condizioni:

P1 (Baseline): Conteggio di dieci token identici.
P2 (Anomalia): Conteggio di nove token identici con un intruso (ad esempio, "banana").
P3 (Controllo): Conteggio di dieci token unici.

Lo studio utilizza:

Sonde Lineari: Addestramento di sonde di regressione Ridge sul flusso residuo a ogni livello per decodificare il conteggio dei token, testando se il conteggio corretto è linearmente decodificabile anche quando l'output è errato.
Logit Lens: Proiezione degli stati nascosti attraverso l'ultimo layernorm e la matrice di unembedding a ogni livello per osservare quando il modello "si impegna" su un token di cifra specifico.
Decomposizione MLP vs. Attenzione: Isolamento dei contributi dei sottolivelli di attenzione e dei blocchi MLP per determinare quale componente scrive o cancella valori specifici nel flusso residuo.
Interventi Causali: Ablazione a zero di specifici blocchi MLP per testare il coinvolgimento causale.
Variazione di Formato e Token: Test di delimitatori separati da spazi rispetto a quelli separati da virgole e sostituzione di token di parole con token di cifre per analizzare la sensibilità al formato e la specificità del tipo di token.

Risultati Chiave

Dissociazione Rappresentazione-Comportamento:
Le sonde lineari rivelano che il conteggio corretto è linearmente decodificabile con accuratezza quasi perfetta ( $R^2 > 0.99$ ) a partire dal primo livello del transformer, anche nei modelli che producono conteggi errati. Crucialmente, il conteggio è codificato più chiaramente nella condizione in cui il modello fallisce (token ripetuti) rispetto alla condizione in cui riesce (token unici). Questo conferma che il modello possiede la corretta rappresentazione interna ma fallisce nell'esprimerla.
Il Fallimento di Instradamento (Sovrascrittura MLP):
Il fallimento è causato da un blocco specifico Multi-Layer Perceptron (MLP), attivato dal formato, situato approssimativamente all'88–93% della profondità della rete (ad esempio, Livello 14 in Llama-1B, Livello 22/26 in Llama-3B, Livello 22 in Qwen-1.5B).
- Questo blocco MLP riceve uno stato del flusso residuo che codifica correttamente il conteggio (o uno stato vicino ad esso), ma lo sovrascrive con un intero fisso e errato (ad esempio, "8" o "14").
- L'input dell'MLP è invariante rispetto al conteggio; si attiva indipendentemente dalla lunghezza effettiva della sequenza (ad esempio, per $n=8$ fino a $n=15$ ), indicando che risponde a una specifica firma di formato piuttosto che eseguire un calcolo.
- L'ablazione causale di questo blocco MLP non ripristina la risposta corretta; invece, sposta il fallimento su un valore errato diverso (ad esempio, da "8" a "16"), suggerendo che il prior è parzialmente distribuito su più blocchi.
Specificità di Formato e Token:
- Sensibilità al Formato: Nei modelli più grandi (Llama-3B, Qwen-3B), cambiare il delimitatore da spazi a virgole sopprime l'attivazione dell'MLP, permettendo al conteggio corretto di passare. Nei modelli più piccoli (Llama-1B), il prior è invariante rispetto al formato.
- Tipo di Token: Il prior si attiva per token alfabetici ripetuti (parole) ma non per token di cifre ripetuti. I modelli che falliscono nel contare correttamente parole ripetute contano senza errori le cifre ripetute (ad esempio, "1", "1", "1"), dimostrando che il fallimento è un'associazione appresa tra il formato "elenco di parole ripetute" e un output errato specifico, non un'incapacità generale di stimare la lunghezza della sequenza.
Rilevamento di Anomalie vs. Conteggio:
I modelli più grandi (Qwen-3B, 7B) che risolvono il compito di conteggio P1 falliscono ancora il compito di rilevamento delle anomalie P2 (contare 9 mele e 1 banana). L'analisi meccanica mostra che, sebbene i meccanismi di attenzione rilevino l'anomalia (la banana riceve un'attenzione elevata), questo segnale non viene instradato all'output per correggere il conteggio. Questo rappresenta un secondo tipo di fallimento di instradamento in cui il segnale di rilevamento esiste ma non viene convertito in una correzione comportamentale.

Significato e Affermazioni
L'articolo sostiene che il fallimento nel conteggio in questi modelli è un fallimento di instradamento, non un fallimento di rappresentazione. L'apparato interno codifica correttamente il conteggio, ma un circuito "prior" specifico intercetta e sovrascrive queste informazioni basandosi su indizi di formato a livello superficiale (token di parole ripetute).

Gli autori affermano che confondere i fallimenti di rappresentazione con i fallimenti di instradamento porta a interventi errati (ad esempio, riaddestramento per migliori capacità di conteggio quando la capacità esiste già). Invece, gli interventi devono mirare ai circuiti specifici responsabili della soppressione del segnale. Lo studio dimostra che i fallimenti comportamentali in modelli capaci sono spesso fallimenti di espressione, e identificare il percorso di instradamento specifico è un prerequisito necessario per qualsiasi intervento di successo. Questo lavoro stabilisce un fenomeno generale in cui la verità interna e l'output comportamentale possono divergere completamente, rendendo necessaria un'analisi meccanica per distinguerle.