💬 NLP

From Early Encoding to Late Suppression: Interpreting LLMs on Character Counting Tasks

Questo studio dimostra che i modelli linguistici di grandi dimensioni falliscono nei compiti di conteggio dei caratteri non per mancanza di capacità computazionale, ma perché circuiti specifici negli strati finali sopprimono attivamente le informazioni corrette già presenti nelle rappresentazioni interne a favore di output errati ma più probabili.

Autori originali: Ayan Datta, Mounika Marreddy, Alexander Mehler, Zhixue Zhao, Radhika Mamidi

Pubblicato 2026-04-03

📖 4 min di lettura☕ Lettura da pausa caffè

CC BY 4.0

Autori originali: Ayan Datta, Mounika Marreddy, Alexander Mehler, Zhixue Zhao, Radhika Mamidi

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

🍎 Il Paradosso della Mela: Perché l'IA conta male le lettere?

Immaginate di avere un genio della lampada (un modello di Intelligenza Artificiale) che è capace di scrivere poesie complesse, tradurre lingue antiche e risolvere problemi di matematica avanzata. Tuttavia, se gli chiedete una cosa semplicissima come: "Quante volte la lettera 'p' appare nella parola 'mela'?", questo genio spesso sbaglia, rispondendo "1" o "2" a caso, anche se la risposta è "1".

Questo studio si chiede: Perché succede? È perché il genio non sa contare? O perché, pur sapendo la risposta, decide di non dirvela?

La risposta, scoperta dagli autori, è sorprendente: Il genio sa la risposta, ma la "censura" prima di parlarvi.

Ecco come funziona, spiegato con delle metafore:

1. La Biblioteca Segreta (L'Input e i primi strati)

Quando chiedete al modello di contare le lettere, lui apre una biblioteca interna.

Cosa succede: Nei primi piani di questa biblioteca (gli strati iniziali della rete neurale), l'informazione è perfetta. Il modello "vede" chiaramente che nella parola "mela" c'è una sola "m", una "e", una "l" e una "a".
La prova: Gli scienziati hanno usato dei "microscopi" (chiamati probing classifiers) per guardare dentro la biblioteca e hanno scoperto che l'informazione esatta è lì, ben conservata, come un libro aperto su un tavolo. Il modello sa la risposta.

2. Il Corridoio dei Filtri (Il viaggio verso la risposta)

Ora, questa informazione deve viaggiare dalla biblioteca fino alla "bocca" del modello (lo strato finale dove viene generata la risposta).

Il problema: Durante questo viaggio, l'informazione non viene persa per strada. Viene invece attenuata. Immaginate di dover portare un messaggio importante attraverso un corridoio pieno di guardie.
Le guardie (I componenti negativi): Gli scienziati hanno scoperto che, proprio all'uscita (negli ultimi strati del modello), c'è un piccolo gruppo di "guardie" (specifici componenti matematici chiamati MLP e Attention Heads). Il loro compito sembra essere quello di sopprimere la risposta corretta.

3. La Censura Attiva (Perché sbaglia?)

Perché queste guardie bloccano la risposta giusta?

L'analogia del "Pensiero Veloce": Il modello ha imparato, durante la sua formazione, che nella maggior parte delle parole le lettere appaiono una sola volta. Quindi, ha sviluppato un "piano B" pigro: "Se non sono sicuro, dico '1', è la scommessa più sicura".
Il conflitto: Quando il modello calcola la risposta esatta (es. "2"), le sue "guardie" finali intervengono e dicono: "No, aspetta! La risposta '1' è più probabile statisticamente, cancella il '2' e scrivi '1'".
Il risultato: Il modello ha calcolato correttamente, ma il suo stesso meccanismo di decisione ha soffocato la verità a favore di un'abitudine appresa. È come se un avvocato sapesse che il cliente è innocente, ma decidesse di difenderlo dicendo che è colpevole perché "statisticamente è più probabile".

4. Più grande non significa meglio

Uno dei risultati più curiosi è che rendere il modello più intelligente o più grande non aiuta.

L'analogia: Immaginate di ingrandire la biblioteca e aggiungere più libri (più parametri). Il modello sa ancora meglio contare le lettere! Ma le "guardie" all'uscita diventano solo più forti nel censurare la risposta corretta.
Anche i modelli più grandi (come quelli da 7 o 9 miliardi di parametri) o quelli addestrati a seguire le istruzioni (Instruction-tuned) falliscono allo stesso modo. Il problema non è la capacità di calcolo, ma il piano di azione che il modello ha imparato a seguire.

🎯 Cosa abbiamo imparato?

Non è un problema di memoria: L'IA non ha "dimenticato" come contare. L'informazione è lì, ben nascosta.
È un problema di fiducia: Il modello non si fida della sua stessa analisi dettagliata. Preferisce affidarsi a scorciatoie statistiche (es. "di solito le lettere sono 1") piuttosto che al ragionamento logico.
Il futuro: Per costruire IA più affidabili, non basta farle diventare più grandi. Dobbiamo insegnare loro a fidarsi delle informazioni che già possiedono e a non lasciarle "censurare" dalle abitudini apprese durante l'addestramento.

In sintesi: L'Intelligenza Artificiale è come un bambino geniale che sa perfettamente contare le mele nel cestino, ma quando deve dirlo ad alta voce, si blocca e dice "una" perché ha paura di sbagliare o perché pensa che sia la risposta più "normale". Il compito degli scienziati ora è convincerlo a dire la verità.

Titolo: Dall'Encoding Precoce alla Soppressione Tardiva: Interpretazione degli LLM su Compiti di Conteggio dei Caratteri

1. Il Problema

I Large Language Models (LLM) moderni (come LLaMA, Qwen, Gemma) eccellono su benchmark complessi di linguaggio naturale, ma falliscono sistematicamente su compiti simbolici elementari, come il conteggio dei caratteri in una parola (es. "Quante 'p' ci sono in 'apple'?").
Mentre studi precedenti hanno documentato queste carenze, le cause interne rimangono poco esplorate. L'ipotesi comune era che i modelli mancassero di rappresentazioni a livello di carattere o che la scala del modello non fosse sufficiente. Questo paper sfida tale visione, proponendo che il fallimento non sia dovuto all'assenza di informazioni, ma a un interferenza strutturale all'interno del grafo computazionale del modello.

2. Metodologia

Gli autori hanno utilizzato il conteggio dei caratteri come un "probe" (sonda) minimale e completamente controllato per isolare il ragionamento a livello di token da confondimenti linguistici di alto livello.

Dataset e Modelli:
- Sono stati testati tre famiglie di modelli recenti: LLaMA 3.2, Qwen 2.5 e Gemma 2, nelle varianti base (pre-addestrati) e instruction-tuned.
- I modelli spaziavano da 2B a 9B parametri.
- Il dataset è stato costruito utilizzando parole da WordNet e Wiktionary, bilanciando i conteggi target (1, 2, 3) e utilizzando diversi template di prompt per ridurre i bias.
Tecniche di Interpretazione:
Per analizzare i meccanismi interni, sono state impiegate quattro tecniche principali:
1. Probing Classifiers: Classificatori lineari addestrati per decodificare il conteggio dei caratteri dagli stati nascosti (hidden states) a ogni layer, per verificare se l'informazione è presente.
2. Logit Lens: Tecnica per proiettare gli stati intermedi nello spazio del vocabolario, tracciando come evolve la probabilità della risposta corretta lungo i layer.
3. Activation Patching (Causal Tracing): Sostituzione delle attivazioni di un input "corrotto" (es. parola o lettera cambiata) con quelle di un input "pulito" per identificare quali componenti (layer, head, MLP) sono causalmente responsabili del recupero o della soppressione della risposta corretta.
4. Metriche di Valutazione: Utilizzo della differenza di logit ( $\Delta$ ) per misurare la preferenza del modello per la risposta corretta rispetto alle alternative, e del probability gap ( $\Delta_p$ ) per quantificare la soppressione della probabilità corretta.

3. Risultati Chiave

A. Encoding vs. Utilizzo

Encoding Affidabile: Le analisi di probing dimostrano che le informazioni sul conteggio dei caratteri sono affidabilmente codificate nei residui stream (residual stream) dei layer intermedi e finali. I modelli riescono a rappresentare le caratteristiche a livello di carattere e ad aggregarle a livello di parola con alta precisione (>80-90% di accuratezza nel probe).
Il Paradosso: Nonostante l'informazione sia presente e decodificabile nei layer intermedi, il modello spesso fallisce nell'output finale. L'errore non è di rappresentazione, ma di utilizzo.

B. La Soppressione Tardiva (Late Suppression)

Circuiti Negativi: L'analisi tramite Logit Lens e Activation Patching rivela che l'informazione corretta viene attivamente attenuata o soppressa nei layer finali (penultimo e ultimo layer).
Componenti Colpevoli:
- I componenti responsabili della soppressione sono identificati come "circuiti negativi".
- In modelli come Qwen, la soppressione è concentrata negli MLP del penultimo layer, negli Attention Head dell'ultimo layer e nell'MLP finale.
- In LLaMA, la soppressione è quasi interamente guidata dall'MLP dell'ultimo layer.
Meccanismo: Questi circuiti sopprimono i segnali corretti a favore di strategie di risposta "degenerate" (es. predire sempre "1" o distribuire le probabilità in modo uniforme/casuale).

C. Ruolo dell'Attention

Non è stato identificato nessun singolo Attention Head specializzato nel routing delle informazioni di conteggio dai token iniziali a quelli finali. Le informazioni sembrano frammentate e debolmente coordinate attraverso molti head, rendendo l'aggregazione finale fragile.

D. Impatto della Scala e del Post-Training

Nessun miglioramento con la scala: Passare da modelli 2B/3B a 7B/9B non risolve il problema. I pattern di soppressione rimangono identici, suggerendo che il problema non è la capacità rappresentativa ma la dinamica computazionale appresa.
Instruction Tuning: Il fine-tuning per istruzioni non corregge il difetto. Anzi, sposta le strategie di risposta (es. alternando tra "1" e "2"), ma l'accuratezza rimane vicina al caso. I modelli continuano a sopprimere la risposta corretta nei layer finali.

4. Contributi Principali

Ridefinizione della Causa del Fallimento: Si dimostra che i fallimenti nel ragionamento simbolico negli LLM non derivano principalmente dalla mancanza di rappresentazioni o da una scala insufficiente, ma da un'interferenza strutturata interna. Il modello "sa" la risposta, ma i suoi circuiti finali la sovrascrivono.
Decodifica Competitiva: Si fornisce evidenza empirica che il passaggio in avanti (forward pass) degli LLM implementa una forma di decodifica competitiva, dove ipotesi corrette e errate coesistono e vengono ridimensionate dinamicamente. L'output finale è determinato tanto dalla soppressione delle risposte corrette quanto dall'amplificazione di quelle errate.
Identificazione di Circuiti Negativi: Si identificano specifici componenti (MLP e Attention Head finali) che agiscono come circuiti negativi, indebolendo sistematicamente i segnali simbolici corretti.

5. Significato e Implicazioni

Fragilità Sistemica: Il semplice compito di contare i caratteri rivela una fragilità sistemica negli LLM moderni. Se non possono gestire operazioni atomiche affidabili, la loro robustezza su compiti di ragionamento complesso potrebbe poggia su fondamenta instabili.
Sfida per la Scalabilità: Il fatto che l'aumento dei parametri e il post-training non risolvano il problema suggerisce che l'architettura attuale o gli obiettivi di addestramento favoriscono euristiche semplici a scapito della precisione simbolica.
Prospettive Future: Questi risultati sottolineano la necessità di nuove strategie di progettazione che garantiscano non solo che le informazioni siano codificate, ma che vengano affidabilmente preservate e utilizzate fino allo strato di output. Potrebbe essere necessario modificare le architetture per evitare la soppressione tardiva o introdurre obiettivi di addestramento specifici per il ragionamento simbolico.

In sintesi, il paper smonta l'idea che gli LLM falliscano nel contare perché "non capiscono" i caratteri; piuttosto, falliscono perché i loro meccanismi interni finali attivamente bloccano la risposta corretta a favore di pattern statistici appresi durante l'addestramento.