💬 NLP

How Language Models Fail: Token-Level Signatures of Committed and Persistent Reasoning Failures

Questo articolo identifica e caratterizza due distinti modi di fallimento del ragionamento a livello di token nei modelli linguistici — il fallimento per impegno (committed failure), caratterizzato da un precoce blocco del percorso, e l'incertezza persistente, caratterizzata da un dubbio accumulato — dimostrando che queste firme sono riproducibili attraverso diverse configurazioni e possono guidare l'ottimizzazione di strategie di rilevamento dei fallimenti come la self-consistency.

Autori originali: Tanvi Thoria, Kiana Jafari, Marc R. Schlichting, Mykel J. Kochenderfer

Pubblicato 2026-06-08

📖 4 min di lettura☕ Lettura da pausa caffè

CC BY 4.0

Autori originali: Tanvi Thoria, Kiana Jafari, Marc R. Schlichting, Mykel J. Kochenderfer

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di guardare un detective risolvere un mistero. A volte, il detective commette un errore all'inizio, si focalizza sul sospettato sbagliato e poi passa il resto del film sostenendo con convinzione perché quel sospettato sia colpevole, anche se è innocente. Altre volte, il detective è sinceramente confuso per tutto il tempo, analizzando indizi, incerto sulla risposta fino all'ultimo secondo.

Questo articolo serve a capire quale tipo di errore un Large Language Model (LLM) stia commettendo, semplicemente osservando come "pensa" (il suo chain of thought) mentre scrive la sua risposta. I ricercatori hanno scoperto che i modelli non falliscono in un solo modo; falliscono in due schemi distinti, e riconoscere lo schema cambia il modo in cui dovremmo cercare di intercettare l'errore.

Ecco una ripartizione delle loro scoperte utilizzando semplici analogie:

1. I due tipi di errore

I ricercatori hanno scoperto che, quando un modello sbaglia una risposta, di solito accade in uno di due modi:

Tipo A: L'impegno precoce (Il detective testardo)

Cosa succede: Il modello sceglie un percorso errato molto presto nel suo ragionamento. Una volta scelto quel percorso, rimane "bloccato". Smette di esplorare altre possibilità e continua a scrivere più frasi per sostenere quell'idea sbagliata.
La firma: Se osservi l'incertezza (quanto il modello si sente insicuro) mentre scrive, vedrai un picco all'inizio, e poi essa diminuisce. Il modello diventa troppo sicuro di sé troppo velocemente.
La lezione: Non è necessario aspettare la fine della storia per sapere che è sbagliata. Infatti, leggere la fine della storia potrebbe addirittura confonderti perché il modello è così sicuro della sua risposta errata da farla sembrare corretta. Il momento migliore per individuare questo errore è proprio dopo che il modello ha commesso il suo primo grande errore.

Tipo B: L'incertezza persistente (Il detective confuso)

Cosa succede: Il modello non sceglie mai una parte. Vag incomincia a vagare attraverso il ragionamento, insicuro della risposta per tutto il tempo. Continua a cambiare idea o a esitare fino all'ultima parola.
La firma: L'incertezza del modello rimane alta o aumenta lentamente dall'inizio alla fine. Non si blocca mai su un singolo percorso.
La lezione: Devi leggere tutta la storia per sapere se ha fallito. Se ti fermi a metà, potresti pensare che stia solo essendo prudente. L'errore diventa chiaro solo quando vedi l'intero percorso di pensiero disordinato.

2. Come l'hanno scoperto (L'indicatore di incertezza)

I ricercatori non hanno avuto bisogno di guardare dentro il cervello del modello (il che è impossibile per molti popolari modelli AI). Invece, hanno osservato le log probabilities — un modo tecnico per dire "quanto il modello fosse sicuro di ogni singola parola che digitava".

Hanno trattato il ragionamento del modello come un film. Hanno osservato l' "indicatore di incertezza" salire e scendere mentre il modello digitava parola per parola.

Per il Tipo A, l'indicatore mostrava un picco chiaro all'inizio, per poi appiattirsi.
Per il Tipo B, l'indicatore continuava a salire o rimaneva alto fino alla fine.

Hanno testato questo su 23 diverse combinazioni di modelli AI e compiti (come matematica, programmazione e scienza). In 20 casi su 23, la loro teoria ha retto perfettamente. Potevano distinguere tra un errore "testardo" e un errore "confuso" semplicemente guardando questi schemi.

3. Perché questo è importante: La strategia del "secondo parere"

L'articolo ha anche esaminato un trucco comune chiamato Self-Consistency. Questo avviene quando poni la stessa domanda all'AI 10 volte e prendi la risposta che appare più spesso.

Per il modello "Testardo" (Tipo A): Porre la stessa domanda 10 volte è inutile. Se il modello è testardo, darà la stessa risposta errata 10 volte di seguito. Il "voto di maggioranza" servirà solo a confermare la risposta sbagliata. In questo caso, osservare l'incertezza di una singola risposta è in realtà meglio che chiederlo più volte.
Per il modello "Confuso" (Tipo B): Porre la domanda 10 volte è molto utile. Poiché il modello è sinceramente incerto, darà risposte diverse ogni volta. Il fatto che non riesca a concordare con se stesso è un enorme segnale di allarme.

In sintesi

L'articolo sostiene che non dovremmo usare un approccio "taglia unica" per intercettare gli errori dell'AI.

Se l'AI si blocca su un'idea errata precocemente, dobbiamo intercettarla rapidamente guardando i suoi livelli di fiducia iniziali, e non dovremmo botherarsi di chiedere un secondo parere (perché ripeterà l'errore).
Se l'AI è sinceramente confusa, dobbiamo lasciarle completare il suo processo di pensiero e poi chiederle più opinioni per vedere se riesce a concordare con se stessa.

Comprendendo come l'AI sta fallendo, possiamo scegliere lo strumento giusto per intercettare l'errore, risparmiando tempo e migliorando l'affidabilità.

Sintesi Tecnica: Come i Modelli di Linguaggio Falliscono: Firme a Livello di Token di Fallimenti di Ragionamento Impegnati e Persistenti

Definizione del Problema

Rilevare quando i Large Language Models (LLM) falliranno in compiti di ragionamento complessi rimane una sfida critica per l'affidabilità della distribuzione. Gli attuali metodi di rilevamento dei fallimenti, come la self-consistency (campionamento di molteplici catene di pensiero) e la quantificazione dell'incertezza, trattano tipicamente il fallimento come un compito di predizione binaria. Questi approcci assumono un processo singolare di emergenza del fallimento, il che limita la capacità di adattare le strategie di rilevamento. Nello specifico, la self-consistency fallisce quando un modello si "impegna" (commit) su un percorso di ragionamento errato precocemente, riproducendo la stessa risposta errata in modo consistente attraverso i campioni. Al contrario, per i modelli che esibiscono una genuina incertezza durante l'intero tracciato, i segnali di incertezza basati su un singolo campione possono essere insufficienti. Il documento sostiene che i fallimenti di ragionamento si sviluppano attraverso processi distinti che richiedono diverse strategie di rilevamento, eppure gli attuali metodi applicano un approccio uniforme indipendentemente dal sottostante modo di fallimento.

Metodologia

Gli autori propongono un framework che caratterizza i fallimenti di ragionamento utilizzando segnali di incertezza a livello di token derivati da tracce di catena di pensiero (CoT). Il framework richiede solo le probabilità logaritmiche da una singola completazione del modello, rendendolo applicabile a modelli frontier con API chiuse (es. GPT-4o, Gemini) dove i pesi interni sono inaccessibili.

Concetti Chiave

Modalità di Fallimento: Il framework identifica due modalità di fallimento qualitativamente distinte:
- Fallimento Impegnato (Committed Failure): Il modello si blocca su un percorso di ragionamento errato precocemente nella traccia. I segnali di incertezza sono più predittivi su un prefisso precoce della traccia; l'aggiunta di token successivi diluisce il segnale.
- Incertezza Persistente (Persistent Uncertainty): Il modello non si impegna mai su un singolo percorso. L'incertezza si accumula monotonicamente durante l'intera traccia, e l'intera traccia è necessaria per distinguere le completazioni fallite da quelle di successo.
Punto di Impegno ( $T^*$ ): Definito come la posizione del token in una traccia di ragionamento dove i segnali di incertezza sono massimamente predittivi del fallimento. Oltre questo punto, i token successivi rappresentano rumore a valle piuttosto che segnale riguardo all'esito finale.
Caratteristiche di Incertezza: Gli autori calcolano cinque segnali a livello di token su finestre di prefisso ( $W_T$ ) della traccia di ragionamento:
- Entropia: Dispersione della distribuzione top- $K$ .
- Margine: Differenza tra le prime due probabilità.
- NLL (Negative Log-Likelihood): Confidenza nel primo token.
- Nucleus: Token necessari per catturare una soglia di probabilità di 0,9.
- Near-Tie: Frazione di token top- $K$ entro il 90% della probabilità del top.
- Aggregazione: Sia la media che il massimo delle caratteristiche sono calcolati per ogni segnale attraverso la finestra.
Metrica Diagnostica (PR-AUC): Il framework utilizza la Precision-Recall Area Under the Curve (PR-AUC) per quantificare il rilevamento del fallimento a diverse dimensioni della finestra del prefisso.
- Firma Impegnata (Committed Signature): Una curva PR-AUC a forma di U invertita. Il potere predittivo raggiunge il picco in $T^*$ e declina man mano che la finestra si espande.
- Firma Persistente (Persistent Signature): Una curva PR-AUC monotonicamente crescente dove l'intera traccia è sempre più informativa di qualsiasi prefisso.
Analisi Pre-finale: Per controllare il confondimento della lunghezza della traccia (dove i modelli che falliscono spesso scrivono tracce più lunghe), il framework rimuove tutti i token che compaiono dopo il marker della risposta finale prima di calcolare i segnali di incertezza.

Setup Sperimentale

Il framework è stato valutato su 23 configurazioni modello-dataset coinvolgenti:

Modelli: Cinque famiglie (Qwen, Llama, GPT-OSS, Gemma, GPT-4o/Gemini) da 2B a 122 miliardi di parametri, inclusi modelli open-source e frontier.
Dataset: Quattro domini di ragionamento (GSM8K, MATH-500, GPQA Diamond, LiveCodeBench).
Vincoli: Gli esperimenti sono stati limitati a configurazioni con tassi di fallimento compresi tra il 15% e il 60% e con un numero sufficiente di fallimenti per la affidabilità statistica. I modelli frontier sono stati vincolati ai primi 20 log-probabilities.

Risultati Chiave

Riproducibilità delle Modalità di Fallimento: Le predizioni falsificabili del framework si sono mantenute in 20 casi su 23, significativamente sopra il caso.
- Fallimento Impegnato: Osservato in 14 configurazioni (es. Gemma4-31B su LiveCodeBench, GPT-OSS-20B su MATH-500). Queste hanno mostrato la prevista curva PR-AUC a U invertita con un distinto punto di impegno.
- Incertezza Persistente: Osservata in 9 configurazioni (es. Llama3.1-8B su MATH-500, Qwen3.5-122B su GPQA). Queste hanno mostrato curve PR-AUC monotonicamente crescenti dove la traccia completa era strettamente più informativa di qualsiasi prefisso.
Validazione Statistica: Il pooling meta-analitico ha confermato le predizioni bidirezionali:
- Test del segno sulle configurazioni impegnate: 14/14 coerenti ( $p = 6,1 \times 10^{-5}$ ).
- Test del segno congiunto su tutte le configurazioni: 20/23 coerenti ( $p = 2,4 \times 10^{-4}$ ).
- L'effetto dimensione aggregato ( $\hat{\Delta}$ ) per i casi impegnati era $+0,013$ (95% CI $[+0,005, +0,020]$ ).
Implicazioni per la Self-Consistency:
- Regime Impegnato: La self-consistency è inefficace perché il modello riproduce la stessa risposta errata. In questo caso, i segnali di incertezza a singola completazione (specificamente le caratteristiche della finestra precoce) forniscono un rilevamento superiore. Gli autori dimostrano che, per i modelli impegnati, la self-consistency può essere saltata per il top 30% degli input sicuri senza sacrificare il richiamo dei fallimenti.
- Regime Persistente: La self-consistency rimane efficace poiché il fallimento si manifesta come disaccordo tra le completazioni.
- Complementarità: Combinare l'incertezza a singola completazione con i tassi di accordo della self-consistency ha migliorato costantemente la PR-AUC in tutti i regimi testati, catturando la qualità del ragionamento all'interno della completazione che i soli tassi di accordo perdono.

Significato e Rivendicazioni

Il documento rivendica di offrire un framework fondamentale per comprendere quando e come i fallimenti di ragionamento degli LLM diventano rilevabili. Caratterizzando i fallimenti come "impegnati" o "persistenti", gli autori sostengono che le strategie di rilevamento debbano essere adattate allo specifico modo di fallimento piuttosto che essere applicate uniformemente.

Contributi chiave includono:

Firme a Livello di Token: Dimostrare che i segnali di incertezza a livello di token possono distinguere tra due distinti processi di fallimento utilizzando solo le probabilità logaritmiche esterne.
Identificazione del Punto di Impegno: Definire e validare empiricamente un punto specifico in una traccia di ragionamento dove il modello si blocca su un percorso, segnando la transizione dal segnale al rumore.
Guida Pratica alla Distribuzione: Fornire un meccanismo per dare priorità a quando la self-consistency è necessaria rispetto a quando può essere saltata selettivamente, e mostrare come le caratteristiche di incertezza completino i metodi di verifica esistenti.

Gli autori mantengono la modestia riguardo alle loro rivendicazioni, notando che il framework opera sulle tracce CoT visibili (senza asserire che queste tracce riflettano perfettamente il calcolo interno) ed è limitato dalle restrizioni delle API sull'accesso alle probabilità logaritmiche. Enfatizzano che il framework richiede tassi di fallimento moderati per funzionare in modo affidabile e che il punto di impegno è identificato alla granularità delle dimensioni della finestra piuttosto che alle esatte posizioni dei token.