💬 NLP

Mechanistic Evidence for Faithfulness Decay in Chain-of-Thought Reasoning

Questo articolo introduce la Normalized Logit Difference Decay (NLDD), una metrica che rivela un consistente "Orizzonte di Ragionamento" nei modelli Chain-of-Thought in cui i passaggi oltre il 70–85% della lunghezza della catena perdono fedeltà, dimostrando che l'accuratezza da sola non garantisce un ragionamento genuino.

Autori originali: Donald Ye, Max Loffgren, Om Kotadia, Linus Wong, Jonas Rohweder

Pubblicato 2026-06-08

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Donald Ye, Max Loffgren, Om Kotadia, Linus Wong, Jonas Rohweder

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di guardare un mago eseguire un trucco complesso. Estrae un coniglio da un cappello, ma prima di farlo, ti fa un lungo e dettagliato discorso su come intende procedere. Spiega i passaggi, la fisica e le parole magiche.

Ora, ecco la grande domanda: il coniglio è uscito davvero grazie alle parole magiche che ha appena pronunciato, o il mago aveva già il coniglio in tasca per tutto il tempo, e il discorso era solo una sofisticata distrazione per farti credere che stesse facendo vera magia?

Questo articolo pone esattamente questa domanda riguardo ai modelli di Intelligenza Artificiale (IA). Quando un'IA risolve un problema difficile di matematica o logica, spesso scrive una "Catena di Pensiero" (Chain of Thought - CoT), ovvero una spiegazione passo dopo passo del proprio lavoro. Gli autori vogliono sapere: l'IA sta effettivamente usando quei passaggi per trovare la risposta, o sta solo inventando una storia dopo aver già indovinato la risposta?

Il Nuovo Strumento: Il Test del "Calo di Confidenza" (NLDD)

Per trovare la risposta, gli autori hanno inventato un nuovo test chiamato NLDD (Normalized Logit Difference Decay).

Pensalo in questo modo: immagina di guidare un'auto e che il tuo GPS ti dia indicazioni passo dopo passo.

Guida Fedele: Se il GPS dice "Gira a sinistra" e tu giri a sinistra, arrivi a destinazione. Se ignori il GPS e giri a destra, ti perdi. Le indicazioni erano importanti.
Guida Infedele: Se il GPS dice "Gira a sinistra", ma tu stavi già per girare a sinistra perché conoscevi la strada, le indicazioni non hanno effettivamente cambiato il tuo percorso. O peggio, se il GPS dice "Gira a sinistra" e tu giri comunque a sinistra, ma il GPS stava in realtà cercando di ingannarti per farti girare a destra, allora le indicazioni erano una distrazione.

Il test degli autori funziona sabotando la spiegazione dell'IA. Prendono una spiegazione perfetta, cambiano un passaggio rendendolo errato (come dire all'IA "Aggiungi 2 + 2 = 5") e poi osservano cosa succede alla fiducia dell'IA nella sua risposta finale.

Se l'IA è "Fedele": Quando rompono la spiegazione, l'IA si confonde e perde fiducia. Questo prova che l'IA stava effettivamente usando i passaggi per pensare.
Se l'IA è "Infedele" (o "Anti-Fedele"): Quando rompono la spiegazione, la fiducia dell'IA non scende, o potrebbe persino salire! Questo prova che l'IA non aveva affatto bisogno dei passaggi; conosceva già la risposta (o l'aveva indovinata) prima di iniziare a scrivere.

La Grande Scoperta: L' "Orizzonte del Ragionamento"

Gli autori hanno testato tre diversi tipi di modelli di IA (DeepSeek, Llama e Gemma) su tre tipi di enigmi (matematica, logica e regole linguistiche). Hanno scoperto qualcosa di sorprendente: il ragionamento dell'IA ha un "orizzonte".

Immagina una lunga corda. Il primo 70% - 85% della corda è forte e utile. Ma l'ultimo 15% - 30%? È solo uno spago sciolto e pendente.

Il Punto Ottimale: Per tutti i modelli, l'IA ha effettivamente bisogno della prima parte della sua spiegazione per risolvere il problema.
L'Orizzonte: Una volta che l'IA ha superato un certo punto (circa il 70-85% del percorso), scrivere altri passaggi non aiuta. In effetti, per alcuni modelli, scrivere più passaggi in realtà danneggia le prestazioni. È come se l'IA iniziasse a parlare solo per riempire il silenzio, anche se ha già risolto il problema.

Il Problema di "Clever Hans"

L'articolo evidenzia un fenomeno inquietante chiamato l'effetto "Clever Hans". Negli anni 1900, c'era un cavallo di nome Hans che sembrava saper fare matematica. Batteva lo zoccolo il numero giusto di volte. Ma si scoprì che non stava facendo matematica; stava leggendo il linguaggio del corpo della persona che poneva la domanda.

Gli autori hanno scoperto che alcuni modelli di IA (specificamente il modello Gemma) si comportano come Clever Hans.

Possono ottenere il 99% delle risposte corrette.
Ma quando gli autori hanno rotto i "passaggi di ragionamento", l'IA non se ne è curata.
Ciò significa che l'IA non sta realmente ragionando attraverso i passaggi, ma sta solo memorizzando schemi o indovinando la risposta, e la "spiegazione" è solo una storia post-hoc che racconta per sembrare intelligente.

La "Mappa Nascosta" vs Il "Conducente"

L'articolo ha anche trovato una strana discrepanza chiamata "Mapping Gap" (Lacuna di Mappatura).

Immagina un conducente che ha una mappa perfetta della città nella sua testa (il cervello interno dell'IA), ma sta guidando a occhi chiusi, seguendo un percorso casuale.

L'IA ha l'informazione corretta all'interno del suo "cervello" (la mappa è lì).
Ma non sta usando quell'informazione per prendere la decisione finale.

Gli autori hanno dimostrato che anche quando un'IA fallisce completamente un compito, potrebbe avere ancora la "mappa" corretta all'interno dei suoi strati. Viceversa, un'IA potrebbe ottenere la risposta giusta ma avere una mappa interna disordinata e confusa. Questo dimostra che il fatto che un'IA sia in grado di mostrarti il suo lavoro, non significa che l'abbia fatto.

Riassunto

In termini semplici, questo articolo afferma che:

Non fidatevi della spiegazione solo perché sembra intelligente. A volte l'IA sta solo inventando una storia dopo aver già trovato la risposta.
Esiste un "punto di svolta". I modelli di IA hanno realmente bisogno solo della prima parte (70-85%) della loro spiegazione per risolvere un problema. Il resto è spesso solo rumore.
L'accuratezza non è tutto. Un'IA può ottenere la risposta corretta il 100% delle volte, ma può comunque "mentire" su come ci è arrivata.

Gli autori hanno creato un nuovo strumento (NLDD) per misurare questo, aiutandoci a capire quando un'IA sta davvero pensando e quando sta solo fingendo.

Sintesi Tecnica: Evidenza Meccanicistica del Decadimento della Fedeltà nel Ragionamento Chain-of-Thought

Definizione del Problema
Il prompting Chain-of-Thought (CoT) è diventato il paradigma standard per estrarre ragionamenti complessi dai Large Language Models (LLM). Tuttavia, rimane un'ambiguità critica: queste spiegazioni passo dopo passo riflettono fedelmente il processo decisionale interno del modello, o sono meri razionalizzazioni post-hoc plausibili? Le valutazioni esistenti spesso trattano la fedeltà come una proprietà binaria della risposta finale o si affidano a metriche di sensibilità grezze che non sono confrontabili tra diverse architetture di modelli a causa delle variazioni nella scala dell'output e nella fiducia di base (baseline confidence). Inoltre, non è chiaro se i modelli utilizzino realmente i token di ragionamento generati per calcolare le risposte o se si affidino a prior pre-calcolati, rendendo la catena di ragionamento causalmente irrilevante.

Metodologia
Gli autori propongono un framework diagnostico centrato sul Normalized Logit Difference Decay (NLDD), una metrica progettata per quantificare la fedeltà a livello di singolo step. La metodologia prevede tre componenti principali:

Interventi Controfattuali: Il framework corrompe i singoli step di ragionamento all'interno di una catena CoT (ad esempio, introducendo errori aritmetici, sostituzioni di entità o errori di profondità) e tronca i passaggi successivi. Ciò isola l'impatto causale di specifici token sulla predizione finale.
Metrica NLDD: A differenza dell'accuratezza binaria, l'NLDD misura la degradazione della fiducia del modello (margine dei logit) quando uno step di ragionamento viene corrotto. Fondamentalmente, normalizza questa degradazione rispetto alla variabilità intrinseca dell'output del modello (deviazione standard dei logit) per consentire un confronto cross-model indipendente dall'architettura.
- NLDD Positivo: Indica dipendenza causale; la corruzione riduce la fiducia.
- NLDD Negativo: Indica "anti-fedeltà"; la corruzione aumenta paradossalmente la fiducia, suggerendo che il modello ignori o sia ostacolato dalla catena di ragionamento.
Diagnostica Strutturale: Per complementare le metriche comportamentali, gli autori impiegano:
- Analisi della Similarità Rappresentazionale (RSA): Misura l'allineamento tra i pattern degli stati latenti (hidden states) delle catene pulite rispetto a quelle corrotte per valutare la stabilità rappresentazionale interna.
- Trajectory Alignment Score (TAS): Quantifica l'efficienza geometrica del percorso di ragionamento nello spazio latente.
- Linear Probing: Testa se le informazioni rilevanti per il compito (ad esempio, profondità dello stack, valori di verità) siano esplicitamente codificate negli stati latenti, indipendentemente dal fatto che il modello le utilizzi per la predizione.

Il framework è valutato su tre famiglie di modelli (DeepSeek-Coder-6.7B, Llama-3.1-8B e Gemma-2-9B) e tre compiti con diversi gradi di ambiguità: Dyck-n (sintattico), PrOntoQA (logico) e GSM8K (aritmetico).

Risultati Chiave
Lo studio identifica regimi comportamentali distinti e un fenomeno strutturale coerente tra i modelli:

Regimi Fedeli vs. Anti-Fedeli:
- Regime Fedele: Modelli come Llama e DeepSeek esibiscono un alto NLDD positivo, indicando che le loro predizioni sono causalmente radicate nella catena di ragionamento.
- Regime Anti-Fedele: Gemma-2 dimostra un'alta accuratezza (es. 99% su PrOntoQA) nonostante un NLDD significativamente negativo (-52,5%). In questo regime, la corruzione della catena di ragionamento migliora paradossalmente la fiducia del modello nella risposta corretta, suggerendo che i token di ragionamento agiscano come distrattori piuttosto che come driver.
Il Gap di Mappatura (Mapping Gap): È stata osservata una dissociazione dove i modelli codificano internamente le strutture rilevanti per il compito (alta accuratezza del linear probe) ma falliscono nell'utilizzarle per l'output finale. Ad esempio, Gemma ha raggiunto l'82% di accuratezza del probe sulla profondità dello stack di Dyck-n ma lo 0% di accuratezza sul compito, indicando che l'informazione è presente ma non utilizzata causalmente.
L'Orizzonte di Ragionamento ( $k^*$ ): Gli autori identificano un "Orizzonte di Ragionamento", definito come la posizione dello step in cui l'influenza causale (NLDD) raggiunge il picco. Oltre questo punto (che si verifica tra il 70% e l'85% della lunghezza della catena attraverso i vari compiti), i token di ragionamento aggiuntivi contribuiscono con un'influenza causale trascurabile o negativa.
- Fondamentalmente, mentre l'NLDD scende bruscamente oltre $k^*$ , l'RSA e il TAS rimangono stabili. Ciò suggerisce che i modelli continuino a generare rappresentazioni interne e traiettorie geometriche coerenti anche quando tali step non influenzano più la predizione finale.

Significatività e Contributi
Il paper apporta tre contributi primari alla comprensione meccanicistica del ragionamento degli LLM:

L'NLDD come Metrica di Fedeltà: Introduce una metrica standardizzata e indipendente dall'architettura che rivela se il ragionamento di un modello è causale o decorativo. Dimostra che un'alta accuratezza da sola è insufficiente per verificare il ragionamento, poiché i modelli possono ottenere punteggi perfetti pur essendo completamente scollegati dalle loro spiegazioni CoT.
Identificazione dell'Orizzonte di Ragionamento ( $k^*$ ): La scoperta di un punto di transizione coerente (70–85% della lunghezza della catena) dove l'influenza causale decade suggerisce che le catene CoT contengono spesso una "zona di potenziale potatura teorica". Oltre questo orizzonte, i token di ragionamento possono essere formattazioni post-hoc o, nei modelli anti-fedeli, interferenze attive.
Evidenza del Mapping Gap: I risultati sfidano le assunzioni nella ricerca sull'interpretabilità, mostrando che i modelli possono mantenere rappresentazioni interne corrette della logica del compito senza utilizzarle causalmente per la decodifica. Ciò implica che la coerenza superficiale del CoT non garantisce la fedeltà causale.

Gli autori concludono che il loro approccio multi-metrica fornisce un modo rigoroso per misurare quando il CoT è rilevante, distinguendo tra un reale breakdown del ragionamento e cambiamenti superficiali dell'output, e sottolineando che per certe architetture, un ragionamento esteso può essere controproducente.