LLMs Faithfully and Iteratively Compute Answers During CoT: A Systematic Analysis With Multi-step Arithmetics

Each language version is independently generated for its own context, not a direct translation.

Immagina di chiedere a un grande intelligenza artificiale (come un assistente virtuale super intelligente) di risolvere un problema di matematica un po' complicato. L'IA non ti dà solo la risposta finale, ma scrive prima un "pensiero ad alta voce" (chiamato Chain-of-Thought o CoT), spiegando passo dopo passo come è arrivata al risultato.

La domanda fondamentale è:
L'IA sta davvero pensando mentre scrive questi passaggi? O ha già deciso la risposta nel suo "cervello" prima ancora di iniziare a scrivere, e sta solo inventando una spiegazione per sembrare onesta? È come se un mago ti mostrasse un trucco, ma in realtà aveva già deciso il risultato prima di iniziare lo spettacolo.

Cosa hanno scoperto i ricercatori?

I ricercatori di questa carta (proveniente da Tohoku University, RIKEN e MBZUAI) hanno deciso di fare una "radiografia" al cervello dell'IA mentre risolveva problemi di matematica. Hanno usato due strumenti principali:

Il "Sonda" (Linear Probing): Immagina di avere una sonda che può leggere i pensieri dell'IA in ogni singolo millisecondo mentre scrive. Hanno controllato: "In questo preciso istante, l'IA sa già qual è il risultato?"
Il "Chirurgo" (Causal Intervention): Hanno fatto un esperimento chirurgico. Hanno preso i "pensieri" (i dati interni) dell'IA mentre risolveva un problema, e li hanno sostituiti con i pensieri di un'IA che stava risolvendo un problema diverso. Hanno visto se la risposta finale cambiava di conseguenza.

Le scoperte principali (con analogie)

1. L'IA non ha la risposta pronta nella tasca

Molti pensavano che l'IA leggesse il problema, calcolasse subito la risposta nel suo "sottosopra" (prima di scrivere), e poi scrivesse la spiegazione solo per compiacerci.
La scoperta: No! Quando l'IA legge la domanda, non sa ancora la risposta. È come se un cuoco leggesse una ricetta e dicesse: "Non so ancora quanto sale mettere".
L'IA inizia a "pensare" e a calcolare mentre scrive. Ogni parola che scrive è un vero passo di calcolo. Se interrompi la scrittura a metà, l'IA non ha ancora la soluzione finale.

2. La spiegazione è fedele alla realtà

Poiché l'IA calcola mentre scrive, la spiegazione che vedi sullo schermo è fedele a quello che sta succedendo nel suo cervello. Non sta mentendo.
L'analogia: È come guardare qualcuno che sta assemblando un mobile IKEA. Se vedi che sta avvitando la prima vite, poi la seconda, e infine la terza, sai che sta davvero costruendo il mobile. Non sta fingendo di avvitare mentre in realtà il mobile è già finito nascosto sotto il tavolo.

3. Il "Pregiudizio del Recente" (Recency Bias)

Hanno scoperto che l'IA si fida molto di più dell'ultimo passo che ha scritto rispetto a quello che ha letto all'inizio.
L'analogia: Immagina di dover ricordare una lista di cose da fare. Se ti dicono "compra il latte" (all'inizio) e poi "compra il pane" (alla fine), quando arrivi al negozio, è più probabile che tu compri il pane perché è l'ultima cosa che hai pensato. L'IA funziona così: il suo ragionamento finale dipende pesantemente dall'ultimo passaggio che ha generato, non tanto dalle informazioni iniziali.

Perché è importante?

Questo studio ci rassicura su due fronti:

Affidabilità: Quando un'IA ci spiega come ha risolto un problema, possiamo fidarci di quella spiegazione. Non è una scusa inventata dopo aver già deciso la risposta.
Debug: Se l'IA sbaglia, possiamo capire esattamente dove nel processo di scrittura ha fatto un errore di calcolo, perché i suoi "pensieri" sono allineati con la sua scrittura.

In sintesi

Pensa all'Intelligenza Artificiale non come a un mago che tira fuori un coniglio dal cilindro (avendo già deciso il risultato), ma come a un studente che sta facendo i compiti a casa.
Lo studente legge il problema, si concentra, scrive il primo passaggio, poi il secondo, e solo alla fine arriva alla soluzione. Se lo studente sbaglia un passaggio a metà strada, la risposta finale sarà sbagliata.
Questo studio ci conferma che, almeno nei compiti di logica e matematica, l'IA si comporta proprio come quel studente: sta davvero pensando mentre parla.

Each language version is independently generated for its own context, not a direct translation.

1. Il Problema

Il lavoro si concentra sulla fedeltà (faithfulness) delle spiegazioni "Chain-of-Thought" (CoT) generate dai Large Language Models (LLM).

Domanda chiave: Le spiegazioni intermedie (il ragionamento CoT) sono una riflessione genuina e causale di come il modello arriva alla risposta finale, o il modello ha già "deciso" la risposta fin dall'inizio (prima di generare il CoT) e produce il ragionamento solo come una giustificazione post-hoc per conformarsi al formato richiesto?
Contesto: Se il modello determina la risposta prima di iniziare il ragionamento, il CoT è ingannevole e non affidabile per l'interpretabilità. Se invece il modello calcola la risposta durante la generazione del CoT, allora il ragionamento è fedele al processo interno.

2. Metodologia

Gli autori hanno utilizzato un approccio sistematico basato su task aritmetici sintetici controllati per isolare il processo di ragionamento, evitando le ambiguità del linguaggio naturale.

A. Dataset Sintetico

Hanno creato un dataset di problemi aritmetici multi-step (variabili assegnate con equazioni, es. A = 1 + B, B = 2 + 3, A = ?).

Livelli di complessità: 5 livelli definiti in base al numero di passaggi necessari (#Step), al numero di variabili da "mettere in pila" (#Stack) e alla presenza di equazioni distrattive (#Dist).
Obiettivo: Questo permette un'analisi granulare a livello di token e di equazione.

B. Analisi con Linear Probing (Sezione 3)

Per determinare quando il modello conosce internamente la risposta, hanno addestrato classificatori lineari (probe) sulle rappresentazioni nascoste (hidden states) del modello.

Setup: Per ogni token $t$ , ogni layer $l$ e ogni variabile di interesse $v_i$ , un probe tenta di prevedere il valore della variabile.
Metrica: Hanno misurato l'accuratezza del probe prima ( $t < 0$ , INPUT) e dopo ( $t \ge 0$ , OUTPUT/CoT) dell'inizio della generazione del ragionamento.
Ipotesi: Se l'accuratezza è alta prima del CoT, la risposta è predeterminata. Se è alta solo durante il CoT, il calcolo avviene in tempo reale.

C. Interventi Causali (Activation Patching) (Sezione 4)

Per verificare la relazione causale, hanno utilizzato la tecnica dell'Activation Patching:

Hanno eseguito un'inferenza "pulita" su un problema.
Hanno poi sostituito gli stati nascosti di un problema diverso (con una risposta diversa) con quelli del problema originale in punti specifici della generazione.
Obiettivo: Se modificare gli stati nascosti della parte di CoT cambia la risposta finale, ciò dimostra che il CoT è causalmente legato alla risposta.

3. Risultati Chiave

A. Il Calcolo Avviene "On-the-Fly" durante il CoT

Probing: In quasi tutti i modelli testati (Qwen2.5, Llama3, Yi, Mistral) e livelli di difficoltà, l'accuratezza del probe per le variabili necessarie alla soluzione finale è bassa o nulla nella fase di INPUT (prima del CoT).
L'accuratezza sale drasticamente solo durante la generazione del CoT, spesso pochi token prima che il valore appaia nel testo generato.
Eccezioni: Le uniche variabili risolvibili prima del CoT sono quelle che non richiedono calcolo (es. B=2 in un problema semplice) o variabili distrattive non necessarie.

B. Fedeltà Causale

Gli esperimenti di patching confermano che la risposta finale dipende causalmente dagli stati nascosti generati durante il CoT.
Sostituire gli stati nascosti della parte di INPUT (il problema originale) non influenza la generazione della risposta finale o dei passaggi intermedi del CoT.
Al contrario, intervenire sugli stati nascosti della parte di CoT (specialmente i passaggi immediatamente precedenti) cambia la risposta finale.

C. Bias di Recenza (Recency Bias)

Il ragionamento interno mostra un forte bias di recenza: ogni passo del ragionamento dipende causalmente dal passo immediatamente precedente e dalle informazioni più recenti nel contesto del CoT, piuttosto che dall'intera storia del prompt.
Il modello non "ricomputa" tutto da zero ad ogni passo, ma si affida al risultato intermedio appena generato e scritto nel CoT.

D. Robustezza

I risultati sono coerenti su diversi modelli (dai 3B ai 34B parametri) e diverse architetture.
Anche cambiando il formato del prompt (few-shot vs general), il pattern di calcolo "on-the-fly" rimane invariato.
Nei casi in cui il modello fallisce (genera una risposta errata), il probe spesso rileva che la risposta corretta era presente in uno stato interno precedente, suggerendo che l'errore è dovuto a una propagazione di errori nella generazione successiva, non a una mancanza di comprensione iniziale.

4. Contributi Principali

Dimostrazione della Fedeltà: Forniscono prove empiriche solide che, in contesti di ragionamento complesso (aritmetica multi-step), i LLM non predeterminano la risposta prima di iniziare il CoT. Il ragionamento è un processo computazionale reale e iterativo.
Analisi Meccanicistica Dettagliata: Mappano esattamente quando e dove (in quali layer e token) le informazioni vengono calcolate e rese disponibili internamente.
Validazione tramite Intervento: Confermano la causalità non solo osservando le rappresentazioni, ma manipolandole attivamente, chiudendo il cerchio tra rappresentazione interna e output finale.
Distinzione dai Lavori Precedenti: Distinguono il loro lavoro da studi che suggeriscono un ragionamento post-hoc, mostrando che tale comportamento potrebbe essere limitato a task semplici o fattuali dove il CoT non è strettamente necessario.

5. Significato e Implicazioni

Affidabilità degli LLM: Per task che richiedono ragionamento logico o matematico, le spiegazioni CoT fornite dagli LLM possono essere considerate fedeli al processo decisionale interno. Questo aumenta la fiducia nell'uso del CoT per l'interpretabilità e il debugging.
Debugging dei Modelli: La capacità di tracciare l'errore fino a un passaggio specifico del CoT (dove il probe rileva un valore corretto che poi viene ignorato) offre nuovi strumenti per diagnosticare perché i modelli falliscono.
Limitazioni: Gli autori notano che questi risultati si basano su task sintetici. In task di linguaggio naturale molto complessi o dove il CoT è meno strutturato, il comportamento potrebbe differire. Inoltre, per task molto semplici dove il CoT non è necessario, il modello potrebbe effettivamente predeterminare la risposta.

In sintesi, il paper smonta l'ipotesi che il CoT sia spesso una "scusa" generata dopo la decisione, dimostrando invece che, per problemi di ragionamento strutturato, il modello pensa mentre parla, e ciò che scrive è una mappa fedele del suo calcolo interno.