How Do Answer Tokens Read Reasoning Traces? Self-Reading Patterns in Thinking LLMs for Quantitative Reasoning

`) prima di produrre la risposta finale. Sebbene la ricerca precedente si sia concentrata sull'ottimizzazione o la compressione di queste tracce di ragionamento tramite activation steering (guida delle attivazioni), rimane poco chiaro come i token della risposta leggano e integrino effettivamente la traccia di ragionamento per produrre risultati affidabili.
In particolare, non è ben compreso come i token della risposta navigino il rumore e identifichino le informazioni chiave all'interno di catene di ragionamento che possono estendersi per migliaia di token. La mancanza di comprensione di questo meccanismo di "lettura interna" limita la capacità di controllare e migliorare l'affidabilità dei modelli durante la fase di decodifica della risposta.

2. Metodologia

Gli autori hanno condotto un'analisi approfondita del meccanismo di attenzione dalla risposta al ragionamento (answer-to-reasoning attention) su task di ragionamento quantitativo (es. GSM8K, MATH500).

A. Analisi del Comportamento di "Auto-Lettura" (Self-Reading)

Hanno identificato un pattern strutturato e stabile, chiamato "auto-lettura benigna", che emerge negli strati medio-tardi del modello durante la decodifica della risposta. Questo pattern è fortemente correlato alla correttezza della soluzione e si caratterizza per due tratti distinti:

1. Spostamento in avanti del baricentro dell'attenzione (Forward Drift): Man mano che la risposta viene generata, il punto focale dell'attenzione dei token di risposta si sposta progressivamente verso le posizioni successive nella traccia di ragionamento, seguendo il flusso logico.
2. Concentrazione persistente sugli ancoraggi semantici: I token di risposta tornano ripetutamente a concentrarsi su passaggi chiave semantici (vincoli del problema, piani di soluzione, riflessioni e conclusioni finali), invece di distribuire l'attenzione in modo uniforme o dispersivo.

Al contrario, le soluzioni errate mostrano pattern di attenzione disorganizzati, diffusi e irregolari, privi di questa struttura coerente.

B. Proposta del Metodo: SRQ (Self-Reading Quality)

Basandosi su queste osservazioni, gli autori propongono un metodo di guida (steering) privo di riaddestramento, guidato dai punteggi SRQ (Self-Reading Quality). L'SRQ quantifica la qualità dell'auto-lettura del modello combinando due dimensioni:

• Dimensione Geometrica: Misura il controllo del processo. Valuta quanto l'attenzione progredisce in modo fluido lungo la traccia (metriche come correlazione di Pearson e distanza dalla diagonale).
• Dimensione Semantica: Misura il monitoraggio del contenuto. Verifica se l'attenzione si concentra su "buoni" token di ragionamento (passaggi corretti, vincoli) ed evita quelli "cattivi" (errori di calcolo, rami errati).

C. Meccanismo di Steering

Il metodo seleziona campioni ad alto SRQ (risposte corrette con auto-lettura benigna) e campioni a basso SRQ (risposte errate con auto-lettura disorganizzata) per costruire vettori di steering. Questi vettori vengono aggiunti alle attivazioni latenti del modello durante l'inferenza per guidare il modello verso stati interni più certi e ordinati, allontanandolo da stati di incertezza cognitiva.

3. Contributi Chiave

1. Identificazione del Pattern di Auto-Lettura: Hanno scoperto e caratterizzato il pattern di "auto-lettura benigna" come un segnale intrinseco di certezza interna del modello durante la generazione della risposta.
2. Metodo di Steering SRQ: Hanno proposto un metodo di guida training-free che utilizza metriche geometriche e semantiche per selezionare dati di alta qualità e costruire vettori di steering efficaci.
3. Validazione Sperimentale: Hanno dimostrato che guidare il modello verso pattern di auto-lettura benigna migliora consistentemente l'accuratezza su diversi benchmark e modelli, confermando il legame diretto tra la qualità della lettura interna e la correttezza della risposta.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su modelli thinking all'avanguardia (R1-Distill-Llama-8B, R1-Distill-Qwen-7B, Qwen3-4B-Thinking) su dataset come GSM8K, MATH500 e SVAMP.

• Miglioramenti di Accuratezza: Il metodo SRQ ha portato a guadagni di accuratezza consistenti, con un miglioramento massimo del 2.6% rispetto ai modelli base su GSM8K.
• Compatibilità: Il metodo funziona in combinazione con diverse tecniche di steering esistenti (CAA, Conceptor, PCA-CAA), agendo come un segnale di supervisione universale.
• Generalizzazione: I vettori di steering addestrati su GSM8K hanno mostrato buone capacità di trasferimento su SVAMP e MATH500, indicando che il metodo cattura una strategia di lettura generale e non un overfitting su un dataset specifico.
• Certezza Cognitiva: L'analisi ha mostrato che il metodo aumenta non solo l'accuratezza, ma anche la confidenza del modello durante la generazione, confermando l'ipotesi che l'auto-lettura benigna sia un indicatore di certezza interna.
• Preservazione della Riflessione: Il metodo non sopprime la capacità del modello di riflettere o correggersi; riduce piuttosto l'esitazione ridondante e disorganizzata, mantenendo le verifiche deliberate.

5. Significato e Implicazioni

Questo lavoro offre una nuova prospettiva sull'interpretazione dei modelli di ragionamento:

• Interpretazione Cognitiva: L'auto-lettura benigna è interpretata come una firma comportamentale della certezza interna. Quando il modello è certo, "legge" la propria traccia di ragionamento in modo strategico e controllato (come un livello meta-cognitivo che monitora l'esecuzione a livello oggetto).
• Nuova Direzione per il Controllo: Dimostra che è possibile migliorare le prestazioni dei LLM non solo agendo sulla generazione del ragionamento, ma ottimizzando specificamente come la fase di risposta "consuma" e integra le informazioni generate in precedenza.
• Efficienza: Il metodo è privo di riaddestramento (training-free), rendendolo applicabile a modelli esistenti con costi computazionali minimi rispetto al fine-tuning.

In sintesi, il paper stabilisce che la qualità di come un modello "legge se stesso" è un fattore critico per la correttezza delle risposte, e che guidare attivamente questo processo verso pattern strutturati e certi è una strategia efficace per migliorare l'affidabilità dei modelli di ragionamento.