Reasoning Models Know What's Important, and Encode It in Their Activations

1. Problema e Contesto

I modelli linguistici (LLM) risolvono compiti complessi generando lunghe catene di ragionamento (Chain-of-Thought, CoT) composte da molti passaggi intermedi. Tuttavia, non tutti questi passaggi sono ugualmente cruciali: alcuni sono essenziali per giungere alla risposta corretta, mentre altri sono ridondanti, informativi o "performativi" (aggiunti solo per sembrare ragionevoli).
Il problema centrale è determinare quali passaggi sono realmente importanti e come i modelli identificano internamente questa importanza. Le analisi tradizionali si basano spesso sui token generati (l'output superficiale), ma il paper sostiene che questo approccio è limitato e non sempre fedele alla logica interna del modello. La domanda di ricerca è: i modelli possiedono una rappresentazione interna dell'importanza dei passaggi di ragionamento, e questa è accessibile solo attraverso le attivazioni latenti o può essere dedotta dai token?

2. Metodologia

Gli autori adottano un approccio basato sulla rimovibilità come proxy per l'importanza: un passaggio è considerato "importante" se la sua rimozione impedisce al modello di generare la risposta corretta.

A. Definizione dell'Importanza e Selezione dei Passaggi

Per identificare i passaggi essenziali, il paper introduce due metriche per valutare le sottosequenze di ragionamento:

1. Sufficienza (Sufficiency): La capacità di una sottosequenza di supportare la generazione della risposta corretta (misurata tramite il tasso di successo su 5 completamenti non deterministici).
2. Raggiungibilità (Attainability): Quanto naturalmente una sottosequenza emerge dalla distribuzione del modello (misurata tramite la perplessità normalizzata).

L'obiettivo è trovare la sottosequenza di ragionamento centrale ($T^*$): la sequenza più corta che sia sia sufficiente che raggiungibile.

B. Confronto tra Metodi di Identificazione

Il paper confronta tre varianti per identificare e rimuovere i passaggi non essenziali:

1. Basato sulle Attivazioni (Activation-based): Utilizza l'attribuzione del gradiente per calcolare l'influenza di ogni passaggio sui passaggi successivi e sulla risposta finale. I passaggi con bassa influenza vengono rimossi iterativamente.
2. Basato sui Token (Token-based): Utilizza un LLM esterno (Gemini-2.5-Pro) come "giudice" per analizzare il testo dei passaggi e classificarne l'importanza.
3. Randomico (Random): Rimozione casuale dei passaggi (baseline).

C. Sondaggio delle Attivazioni (Probing)

Per verificare se l'importanza è codificata internamente, gli autori addestrano classificatori di sondaggio (probes) sulle attivazioni latenti dei passaggi.

• Input: Le attivazioni di un singolo passaggio (integrando il contesto precedente).
• Obiettivo: Predire se il passaggio è "rimovibile" o "importante" (etichette derivate dal metodo basato sulle attivazioni).
• Variabili testate: Confronto tra attivazioni con contesto completo vs. senza contesto, e confronto con rappresentazioni superficiali (TF-IDF, embedding semantici, LLM esterni).

D. Analisi Cross-Modello e Distribuzione

• Cross-Modello: Addestramento di un probe su un modello ($\phi_{cross}$) per predire le etichette di un altro modello ($\phi_{self}$).
• Analisi Strutturale: Verifica se l'informazione è localizzata in specifici layer o posizioni, o se è distribuita.
• Correlazione Superficiale: Verifica se l'importanza predetta dai probe è correlata a caratteristiche superficiali (lunghezza, posizione, presenza di numeri, categorie lessicali come "filler" o "verifica").

3. Risultati Chiave

1. Le Attivazioni Superano i Token:
   Il metodo basato sulle attivazioni identifica un insieme di passaggi essenziali significativamente più piccolo e preciso rispetto al metodo basato sui token (LLM esterno). Questo suggerisce che le informazioni latenti contengono segnali di importanza più precisi di quanto appaia nel testo generato.

2. Codifica Interna Pre-Generazione:
   I probe addestrati sulle attivazioni raggiungono un'accuratezza superiore all'80% nel predire l'importanza di un passaggio prima che vengano generati i passaggi successivi. Ciò dimostra che il modello "sa" internamente quali passaggi sono cruciali in tempo reale, anche prima di elaborare la loro conseguenza logica.

3. Generalizzazione Cross-Modello:
   Le rappresentazioni dell'importanza sono trasferibili. Un probe addestrato sulle attivazioni di un modello riesce a predire con alta accuratezza l'importanza dei passaggi generati da un modello diverso. Questo indica che il concetto di "importanza del passaggio di ragionamento" è universale e non specifico dell'architettura del modello.

4. Natura Distribuita e Non Superficiale:

   • L'informazione è distribuita attraverso tutti i layer e le posizioni dei token; nessun singolo layer o posizione contiene da solo tutto il segnale.
   • L'importanza non è correlata a caratteristiche superficiali (come la posizione nel testo, la lunghezza del passaggio o la presenza di parole chiave come "quindi" o "verifica"). I modelli basati su queste caratteristiche superficiali falliscono nel predire l'importanza con la stessa accuratezza dei probe sulle attivazioni.

4. Contributi Principali

• Dimostrazione dell'Incoerenza Superficiale: Il paper prova che l'analisi basata sui token (CoT visibile) è spesso ingannevole ("unfaithful"), poiché molti passaggi apparentemente importanti sono in realtà rimovibili, mentre l'importanza reale risiede nelle attivazioni latenti.
• Nuova Metrica di Analisi: Introduce un framework rigoroso per definire l'importanza tramite la rimovibilità causale, combinando sufficienza e raggiungibilità.
• Evidenza di Rappresentazioni Latenti Universali: Dimostra che i modelli di ragionamento codificano una nozione astratta di importanza in modo coerente e trasferibile tra diversi modelli, indipendentemente dalla superficie testuale.
• Implicazioni per l'Interpretabilità: Suggerisce che per comprendere davvero il processo di ragionamento degli LLM, è necessario analizzare le attivazioni interne piuttosto che limitarsi all'output testuale.

5. Significato e Implicazioni

• Efficienza e Pruning: Poiché l'importanza può essere rilevata dalle attivazioni, si apre la possibilità di sviluppare tecniche di pruning (potatura) delle catene di ragionamento in tempo reale, rimuovendo i passaggi ridondanti per ridurre la latenza e il costo computazionale senza compromettere la precisione.
• Fiducia (Faithfulness) nei Modelli: I risultati mettono in discussione la fiducia nell'interpretazione diretta delle catene di pensiero generate. Se i passaggi "importanti" non sono sempre quelli che appaiono più densi o logici nel testo, le spiegazioni basate sui token potrebbero essere fuorvianti.
• Prospettiva Futura: Il lavoro suggerisce che l'analisi delle "scatole nere" degli LLM deve spostarsi verso l'analisi delle rappresentazioni latenti (activations) per ottenere una comprensione fedele dei meccanismi di ragionamento, andando oltre la superficie linguistica.

In sintesi, il paper conclude che i modelli di ragionamento "sanno" cosa è importante e codificano questa conoscenza nelle loro attivazioni interne in modo robusto e universale, un segnale che le analisi basate esclusivamente sui token non riescono a catturare.