Riepilogo Tecnico: CopT: Pensiero Contrastivo On-Policy con Spazi Continui per Ragionamento Generale e Agentic

Enunciato del Problema

Il prompting a Catena di Pensiero (CoT) è diventato lo standard per elicitaare capacità di ragionamento nei Modelli Linguistici su Larga Scala (LLM). Tuttavia, il paradigma CoT prevalente tratta il pensiero come un prerequisito rigoroso per la risposta, costringendo i modelli a generare un intero tracciato di ragionamento prima di produrre una risposta finale. Osservazioni recenti indicano che gli LLM spesso esibiscono un "ragionamento performativo", in cui continuano a generare passaggi di ragionamento anche dopo aver identificato internamente una risposta plausibile. Questo comportamento ritarda l'accesso alle risposte corrette e comporta costi token non necessari. Inoltre, i metodi esistenti che utilizzano embedding continui (Latent CoT) spesso sacrificano la leggibilità del ragionamento esplicito o introducono problemi come rappresentazioni non viste e deriva verso il rumore quando utilizzati direttamente per la generazione.

Metodologia: CopT

Gli autori propongono CopT (Contrastive On-Policy Thinking), una pipeline di ragionamento senza addestramento che inverte l'ordine standard delle operazioni: Risposta Prima, Poi Pensiero. La metodologia consta di due fasi principali e di un nuovo meccanismo di verifica contrastiva.

1. Pipeline di Ragionamento Invertita

• Elicitazione della Bozza di Risposta: Invece di pensare prima, il modello è costretto a emettere immediatamente un token <answer> e a generare una bozza di risposta ($a$) basata sulla domanda di input ($q$).
• Pensiero On-Policy: Se la bozza di risposta è considerata inaffidabile, il modello attiva una fase di pensiero successiva condizionata alla bozza. Ciò consente riflessione e correzione solo quando necessario.

2. Stima Contrastiva dell'Affidabilità

Per determinare se una bozza di risposta debba essere affidata o se sia richiesto ulteriore pensiero, CopT introduce un stimatore KL inverso normalizzato a livello di sequenza ($\kappa$). Questo meccanismo sfrutta gli embedding continui come verificatori a tempo di inferenza senza utilizzarli per la generazione.

• Input Discreti vs Continui: Durante la generazione, il modello memorizza due rappresentazioni per ogni passaggio:
  1. Prefisso Discreto: La probabilità standard $p_t$ del token scelto data la storia dei token discreti.
  2. Prefisso Continuo: Un embedding continuo $e_t$ calcolato come media pesata per probabilità di tutti gli embedding del vocabolario, preservando le informazioni sull'incertezza.
• Lo Stimatore: Dopo aver generato una bozza di lunghezza $T_a$, il modello confronta la probabilità dei token generati sotto il prefisso discreto ($p_\theta(a_t | q, a_{<t})$) con la probabilità sotto il prefisso continuo ($p_\theta(a_t | q, e_{<t})$).
  $$\kappa_a = \frac{1}{T_a} \sum_{t=1}^{T_a} \left[ \log p_\theta(a_t | q, a_{<t}) - \log p_\theta(a_t | q, e_{<t}) \right]$$
• Interpretazione: Un $\kappa_a$ alto indica che la risposta è significativamente meno supportata quando si considerano le informazioni sull'incertezza (embedding continui), suggerendo che la bozza è inaffidabile. Se $\kappa_a$ supera una soglia $\tau_a$, il modello entra nella fase di pensiero on-policy.

3. Controllo Dinamico della Visibilità

Durante la fase di pensiero on-policy, la bozza di risposta può ancora contenere informazioni parziali utili, ma potrebbe anche fuorviare il modello se è fondamentalmente errata. CopT affronta questo problema controllando dinamicamente la visibilità della bozza di risposta durante i successivi chunk di pensiero.

• La traiettoria di pensiero è suddivisa in chunk.
• Viene calcolato un secondo stimatore KL ($\kappa_r$) per ogni chunk per valutare la stabilità del processo di pensiero corrente.
• Se $\kappa_r$ indica instabilità (alta discrepanza), la bozza di risposta viene nascosta ($m_k=0$) per il chunk successivo per impedire che il modello venga fuorviato. Se stabile, la bozza rimane visibile ($m_k=1$).

4. Fondamento Teorico

Il documento fornisce un'analisi teorica che mostra come, sotto un'assunzione "mixture-linear", il valore atteso dello stimatore KL inverso sia uguale all'informazione reciproca $I(S; A)$ tra lo stato di ragionamento latente non risolto $S$ e il token di risposta emesso $A$. Ciò dimostra che lo stimatore misura l'incertezza rilevante per la risposta piuttosto che un'incertezza arbitraria nello stato latente. Di conseguenza, il punteggio aumenta solo quando l'incertezza preservata negli embedding continui modifica effettivamente il supporto del modello per i token generati.

Contributi Chiave

1. Paradigma Invertito: Propone una pipeline senza addestramento in cui gli LLM generano prima una bozza di risposta e invocano il pensiero on-policy solo quando la bozza è considerata inaffidabile, consentendo un accesso anticipato alle risposte e una correzione selettiva.
2. Verifica Contrastiva: Introduce un meccanismo che ricicla gli embedding continui (precedentemente utilizzati per la generazione nel Latent CoT) come verificatori a tempo di inferenza. Confrontando input discreti e continui, stima l'affidabilità della bozza e modula la visibilità della bozza senza sacrificare la leggibilità del CoT esplicito.
3. Insight Teorico: Dimostra che lo stimatore proposto misura l'informazione reciproca tra stati latenti e risposte, spiegando perché cattura efficacemente l'incertezza rilevante per la risposta.
4. Validazione Empirica: Convalida estensivamente il metodo su compiti di matematica, codifica e ragionamento agentic, mostrando guadagni costanti rispetto alle baseline CoT standard.

Risultati Sperimentali

Gli autori hanno valutato CopT sui modelli Qwen3 e Qwen3.5 (scale 2B, 8B e 35B) su 10 benchmark, inclusi GSM8K, Math500, AIME, HumanEval, LeetCode-Contest e benchmark agentic (BFCL v4, ZebraArena).

• Accuratezza ed Efficienza: CopT migliora l'accuratezza massima fino al 23% (ad esempio, sulla divisione grande di ZebraArena) e riduce l'utilizzo dei token fino al 57% a livelli di accuratezza comparabili o superiori rispetto al CoT standard.
• Matematica e Codifica: Su GSM8K, CopT ha ottenuto un guadagno di accuratezza del +0,23% con una riduzione del 55,1% dei token. Su benchmark AIME impegnativi, ha migliorato l'accuratezza del +3,34% (AIME24) e del +2,92% (AIME25).
• Ragionamento Agentic: In compiti agentic multi-turno (ZebraArena), CopT ha migliorato l'accuratezza del +23,03% sulla divisione grande riducendo l'utilizzo dei token del 19,6%.
• Confronto con Metodi Latenti: A differenza di metodi senza addestramento che utilizzano embedding continui per la generazione (ad esempio, Soft-Thinking, SwiReasoning), CopT mantiene un ragionamento completamente esplicito e leggibile, ottenendo al contempo un'accuratezza superiore con meno token.
• Latenza: Il risparmio di token si traduce direttamente in riduzioni della latenza, con CopT che riduce la latenza media per campione fino al 69% su HumanEval.

Significato e Affermazioni

Il documento afferma che CopT offre una via pratica verso un ragionamento degli LLM più conveniente a tempo di inferenza senza richiedere addestramento aggiuntivo. Invertendo l'ordine pensiero-risposta e utilizzando gli embedding continui come verificatori contrastivi, CopT bilancia con successo il compromesso tra accuratezza, efficienza e trasparenza del ragionamento. Gli autori sottolineano che questo approccio evita le insidie della generazione continua diretta (come la de-diversificazione e il rumore) sfruttando al contempo le informazioni sull'incertezza intrinseche negli spazi continui per prendere decisioni più intelligenti su quando pensare e quando fermarsi. Il metodo è presentato come un framework generalizzabile applicabile a varie architetture di modelli e domini di ragionamento.