💬 NLP

Training Continuous Chain of Thought Models: A Tale of Two Regimes

Questo articolo introduce C-MTP, un metodo di supervisione diretta più veloce per l'addestramento di modelli di Chain-of-Thought continui che supera i precedenti approcci diretti e eguaglia i metodi indiretti più lenti su tracce di ragionamento brevi, rivelando al contempo che le attuali tecniche di CoT continua faticano significativamente quando applicate a compiti complessi con catene di ragionamento più lunghe.

Autori originali: Varun Yerram, He He, Eunsol Choi

Pubblicato 2026-07-21

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Varun Yerram, He He, Eunsol Choi

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di cercare di insegnare a un robot super intelligente come risolvere un puzzle complicato. In passato, il robot si limitava a sboccare la risposta, spesso sbagliando perché non rifletteva bene sulle cose. Poi, gli scienziati hanno scoperto un trucco magico: se dicevano al robot di "pensare ad alta voce" prima, scrivendo ogni piccolo passaggio del suo ragionamento, il robot diventava molto più bravo a risolvere i problemi. Questo è chiamato "Chain-of-Thought" (Catena di Pensiero). È come uno studente che mostra i passaggi in un compito di matematica; più passaggi scrive, più è probabile che trovi la risposta corretta.

Tuttavia, c'è un problema. Scrivere ogni singolo passaggio richiede molto tempo e potenza di calcolo. È come chiedere a un corridore di fermarsi e scrivere un diario dopo ogni singolo passo che compie. Questo lo rallenta drasticamente. Così, i ricercatori hanno iniziato a chiedersi: "Possiamo far pensare il robot in un linguaggio segreto e compresso? Può fare tutto quel pensiero nella sua testa usando brevi note dense invece di lunghe frasi?" Questa idea è chiamata "Continuous Chain-of-Thought" (Catena di Pensiero Continua). L'obiettivo è mantenere il pensiero intelligente ma perdere il parlare lungo e verboso. Ma ecco la grande domanda: possiamo davvero insegnare a un robot a pensare in queste note segrete senza perdere la sua intelligenza?

Questo articolo, intitolato "Training Continuous Chain of Thought Models: A Tale of Two Regimes" (Addestrare Modelli di Catena di Pensiero Continua: Un Racconto di Due Regimi), scava in profondità in questa domanda, con gli autori Varun Yerram, He He ed Eunsol Choi che agiscono come detective testando due modi diversi per insegnare al robot questo linguaggio segreto. Chiamano questi due metodi "Direct Supervision" (Supervisione Diretta) e "Indirect Supervision" (Supervisione Indiretta).

Pensa alla Indirect Supervision come a un insegnante che osserva uno studente risolvere un problema passo dopo passo su una lavagna. L'insegnante usa un processo speciale in cui il robot predice autoregressivamente i pensieri intermedi (latenza) uno alla volta. Per guidare questa lenta predizione seriale, il modello insegnante (che ha già risolto il problema usando il testo completo) condivide i suoi stati cerebrali interni (attivazioni) con il robot studente. Il robot impara a imitare questi stati interni per generare la propria sequenza di pensieri, uno dopo l'altro, come una fila di domino che cade. È accurato ma lento.

La Direct Supervision, che gli autori introducono come un nuovo metodo chiamato C-MTP, è più simile a un insegnante che consegna allo studente una pila di cartoline. Ogni cartolina rappresenta un pezzo del processo di pensiero. L'insegnante dice: "Ecco la risposta per tutto questo pezzo di pensiero; impara solo a predire le parole che andranno su questa cartolina". Questo permette al robot di imparare molti passaggi contemporaneamente, come leggere un'intera pagina di un libro invece di una lettera alla volta. È molto più veloce ed efficiente.

I ricercatori hanno testato entrambi i metodi su tre livelli di difficoltà, come scalare una montagna con tre campi base.

Campo 1: Il Sentiero Facile e Strutturato.
Su problemi matematici semplici dove il pensiero è breve e ordinato (come "18 per 12 fa 216"), il nuovo metodo della Direct Supervision (C-MTP) è stato una superstar. È stato più veloce da addestrare, ha avuto bisogno di meno esempi per imparare ed è stato effettivamente più bravo a risolvere problemi che non aveva mai visto prima rispetto al vecchio metodo lento e indiretto. Era come uno sprinter che poteva correre veloce quanto il maratoneta ma con molto meno allenamento.

Campo l: Il Sentiero Verboso e Chiacchierone.
Quando i problemi diventavano un po' più complessi e il pensiero richiedeva spiegazioni lunghe e chiacchierone (come scrivere frasi complete per ogni passaggio), le sorti sono cambiate. La Indirect Supervision ha preso il comando. Perché? Perché era progettata per comprimere pensieri lunghi e disordinati in pochi brevi appunti. Il metodo Diretto ha faticato qui perché cercava di predire ogni singola parola della lunga spiegazione, e se commetteva un piccolo errore, l'intera catena di pensiero crollava. Era come cercare di copiare una lunga storia indovinando ogni parola; un errore di battitura rovina l'intero paragrafo.

Campo 3: La Vetta Realistica e Caotica.
Infine, i ricercatori hanno testato entrambi i metodi sui problemi più difficili e realistici: complessi enigmi matematici con centinaia di parole di ragionamento, proprio come scriverebbe un essere umano. È qui che la storia prende una piega triste. Entrambi i metodi, quello diretto e veloce e quello indiretto e attento, sono andati in crisi. Le loro prestazioni sono calate di circa il 65% rispetto al metodo standard di lasciare semplicemente che il robot scriva tutti i suoi pensieri.

Gli autori hanno scoperto che, su questi compiti lunghi e realistici, nessuno dei due metodi riusciva a gestire la complessità. Il metodo Diretto continuava a commettere piccoli errori matematici che si accumulavano, e il metodo Indiretto non riusciva a comprimere i pensieri lunghi e disordinati in modo abbastanza accurato. Si è scoperto che l'attuale "linguaggio segreto" della Catena di Pensiero Continua non è ancora pronto per il mondo reale. L'articolo suggerisce che i benchmark facili che usiamo per testare questi robot potrebbero starci mentendo, facendoli sembrare più intelligenti di quanto siano realmente quando affrontano problemi reali e disordinati.

In definitiva, l'articolo non dichiara un singolo vincitore. Invece, ci dice che, sebbene il nuovo metodo Diretto sia uno strumento fantastico e veloce per compiti semplici e strutturati, abbiamo ancora molta strada da fare prima che i robot possano pensare in codici segreti per problemi complessi del mondo reale. Il sogno di un robot che pensi veloce e in modo intelligente senza scrivere tutto è ancora un lavoro in corso.

Definizione del Problema
I Large Language Models (LLM) ottengono prestazioni elevate in compiti di ragionamento complesso generando lunghe tracce di Chain-of-Thought (CoT). Tuttavia, la generazione autoregressiva di queste sequenze verbiose di token comporta costi computazionali significativi durante l'inferenza. I metodi di Continuous Chain-of-Thought (ContinuousCoT) mirano a mitigare questo problema sostituendo i discreti token di ragionamento con una breve sequenza di rappresentazioni latenti dense. Gli approcci esistenti si dividono generalmente in due categorie: supervisione indiretta, che addestra i modelli a prevedere autoregressivamente i latenti che vengono successivamente decodificati o distillati (ad es. COCONUT, CODI), e supervisione diretta, che tenta di mappare le tracce di ragionamento direttamente negli spazi latenti (ad es. CoLaR).

I metodi indiretti soffrono di un addestramento sequenziale lento dovuto alla generazione autoregressiva dei latenti e spesso si affidano a complessi pipeline di distillazione. I metodi diretti, pur consentendo un addestramento parallelo, hanno storicamente incontrato sfide di ottimizzazione, come la modellazione di distribuzioni complesse sugli spazi latenti, e hanno mostrato un degrado delle prestazioni su tracce di ragionamento verbiose o realistiche rispetto al normale fine-tuning della CoT.

Metodologia: C-MTP
Gli autori introducono C-MTP (Continuous Chain-of-Thought via Multi-Token Prediction), un nuovo framework di supervisione diretta progettato per simulare il ragionamento latente continuo in modo più efficiente.

Concetto Core: Invece di modellare i latenti come distribuzioni gaussiane parametrizzate (come in CoLaR) o prevederli autoregressivamente (come nei metodi indiretti), C-MTP tratta un latente intermedio come un embedding di token aggregato di una porzione (span) di token dalla traccia CoT originale.
Obiettivo di Addestramento: Il modello viene addestrato utilizzando la Multi-Token Prediction (MTP). Data una traccia di ragionamento $y$ , questa viene suddivisa in span non sovrapponibili di $s$ token. Ogni span viene compresso in un singolo vettore latente $z_i$ tramite la media degli embedding dei token. Il modello viene quindi addestrato a prevedere i $s$ token che compongono ogni span latente in parallelo, condizionato dal prompt di input e dai latenti precedenti.
Funzione di Perdita: L'obiettivo combina una perdita di multi-token prediction (previsione dei token all'interno di ogni span) e una perdita standard di generazione della risposta. Gli autori impiegano anche un insegnante CoT per la distillazione della conoscenza ( $L_{KD}$ ) per guidare l'addestramento, sebbene gli studi di ablazione dimostrino che C-MTP rimane efficace anche senza di esso.
Inferenza: Durante la fase di ragionamento, il modello campiona $s$ token ad ogni passo, aggrega i loro embedding per formare il successivo latente e ripete il processo fino a quando non viene generato un token di fine-pensiero (end-of-thinking). Il modello passa poi alla generazione autoregressiva standard per la risposta finale.

Contributi Chiave

Framework C-MTP: Un nuovo metodo di supervisione diretta che utilizza la MTP per allineare il ragionamento latente continuo con gli obiettivi standard di pre-training, consentendo un addestramento completamente parallelo tramite teacher forcing.
Confronto Sistematico dei Regimi: Una valutazione empirica completa attraverso tre distinti regimi di tracce CoT:
- Strutturato: Espressioni matematiche compatte (ad es. GSM8k-Aug).
- Semi-Naturale: Spiegazioni in linguaggio naturale verbiose (ad es. GSM8k-Aug-NL).
- Realistico: Tracce lunghe e complesse generate da forti LLM (ad es. dataset MATH).
Identificazione delle Limitazioni: Il documento dimostra che, mentre C-MTP eccelle nei contesti strutturati, sia i metodi di supervisione diretta che quelli indiretti non riescono a eguagliare il normale fine-tuning della CoT (CoT-SFT) in compiti di ragionamento a lungo raggio e realistici.

Risultati Sperimentali

Tracce Strutturate (GSM8k-Aug): C-MTP supera significativamente gli esistenti metodi di supervisione diretta (CoLaR) in tutti i rapporti di compressione. Eguaglia o supera i metodi di supervisione indiretta (CODI) in termini di accuratezza, pur essendo più veloce (circa 2x di velocità di addestramento in più) e più efficiente in termini di campioni. C-MTP dimostra anche una superiore generalizzazione a strutture di problemi out-of-distribution rispetto all'addestramento sequenziale dei metodi indiretti.
Tracce Semi-Naturali (GSM8k-Aug-NL): Sulle tracce verbiose, la supervisione indiretta (CODI) supera i metodi diretti. Gli autori attribuiscono ciò alla natura di "compressione" dei metodi indiretti, che costringe il modello a scartare i token di riempimento (filler tokens), mentre i metodi diretti faticano con l'accumulo di errori quando sono costretti a prevedere intere tracce verbiose tramite teacher forcing.
Tracce Realistiche (MATH): Su compiti complessi con centinaia di token di ragionamento, entrambi i regimi di supervisione diretta e indiretta collassano, raggiungendo solo il ~30–35% dell'accuratezza della standard CoT-SFT. L'analisi rivela che gli errori nei primi passaggi di ragionamento (particolarmente nelle espressioni aritmetiche) si propagano in modo irreversibile, portando a risposte finali errate.

Significatività e Rivendicazioni
Il documento sostiene che gli attuali benchmark basati su tracce strutturate o semi-naturali sovrastimano l'utilità pratica dei metodi ContinuousCoT. Sebbene C-MTP offra una soluzione più efficiente ed efficace per i compiti di ragionamento strutturato, le limitazioni fondamentali della compressione di tracie di ragionamento lunghe e complesse in budget latenti fissi rimangono irrisolte. Gli autori suggeriscono che il progresso futuro potrebbe richiedere approcci ibridi che passino adattivamente tra il ragionamento basato su token e quello continuo, piuttosto che fare affidamento esclusivamente su un unico regime di supervisione. Il lavoro sottolinea la necessità di valutazioni su compiti realistici a lungo raggio per valutare realmente la fattibilità del ragionamento latente.

Articoli simili