🤖 machine learning

Real-Time Progress Prediction in Reasoning Language Models

Questo articolo indaga la fattibilità della previsione in tempo reale del progresso nei modelli linguistici di ragionamento dimostrando che gli stati nascosti codificano informazioni sul progresso e che i modelli affinati possono generare stime accurate del progresso, con i modelli più grandi che mostrano una maggiore stabilità delle etichette grazie a una ridotta variazione nella lunghezza residua della soluzione.

Autori originali: Hans Peter Lyngsøe Raaschou-Jensen, Constanza Fierro, Anders Søgaard

Pubblicato 2026-05-27

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Hans Peter Lyngsøe Raaschou-Jensen, Constanza Fierro, Anders Søgaard

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di chiedere a un robot molto intelligente, ma leggermente chiacchierone, di risolvere un problema matematico complesso. Invece di darti immediatamente la risposta, il robot inizia a "pensare ad alta voce", scrivendo una lunga catena di pensieri prima di dire finalmente: "La risposta è 2220".

Il problema? Mentre il robot pensa, potrebbero passare 10 secondi o 10 minuti. Non hai idea di quanto tempo debba ancora passare. È come guardare un film in cui lo schermo è nero e non sai se sei al 10% della trama o al 90%. Devi solo aspettare e sperare.

Questo articolo si chiede: Possiamo insegnare al robot a dirci, in tempo reale, quanto è avanzato? Come una barra di avanzamento per il download di un video, ma per il processo di pensiero del robot.

Ecco come i ricercatori hanno tentato di risolvere il problema, utilizzando semplici analogie:

1. Il test "Lettura della mente" (Stati nascosti)

Innanzitutto, i ricercatori si sono chiesti se il cervello del robot (i suoi stati interni "nascosti") sapesse già quanto fosse avanzato, anche se non lo diceva ad alta voce.

L'analogia: Immagina che il robot stia camminando in un labirinto buio. Anche se non può vedere l'uscita, forse i suoi passi (i dati interni) hanno un ritmo che ci dice quanto è vicino alla fine.
L'esperimento: Hanno costruito un semplice "decodificatore" (una sonda lineare) per ascoltare i pensieri interni del robot.
Il risultato: Il decodificatore poteva indovinare l'avanzamento circa il 30% delle volte. Non era perfetto, ma ha dimostrato che il robot porta effettivamente una certa sensazione di "quanto sono arrivato" dentro il suo cervello, anche se è un po' sfocata.

2. L'addestramento "Barra di avanzamento" (Fine-tuning)

Poiché il robot aveva una certa sensazione nascosta dell'avanzamento, i ricercatori hanno deciso di addestrarlo a dirlo effettivamente ad alta voce. Hanno insegnato al robot a inserire un piccolo tag come <progressbar> 45% </progressbar> ogni volta che completava un blocco di pensiero.

L'analogia: È come insegnare a un maratoneta a fermarsi ogni miglio e gridare: "Sono al 40%!" in modo che la folla sappia quando fare il tifo.
La sfida: Se dici semplicemente a un robot "di' 45%", potrebbe barare. Potrebbe rendersi conto che se dice "45%" alla 100esima parola, dovrebbe probabilmente dire "50%" alla 110esima parola, basandosi solo sul conteggio delle parole, non comprendendo realmente la matematica.
La soluzione: Hanno utilizzato una tecnica di "mascheramento". Durante l'addestramento, a volte hanno nascosto i precedenti rapporti di avanzamento del robot. Questo ha costretto il robot a guardare il problema matematico reale per indovinare il suo avanzamento, invece di contare semplicemente quante parole aveva scritto finora.

3. I risultati: Quanto era bravo il robot?

I ricercatori hanno testato questo su problemi matematici.

Il robot migliore: Il modello più grande (QWEN3-4B) è diventato piuttosto bravo in questo. La sua "barra di avanzamento" era sbagliata di circa il 16% in media (ad esempio, se diceva 50%, era effettivamente completato tra il 34% e il 66%).
Il confronto: Questo era meglio che indovinare semplicemente in base a quanto tempo richiede solitamente il problema.
Il rovescio della medaglia: Insegnare al robot a parlare del suo avanzamento a volte lo rendeva leggermente meno bravo a risolvere effettivamente i problemi matematici. È un compromesso: un robot che è ottimo nel dirti quando ha finito potrebbe essere leggermente più lento nel fare il lavoro.

4. Il problema del "Futuro nebbioso" (Ambiguità)

I ricercatori hanno notato anche qualcosa di interessante sulla natura del pensiero.

L'analogia: Immagina di scrivere una storia. A metà strada, potresti pensare: "Sono quasi finito". Ma poi, decidi di aggiungere un nuovo personaggio e improvvisamente la storia deve essere il doppio della lunghezza. Il tuo punto di "metà strada" era sbagliato perché il futuro era incerto.
La scoperta: Poiché il pensiero del robot è un po' casuale (potrebbe seguire un percorso diverso per arrivare alla risposta), il vero avanzamento è a volte sfocato. Tuttavia, i robot più grandi e intelligenti (QWEN3-4B) erano meno sfocati. Erano più coerenti nella lunghezza dei loro percorsi, rendendo le loro barre di avanzamento più affidabili.

Riepilogo

L'articolo dimostra che possiamo insegnare ai modelli di intelligenza artificiale a fornirci una "barra di avanzamento" in tempo reale mentre pensano.

Ha funzionato? Sì, i modelli hanno imparato a stimare il loro avanzamento con una ragionevole accuratezza.
È perfetto? No. A volte il robot sbaglia perché il percorso verso la risposta può cambiare, o perché sta semplicemente contando le parole invece di pensare.
Perché è importante? Aiuta gli umani a sapere quando smettere di aspettare e quando aspettarsi una risposta, trasformando una "scatola nera" di pensiero in qualcosa che possiamo osservare dall'interno.

I ricercatori concludono che, sebbene la tecnologia funzioni, è ancora una sfera di cristallo imperfetta, e i migliori risultati provengono da modelli più grandi e intelligenti che hanno meno probabilità di cambiare idea su quanto tempo richiederà un compito.

Riepilogo Tecnico: Previsione in Tempo Reale dei Progressi nei Modelli Linguistici di Ragionamento

Enunciato del Problema

I recenti modelli linguistici di ragionamento (Reasoning LM), in particolare quelli che utilizzano lunghe catene di pensiero latenti (CoT), hanno dimostrato prestazioni elevate in compiti agenziali complessi. Tuttavia, poiché questi modelli operano su orizzonti temporali sempre più lunghi, il loro progresso interno diventa opaco per gli utenti. Questa opacità crea sfide significative per l'interazione utente, specificamente riguardo alla gestione delle aspettative e alla supervisione in tempo reale. Gli utenti non possono determinare facilmente quanto tempo richiederà un compito o se il modello sta compiendo un reale progresso verso una soluzione. Sebbene alcuni lavori precedenti tentino di imporre budget di ragionamento fissi, questa strategia fallisce quando il budget richiesto non può essere inferito dalla sola query, portando potenzialmente a terminazioni premature o risposte errate.

La domanda fondamentale affrontata è se i Reasoning LM codifichino informazioni sulla loro distanza computazionale residua fino a una risposta finale all'interno dei loro stati nascosti, e se queste informazioni possano essere sfruttate per la previsione in tempo reale dei progressi.

Metodologia

Gli autori adottano un approccio a due fronti: sondaggio diagnostico di modelli esistenti e fine-tuning supervisionato (SFT) per generare rapporti espliciti sui progressi.

1. Sondaggio Diagnostico (Analisi degli Stati Nascosti)

Per determinare se le informazioni sui progressi siano intrinsecamente codificate nelle rappresentazioni del modello, gli autori hanno addestrato sonde lineari sugli stati nascosti intermedi.

Dataset: Circa 25.000 tracce di ragionamento matematico da OpenR1-Math.
Etichettatura: Il progresso del ragionamento è stato discretizzato in 10 bin (0–10%, 11–20%, ..., 91–100%) basati sulla posizione normalizzata del token ( $k/m$ ) all'interno di una traccia di lunghezza $m$ .
Architettura della Sonda: Sono state addestrate due tipologie di sonde lineari:
- $f_{token}$ : Prevede il bucket di progresso dallo stato nascosto del token corrente.
- $f_{q+token}$ : Prevede dalla concatenazione dello stato corrente e degli stati nascosti dei precedenti $n=2$ token.
Valutazione: Le prestazioni sono state misurate utilizzando l'accuratezza top-1 e l'Errore Assoluto Medio (MAE) sia su dati in dominio che su tracce lunghe fuori distribuzione (OOD, >16K token).

2. Fine-Tuning Supervisionato (Rapporti Espliciti sui Progressi)

Gli autori hanno indagato se una supervisione esplicita possa migliorare la stima dei progressi addestrando i modelli a outputare direttamente percentuali di progresso all'interno della CoT.

Costruzione dei Dati: Le tracce da OpenR1-Math sono state arricchite con token <progressbar> X% </progressbar> inseriti dopo i segmenti di paragrafo. Il valore di progresso $a_i$ è stato calcolato come il conteggio cumulativo dei token del segmento rispetto alla lunghezza totale della traccia.
Varianti di Addestramento:
- SFT Standard: I modelli sono stati fine-tunati utilizzando LoRA con perdita di entropia incrociata, aumentando il peso dei token all'interno delle annotazioni di progresso.
- Programma di Mascheramento: Per impedire ai modelli di affidarsi alla spaziatura regolare dei marcatori piuttosto che al contenuto del ragionamento, è stato applicato un programma di mascheramento in cui le precedenti annotazioni di progresso venivano mascherate casualmente durante l'addestramento (programma coseno da 0 a 0.5).
Modelli Valutati: DEEPSCALER-1.5B, QWEN3-0.6B e QWEN3-4B.
Baseline: I confronti sono stati effettuati contro baseline basate sulla posizione del token (Lunghezza media globale, Lunghezza media/mediana del compito) e una baseline "Marcatore precedente" che estrapola dai rapporti precedenti.

3. Analisi dell'Ambiguità Intrinseca

Per quantificare l'incertezza intrinseca nelle etichette di progresso, gli autori hanno misurato la dispersione dei valori di progresso su molteplici continuazioni stocastiche dallo stesso prefisso parziale.

Metrica: Deviazione Assoluta Media (MAD) e Deviazione Percentuale Assoluta Media (MAPD) dei valori di progresso realizzati ( $g_{i,\ell}$ ) su $r=8$ continuazioni campionate.

Risultati Chiave

Codifica negli Stati Nascosti

Le sonde lineari hanno dimostrato che gli stati nascosti contengono informazioni correlate alla posizione normalizzata della traccia, sebbene questo segnale non sia puramente semantico.

Accuratezza: Le sonde hanno raggiunto accuratezze significativamente superiori al caso (10%), con i migliori risultati in dominio che raggiungono ~35.9% (QWEN3-4B, livello intermedio).
Generalizzazione: Le prestazioni sono diminuite significativamente sulle tracce lunghe OOD, indicando difficoltà nella generalizzazione della lunghezza.
Interpretazione: Gli autori notano che questi risultati servono come "diagnostica della rappresentazione" piuttosto che come prova conclusiva del tracciamento semantico dei progressi, poiché le etichette sono derivate dalla posizione del token ( $k/m$ ).

Prestazioni nella Segnalazione dei Progressi

I modelli fine-tunati hanno imparato con successo a generare stime dei progressi, con prestazioni che variano in base alla dimensione del modello e alla strategia di addestramento.

Migliori Prestazioni: Il checkpoint QWEN3-4B mascherato ha ottenuto i risultati più forti, con un MAE di 0.161 sulle tracce di ragionamento matematico e 0.157 sul set fuori dominio BBEH (Big-Bench Extra Hard).
Effetto del Mascheramento: Il mascheramento ha generalmente migliorato la qualità della previsione dei progressi (MAE inferiore), ma ha talvolta comportato un compromesso con l'accuratezza del compito a valle. Ad esempio, il QWEN3-4B mascherato ha avuto un'accuratezza macro leggermente inferiore sui benchmark matematici rispetto alla controparte non mascherata, ma una stima dei progressi significativamente migliore.
Confronto con le Baseline: Sui benchmark matematici, i migliori checkpoint progress-SFT hanno superato le baseline basate sulla posizione del token in aggregato. Tuttavia, su BBEH, le semplici baseline basate sulla lunghezza sono state altamente competitive, suggerendo che le stime dei progressi fuori dominio possano fare affidamento pesantemente su regolarità strutturali piuttosto che su ragionamento sensibile al contenuto.

Ambiguità Intrinseca

Lo studio ha quantificato il "rumore" intrinseco nel ragionamento stocastico.

Dispersione: QWEN3-4B ha mostrato la dispersione di rollout più bassa (MAD = 0.027), seguito da DEEPSCALER-1.5B (0.059) e QWEN3-0.6B (0.065).
Correlazione: Il modello con la dispersione più bassa (QWEN3-4B) ha anche ottenuto il MAE di previsione più basso. Ciò suggerisce che i modelli più grandi possono rendere le etichette di progresso più stabili riducendo la variazione nella lunghezza residua della soluzione.
Divario: Il MAE osservato rimane superiore alla dispersione intrinseca (MAD), indicando che, sebbene la stocasticità spieghi parte dell'errore, c'è ancora spazio per il miglioramento negli algoritmi di stima.

Significato e Affermazioni

Il paper afferma quattro contributi principali:

Visibilità in Tempo Reale: Introduce un framework per la previsione in tempo reale dei progressi nei Reasoning LM, offrendo una potenziale soluzione all'opacità delle lunghe traiettorie di ragionamento.
Evidenza di Rappresentazione: Dimostra che i modelli di ragionamento codificano informazioni relative ai progressi nelle loro rappresentazioni interne, come dimostrato dal successo delle sonde lineari.
Integrazione Diretta: Mostra che la segnalazione dei progressi può essere incorporata direttamente nel processo di generazione tramite SFT, con il checkpoint mascherato QWEN3-4B che raggiunge un MAE di 0.161 sulle tracce matematiche.
Quantificazione dell'Ambiguità: Quantifica l'ambiguità intrinseca delle etichette di progresso misurando la dispersione del rollout, scoprendo che i modelli più grandi (QWEN3-4B) producono stime di progresso più stabili a causa della ridotta variazione nelle lunghezze residue della soluzione.

Gli autori mantengono una posizione modesta, riconoscendo che i segnali di progresso sono spesso legati alla posizione del token e alle regolarità della lunghezza della traccia piuttosto che a una comprensione puramente semantica. Notano che, sebbene i rapporti sui progressi siano parsabili e numericamente allineati fuori dominio, la loro interpretazione deve essere relativa ai controlli strutturali. Lo studio è limitato a tre modelli compatti e principalmente al ragionamento matematico, con prestazioni di previsione che peggiorano su tracce più lunghe della distribuzione di addestramento.