💬 NLP

Parallel Test-Time Scaling for Latent Reasoning Models

Questo lavoro abilita il parallelismo nel test-time scaling per modelli di ragionamento latente introducendo strategie stocastiche per il campionamento e un modello di ricompensa latente per l'aggregazione dei percorsi, aprendo così nuove direzioni per l'inferenza scalabile negli spazi continui.

Autori originali: Runyang You, Yongqi Li, Meng Liu, Wenjie Wang, Liqiang Nie, Wenjie Li

Pubblicato 2026-04-21

📖 4 min di lettura☕ Lettura da pausa caffè

CC BY 4.0

Autori originali: Runyang You, Yongqi Li, Meng Liu, Wenjie Wang, Liqiang Nie, Wenjie Li

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina che i Modelli Linguistici (LLM) siano come dei geni matematici che devono risolvere problemi complessi. Fino a poco tempo fa, per risolvere un problema difficile, questi geni dovevano "parlare ad alta voce", scrivendo ogni singolo passaggio del ragionamento su un foglio di carta (questo si chiama Chain-of-Thought o "Catena di Pensiero"). È come se dovessero scrivere un intero libro per fare una semplice divisione: funziona, ma è lento e occupa molta carta.

Recentemente, gli scienziati hanno scoperto un modo migliore: far pensare il modello in silenzio, direttamente nella sua "mente" (lo spazio latente), senza scrivere nulla. È come se il genio facesse i calcoli nella testa: è molto più veloce e compatto.

Il Problema:
C'era però un grosso limite. Quando il modello pensava ad alta voce (scrivendo), potevamo chiedergli di provare 100 soluzioni diverse contemporaneamente e poi scegliere la migliore (come se avessi 100 amici che provano a risolvere lo stesso puzzle e scegliamo quello che ha ragione). Questo si chiama Test-Time Scaling (scalare il tempo di calcolo).
Ma quando il modello pensa in silenzio (nella sua mente), non poteva farlo! Non aveva un modo per generare "variazioni" del pensiero silenzioso, né un modo per capire quale di quei pensieri silenziosi fosse il migliore prima di arrivare alla risposta finale. Era come avere un genio che pensa in silenzio, ma che può fare solo un tentativo alla volta.

La Soluzione del Paper:
Gli autori di questo studio (presentato alla conferenza ACL 2026) hanno inventato un sistema per far fare al modello molteplici tentativi in silenzio e poi scegliere il migliore. Lo hanno fatto in due passi magici:

1. Come far pensare il modello in "diversi modi" (Il Campionamento)

Per far sì che il modello provi diverse strade mentali senza scrivere, hanno usato due trucchi basati sull'incertezza:

Il Trucco del "Dimentico" (Monte Carlo Dropout): Immagina di far pensare il modello mentre gli fai indossare un cappello che gli copre un occhio a caso ogni volta che pensa. A volte gli copre l'occhio sinistro, a volte il destro. Questo lo costringe a usare strategie diverse per vedere lo stesso problema. È come se il modello avesse un po' di "dubbio" sulla sua conoscenza, e quel dubbio lo spinge a esplorare soluzioni creative e non convenzionali.
Il Trucco del "Vento" (Rumore Gaussiano): Immagina di soffiare un po' di vento leggero sui pensieri del modello. Ogni volta che pensa, il vento sposta leggermente i suoi pensieri in una direzione casuale. Questo non cambia la direzione principale, ma crea una "nuvola" di possibilità intorno alla soluzione originale, esplorando tutto l'area circostante.

Risultato: Invece di un solo pensiero silenzioso, ora ne abbiamo 100 (o più), ognuno leggermente diverso dall'altro, come se avessimo 100 versioni del genio che pensano in parallelo.

2. Come scegliere il pensiero migliore (L'Aggregazione)

Ora abbiamo 100 pensieri silenziosi. Come facciamo a sapere quale è il migliore senza aspettare la risposta finale?
Hanno creato un Giudice Silenzioso (chiamato Latent Reward Model).

L'Analogia: Immagina che il modello stia scrivendo un romanzo a puntate. Il Giudice Silenzioso non aspetta la fine del libro per dire se è bello. Guarda ogni singolo capitolo (ogni passaggio del pensiero) e dice: "Questo capitolo sembra promettente" oppure "Qui il ragionamento sta andando nel muro".
Questo Giudice è stato addestrato a riconoscere i "pensieri giusti" confrontando le varie opzioni. Quindi, mentre il modello genera i suoi 100 percorsi mentali, il Giudice li valuta in tempo reale e ci dice: "Lascia perdere i percorsi 1, 2 e 5, concentrati sul percorso 3 che sembra il più intelligente!".

Perché è importante?

Questo lavoro è rivoluzionario perché:

Velocità: Permette di usare la potenza del "pensiero parallelo" (provare tante soluzioni) anche quando il modello pensa in silenzio, rendendo tutto molto più veloce rispetto alla scrittura tradizionale.
Intelligenza: Il modello diventa più bravo a risolvere problemi difficili perché può esplorare più strade mentali senza sprecare tempo a scriverle.
Flessibilità: Funziona bene sia con modelli piccoli che con quelli grandi, e si adatta a problemi di matematica complessa.

In sintesi:
Prima, per far diventare un'intelligenza artificiale più intelligente, dovevamo farle scrivere di più (più parole = più tempo). Ora, grazie a questo studio, possiamo farle pensare di più (più tentativi mentali paralleli) in modo silenzioso, veloce e intelligente, usando un "Giudice" interno per scegliere la strada migliore. È come passare dal far scrivere a mano 100 bozze di un discorso, al far immaginare 100 discorsi diversi in un secondo e scegliere quello perfetto istantaneamente.

1. Il Problema

I Large Language Models (LLM) hanno dimostrato che l'aumento della potenza di calcolo durante l'inferenza (Test-Time Scaling o TTS) migliora significativamente le capacità di ragionamento. Le tecniche attuali si basano principalmente sul ragionamento esplicito (Chain-of-Thought o CoT), dove il modello genera sequenze di token verbali. In questo contesto, lo scaling parallelo funziona campionando multiple traiettorie di ragionamento e aggregando i risultati (es. tramite votazione a maggioranza o Best-of-N).

Tuttavia, una nuova generazione di modelli, i Modelli di Ragionamento Latente, esegue il ragionamento in uno spazio vettoriale continuo (spazio latente) invece che tramite token discreti. Questo approccio è più efficiente e compatto, ma presenta due ostacoli fondamentali per l'applicazione dello Parallel TTS:

Mancanza di meccanismi di campionamento: A differenza dei modelli basati su token che hanno una distribuzione di probabilità sui vocaboli (logits) per il campionamento stocastico (es. top-k, nucleus sampling), i modelli latenti operano su vettori continui senza una distribuzione di probabilità esplicita, rendendo difficile generare percorsi di ragionamento diversi.
Mancanza di segnali probabilistici per l'aggregazione: Senza token e probabilità associate, non è possibile valutare o ordinare le diverse traiettorie latenti generate per selezionare quella migliore.

2. Metodologia

Gli autori propongono un framework che abilita lo scaling parallelo per i modelli di ragionamento latente risolvendo i due problemi sopra citati attraverso due componenti principali:

A. Campionamento Stocastico nello Spazio Latente

Per introdurre la diversità necessaria al campionamento parallelo, l'articolo propone due strategie ispirate alla teoria dell'incertezza:

Monte Carlo Dropout (MC-Dropout): Per catturare l'incertezza epistemica (legata alla conoscenza limitata del modello). Mantenendo attivo il dropout durante l'inferenza e campionando diverse maschere binarie, si ottengono diverse configurazioni di pesi, generando traiettorie latenti diverse che riflettono l'incertezza del modello.
Additive Gaussian Noise (AGN): Per simulare l'incertezza aleatoria (rumore intrinseco). Si aggiunge rumore gaussiano isotropo direttamente ai vettori latenti a ogni passo di ragionamento. Questo permette di esplorare lo spazio latente in modo controllato senza alterare i pesi del modello.

B. Aggregazione delle Traiettorie: Latent Reward Model (LatentRM)

Poiché non esistono probabilità naturali per ordinare le traiettorie latenti, gli autori introducono il Latent Reward Model (LatentRM).

Architettura: Un modello di reward dedicato che prende in input il prompt e la traiettoria latente parziale fino al passo $t$ , e restituisce un punteggio scalare.
Obiettivo di Addestramento: Viene addestrato con un obiettivo contrastivo passo-passo. Invece di classificare ogni pensiero in modo isolato (come nei Process Reward Models tradizionali), il modello confronta i punteggi di tutti i candidati ( $N$ ) allo stesso passo di ragionamento tramite una funzione softmax. Questo permette un apprendimento fine-granulare e sensibile alla posizione, guidando la selezione delle traiettorie più promettenti.
Strategie di Aggregazione: Una volta addestrato, il LatentRM permette di utilizzare strategie come Best-of-N (selezionare la traiettoria con il punteggio cumulativo più alto) e Beam Search guidato dal reward.

3. Contributi Chiave

Estensione dello Scaling Parallelo al Ragionamento Latente: Per la prima volta, le tecniche di Test-Time Scaling parallelo, finora riservate ai modelli basati su token, vengono adattate con successo ai modelli di ragionamento in spazio continuo.
Soluzioni per il Campionamento Continuo: Introduzione di MC-Dropout e AGN come strategie complementari per generare diversità stocastica in assenza di distribuzioni di probabilità sui token.
Latent Reward Model (LatentRM): Sviluppo di un meccanismo di valutazione specifico per i vettori latenti, addestrato con un obiettivo contrastivo passo-passo, che abilita l'aggregazione efficace delle traiettorie.
Analisi delle Dinamiche di Esplorazione: Dimostrazione che MC-Dropout favorisce un'espansione strutturata e direzionale (utile per problemi difficili), mentre AGN offre un'esplorazione isotropa e robusta (utile per mantenere la qualità sotto alto rumore).

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su benchmark di ragionamento matematico (GSM8K, GSM8K-Hard, MultiArith) utilizzando diversi modelli latenti (COCONUT, CODI, CoLaR, Latent-SFT, Render-of-Thought) con dimensioni fino a 4B parametri.

Efficacia dello Scaling: Sia MC-Dropout che AGN mostrano un aumento monotono della copertura (percentuale di problemi risolti correttamente) all'aumentare del numero di campioni ( $N$ ).
Dinamiche di Diversità:
- MC-Dropout: Mostra prestazioni superiori nella maggior parte dei casi, specialmente su problemi difficili, grazie a un'esplorazione più strutturata che si adatta all'incertezza del modello.
- AGN: Mantiene una buona copertura anche con livelli di rumore elevati, offrendo una maggiore robustezza.
Aggregazione: L'uso di LatentRM con strategie Best-of-N e Beam Search supera significativamente la votazione a maggioranza (baseline non parametrica), confermando che il modello di reward impara efficacemente a distinguere le traiettorie corrette.
Generalizzazione: Il framework funziona bene su modelli di diverse dimensioni (da 124M a 4B parametri) e architetture, dimostrando robustezza.
Efficienza: Rispetto al ragionamento esplicito (CoT), il ragionamento latente con TTS offre un miglior compromesso tra accuratezza e costo computazionale (meno passi di decodifica per ottenere risultati simili o migliori).

5. Significato e Impatto

Questo lavoro apre una nuova direzione per l'inferenza scalabile nello spazio continuo. Dimostra che i modelli di ragionamento latente, spesso considerati "scatole nere" difficili da controllare, possono beneficiare delle stesse tecniche di scaling parallelo che hanno rivoluzionato i modelli basati su token.

Le implicazioni principali sono:

Efficienza Computazionale: Offre una via per ottenere ragionamenti complessi con un costo computazionale inferiore rispetto al CoT esplicito, mantenendo la capacità di scalare con più risorse di inferenza.
Nuove Frontiere di Ricerca: Stabilisce le basi per future ricerche sull'integrazione di campionamento e aggregazione in framework di Reinforcement Learning per l'ottimizzazione iterativa delle traiettorie latenti.
Comprensione del Ragionamento: Le analisi visive (t-SNE) rivelano come diverse strategie stocastiche modellino il "paesaggio" del ragionamento latente, offrendo intuizioni su come i modelli esplorano soluzioni diverse.

In sintesi, il paper risolve il problema fondamentale di come "scalare" il ragionamento in modelli che non usano parole, fornendo gli strumenti teorici e pratici per sfruttare la potenza di calcolo aggiuntiva in spazi vettoriali continui.