💬 NLP

GTS: Inference-Time Scaling of Latent Reasoning with a Learnable Gaussian Thought Sampler

Il paper propone il Gaussian Thought Sampler (GTS), un modulo leggero che ottimizza il scaling del ragionamento latente a tempo di inferenza sostituendo le perturbazioni euristica con un campionamento probabilistico esplicito e apprendibile, ottenendo risultati più affidabili rispetto ai metodi basati su rumore fisso.

Autori originali: Minghan Wang, Ye Bai, Thuy-Trang Vu, Ehsan Shareghi, Gholamreza Haffari

Pubblicato 2026-03-19

📖 4 min di lettura☕ Lettura da pausa caffè

CC BY 4.0

Autori originali: Minghan Wang, Ye Bai, Thuy-Trang Vu, Ehsan Shareghi, Gholamreza Haffari

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di avere un genio matematico (un'intelligenza artificiale) che deve risolvere un problema complesso. Quando gli dai un compito, il genio non ti risponde subito con una sola soluzione. Invece, prova a pensare a diverse strade mentali, come se stesse esplorando un labirinto, per trovare quella giusta.

Questo processo si chiama "Inference-Time Scaling" (scalare il tempo di ragionamento): più strade provi, più è probabile che ne trovi una corretta.

Il problema, secondo questo studio, è che finora abbiamo usato metodi un po' "alla cieca" per far provare al genio nuove strade. È come se gli dicessimo: "Ehi, prova a pensare in modo un po' più confuso!" o "Dimentica un po' di cose mentre pensi!". A volte funziona, ma spesso il genio diventa solo più confuso e perde la strada giusta, o peggio, gira in tondo senza mai uscire dal labirinto.

Ecco come il paper propone di risolvere il problema con il loro nuovo metodo, chiamato GTS (Gaussian Thought Sampler).

1. Il Problema: Il "Rumore" Casuale

Immagina che il ragionamento del genio sia come camminare su un sentiero di montagna.

I metodi vecchi (Dropout/Rumore fisso): Sono come se qualcuno ti desse un calcio alle caviglie ogni tanto per farti deviare.
- Se il calcio è troppo debole, non ti sposti mai dal sentiero principale (non scopri nuove strade).
- Se il calcio è troppo forte, ti butti giù dalla scogliera o ti perdi nel bosco (il ragionamento diventa inutile).
- Il problema è che non sai quando e quanto forte dare il calcio. È tutto a caso.

2. La Soluzione: GTS (Il "Navigatore Intelligente")

Gli autori hanno creato un piccolo assistente, chiamato GTS, che si siede accanto al genio mentre pensa. Invece di dargli calci a caso, GTS osserva la situazione e decide esattamente dove e quanto spingere il genio per esplorare nuove strade utili.

Ecco come funziona, passo dopo passo:

Non è un caso, è una scelta: GTS non aggiunge rumore a caso. Impara a prevedere un "distribuzione di probabilità". Immagina che GTS abbia una mappa mentale che gli dice: "In questo punto del ragionamento, se spostiamo il pensiero di un po' verso sinistra, potremmo trovare una soluzione migliore. Se lo spostiamo troppo a destra, ci perdiamo."
Impara dall'esperienza: GTS viene addestrato come un allenatore sportivo. Fa provare al genio 32 diverse strade (32 "pensieri" diversi).
- Se una strada porta alla soluzione giusta, GTS riceve un premio e pensa: "Ok, la prossima volta, in situazioni simili, spingiamo un po' in quella direzione!"
- Se una strada porta a un vicolo cieco, GTS impara: "No, quella direzione non funziona."
Il Genio rimane lo stesso: Il genio (il modello di base) non viene modificato. È come se avessimo un'auto potente ma con un guidatore un po' rigido. GTS è il navigatore GPS che dice al guidatore: "Ehi, invece di andare dritto, prova a girare qui, c'è un'uscita migliore!".

3. Perché è meglio?

Fino ad ora, per esplorare nuove idee, si usava un "metodo del lancio della moneta" (aggiungere rumore casuale).

Metodo vecchio: "Lancia la moneta: se esce testa, pensa un po' più in alto; se esce croce, pensa un po' più in basso." Spesso si finisce per pensare cose che non hanno senso.
Metodo GTS: "Ho notato che quando il problema è difficile, spostare il pensiero di 0.5 gradi verso l'alto funziona sempre. Facciamo quello."

L'Analogia Finale: Il Pittore e il Vento

Immagina un pittore che sta dipingendo un quadro (risolvendo un problema).

I metodi vecchi sono come aprire una finestra e far entrare una raffica di vento casuale. A volte il vento sposta il pennello in modo interessante, ma spesso rovescia il colore o sporca il quadro. Più forte è il vento, più il quadro è rovinato.
GTS è come un assistente che tiene il pennello. Non lo lascia andare a caso. Osserva il quadro e, con delicatezza, sposta il pennello di una frazione di millimetro nella direzione esatta dove serve un nuovo colore per rendere il quadro più bello.

In Sintesi

Il paper ci insegna che per far ragionare meglio le intelligenze artificiali, non basta farle "pensare in modo più casuale" o "più rumoroso". Bisogna insegnare loro a esplorare in modo intelligente.

Il GTS è quel piccolo strumento che trasforma il caos casuale in un'esplorazione guidata, permettendo all'AI di trovare soluzioni migliori senza dover essere riaddestrata da zero, semplicemente imparando a fare le "domande giuste" al momento giusto durante il suo processo di pensiero.

1. Il Problema: Limiti dello Scaling a Tempo di Inferenza (ITS) nei Modelli di Ragionamento Latente

L'Inference-Time Scaling (ITS) è una strategia fondamentale per migliorare le capacità di ragionamento dei Large Language Models (LLM) allocando più risorse computazionali durante la fase di test per generare e selezionare multiple traiettorie di ragionamento.

Modelli Discreti (Token-based): Nei modelli tradizionali, l'ITS si basa su distribuzioni condizionali esplicite sui token successivi (es. temperature scaling, nucleus sampling). Questi metodi permettono un campionamento probabilistico ben definito.
Modelli a Ragionamento Continuo (Latent Reasoning): I modelli recenti (come COCONUT e CODI) eseguono il ragionamento direttamente nello spazio degli stati nascosti (hidden states) senza generare token intermedi. Questo aumenta l'efficienza, ma rimuove le distribuzioni di probabilità esplicite sui token.
La Sfida Attuale: Per introdurre diversità e permettere l'esplorazione in questi spazi continui, i metodi attuali utilizzano perturbazioni euristica (es. dropout o rumore gaussiano fisso).
- Limitazione Principale: Le perturbazioni euristica non definiscono una distribuzione di campionamento condizionale esplicita.
- Conseguenza: Non esiste un controllo ottimizzabile sulla qualità dell'esplorazione. Aumentare l'intensità del rumore non garantisce un miglioramento; spesso porta a uno spostamento della distribuzione (distribution shift) che allontana il modello dalle regioni utili per la risposta corretta, causando una sotto-esplorazione (rumore troppo debole) o una sovrapposizione (rumore troppo forte che distrugge l'informazione).

2. Metodologia: Gaussian Thought Sampler (GTS)

Gli autori propongono il Gaussian Thought Sampler (GTS), un modulo leggero che riformula l'esplorazione latente come un problema di campionamento condizionale da una distribuzione appresa.

Architettura e Funzionamento

Modulo Apprendibile: GTS è un piccolo MLP (Multi-Layer Perceptron) che prende lo stato nascosto deterministico del modello base ( $h^{det}_k$ ) e predice i parametri di una distribuzione gaussiana condizionale: media ( $\mu$ ) e deviazione standard ( $\sigma$ ).
Campione Condizionale: Invece di aggiungere rumore fisso, il sistema campiona una perturbazione $z_k$ da $\mathcal{N}(\mu_\phi(c_k), \text{diag}(\sigma^2_\phi(c_k)))$ , dove $c_k$ è il contesto (lo stato latente corrente).
Stato Perturbato: Lo stato latente viene aggiornato come $\tilde{h}_k = h^{det}_k + z_k$ .
Backbone Congelato: I parametri del modello di ragionamento latente originale rimangono fissi; solo il campionatore GTS viene addestrato.

Addestramento con Reinforcement Learning (RL)

Poiché la qualità di una traiettoria dipende dalla risposta finale (non differenziabile rispetto ai parametri del campionatore), GTS viene addestrato utilizzando un approccio simile a GRPO (Group Relative Policy Optimization):

Rollout: Per ogni input, vengono generate $N$ traiettorie di perturbazione.
Reward Design: La ricompensa è basata sulla correttezza della risposta finale e su un termine di "shaping" basato sulla confidenza (log-probabilità normalizzata della risposta).
- $r = r_0(2 \cdot \mathbb{I}[\text{corretto}] - 1) + \alpha \cdot s(\text{confidenza})$ .
Ottimizzazione: Si massimizza la probabilità di generare traiettorie che portano a risposte corrette, utilizzando un rapporto di densità rispetto a una politica di riferimento (EMA) e una penalità KL per evitare il collasso della politica.

3. Contributi Chiave

Identificazione del Limite delle Euristica: Dimostrano che nelle tecniche di ITS latente, l'iniezione di stocasticità non è sufficiente. La qualità del campionamento è più importante della semplice diversità; le perturbazioni fisse spesso spostano la distribuzione senza migliorare la decisione.
Riformulazione come Campionamento Condizionale: Trasformano l'esplorazione da un processo euristico a una politica di campionamento probabilistica esplicita e ottimizzabile.
Validazione Empirica: Dimostrano che un campionatore appreso supera costantemente le basi euristica (dropout e rumore gaussiano fisso) su più architetture e benchmark.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su due modelli di ragionamento latente (COCONUT basato su GPT-2 e CODI basato su LLaMA-3.2-1B) e su diversi benchmark matematici (GSM8K, MultiArith, SVAMP, GSM8K-Hard).

Scaling Performance (Pass@N): GTS mostra una crescita della performance (Pass@N) molto più robusta all'aumentare del budget di campionamento ( $N$ ) rispetto alle basi. Mentre le perturbazioni fisse (specialmente quelle forti) tendono a degradare le prestazioni o a stabilizzarsi precocemente, GTS continua a migliorare.
Qualità del Campionamento (Sampling Quality):
- Sampling Gain (SG): GTS ottiene un guadagno significativo nella probabilità log-odds della risposta corretta rispetto alla traiettoria deterministica.
- Distribution Shift: GTS mantiene uno spostamento della distribuzione (misurato con JS Divergence) controllato e utile, a differenza delle perturbazioni forti che causano grandi spostamenti senza benefici.
Generalizzazione: I risultati si mantengono coerenti anche su dati fuori distribuzione (Out-of-Distribution), indicando che la politica di perturbazione appresa è robusta e non sovradattata al dataset di training.
Analisi del Segnale-Rumore (SNR): L'analisi mostra che GTS adatta dinamicamente il rapporto tra componente deterministica e stocastica a seconda dello step di ragionamento e dell'architettura del modello, evitando schemi fissi.

5. Significato e Implicazioni

Il lavoro di Wang et al. segna un cambio di paradigma nel ragionamento latente:

Dall'Intuizione alla Teoria: Sposta l'ITS da un approccio basato su "prova ed errore" con parametri euristici (come la forza del dropout) a un approccio basato su politiche di campionamento ottimizzabili.
Controllo dell'Esplorazione: Dimostra che per scalare efficacemente il ragionamento in spazi continui, non serve più rumore, ma un rumore guidato dal contesto.
Efficienza: GTS è un modulo leggero che non richiede il ri-addestramento del modello base, rendendolo una soluzione pratica e scalabile per migliorare le capacità di ragionamento degli LLM esistenti senza costi computazionali eccessivi durante l'addestramento.

In sintesi, il paper conclude che l'efficacia dello scaling a tempo di inferenza nei modelli latenti dipende dalla capacità di controllare e ottimizzare il processo di esplorazione, piuttosto che semplicemente amplificare la stocasticità.