🤖 AI

Policy of Thoughts: Scaling Test-Time Training for LLM Reasoning via Online Policy Evolution

Il documento introduce la Policy of Thoughts (PoT), un framework che potenzia il ragionamento dei modelli linguistici di grandi dimensioni trattando l'esecuzione durante il test come un processo di ottimizzazione online in cui un adattatore LoRA transitorio viene aggiornato dinamicamente tramite la Group Relative Policy Optimization per interiorizzare il feedback ed evolvere la strategia di ragionamento del modello, permettendo a un modello da 4B di superare significativamente modelli allo stato dell'arte molto più grandi in complessi benchmark di programmazione.

Autori originali: Zhengbo Jiao, Hongyu Xian, Qinglong Wang, Yunpu Ma, Zhebo Wang, Zifan Zhang, Dezhang Kong, Meng Han

Pubblicato 2026-07-16

📖 6 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Zhengbo Jiao, Hongyu Xian, Qinglong Wang, Yunpu Ma, Zhebo Wang, Zifan Zhang, Dezhang Kong, Meng Han

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di cercare di risolvere un puzzle incredibilmente difficile, come una complessa sfida di programmazione o un problema matematico che richiede una lunga catena di pensiero. Hai un assistente super intelligente (un Large Language Model) che conosce molti fatti ma a volte si incastra in un loop, ripetendo gli stessi errori continuamente. Nel mondo dell'intelligenza artificiale, questo assistente di solito lavora con un cervello "congelato": una volta iniziata a pensare, non può cambiare la sua strategia fondamentale a metà percorso. Se prende una strada sbagliata, continua a percorrere quella strada errata, sperando di imboccare la strada giusta per pura fortuna o provando molte strade diverse contemporaneamente. Questo è come cercare di trovare l'uscita da un labirinto correndo ciecamente lungo ogni corridoio finché non si sbatte contro un muro, invece di imparare dalle pareti contro cui si è già urtato.

Per molto tempo, il modo migliore per risolvere questi problemi difficili è stato semplicemente dare al computer più tempo e potenza di calcolo per tentare milioni di diversi tentativi. Ma questo articolo suggerisce un modo più intelligente: invece di provare solo con più forza, il computer dovrebbe imparare mentre ci prova. Pensa a un personaggio di un videogioco che non si limita a rinascere e riprovare, ma impara effettivamente dalla specifica trappola che lo ha appena ucciso, regolando la sua strategia istantaneamente per il tentativo successivo. I ricercatori dietro questo studio si stanno chiedendo: e se la nostra IA potesse "pensare in piedi", aggiornando le proprie regole di ragionamento in tempo reale in base al fatto che i suoi tentativi precedenti siano falliti o abbiano avuto successo? Questa è la differenza tra un robot che segue semplicemente uno script e uno che adatta ed evolve il proprio cervello per ogni singola nuova sfida che affronta.

La "Policy of Thoughts": Insegnare all'IA a Imparare Mentre Gioca

Incontra PoT (Policy of Thoughts), un nuovo framework che tratta la risoluzione di un problema non come un tentativo singolo, ma come una conversazione viva ed evolutiva tra l'IA e il problema stesso. Gli autori, un team di ricercatori provenienti da università come la Zhejiang University e la LMU Monaco, sostengono che il vecchio modo di fare — dove la strategia dell'IA rimane congelata mentre cerca le risposte — ci stia frenando. Propongono un sistema in cui l'IA ottiene una "seconda possibilità" di imparare dai propri fallimenti durante il test, addestrando efficacementamente se stessa al volo.

Il Puzzle Popperiano: Indovina, Testa ed Evolvi

L'idea centrale si ispira a un famoso filosofo di nome Karl Popper, che credeva che la scienza progredisse attraverso "congetture e confutazioni". In parole semplici, questo significa che fai un'ipotesi, la testi contro la realtà e, se fallisce, impari esattamente perché è fallita per poter fare un'ipotesi migliore la prossima volta.

PoT dà vita a questa filosofia per l'IA. Ecco come funziona il ciclo:

La Congettura (L'Ipotesi): L'IA guarda un problema e genera alcune diverse possibili soluzioni (come abbozzare tre diversi percorsi su una mappa).
La Confutazione (Il Controllo della Realtà): Il sistema esegue queste soluzioni in un ambiente reale (come un compilatore di codice). Se il codice va in crash o fornisce la risposta errata, quella è una "confutazione".
L'Evoluzione (L'Apprendimento): Questa è la parte magica. Invece di buttare via semplicemente l'ipotesi fallita, PoT usa il fallimento per aggiornare la "policy" interna dell'IA (la sua strategia di pensiero). Apporta piccoli aggiustamenti istantanei al modo in cui l'IA pensa, specificamente per questo problema.
La Ripetizione: L'IA riprova con il suo cervello appena aggiornato, ora meglio equipaggiato per evitare l'errore specifico che ha appena commesso.

Il Trucco del "Cervello Temporaneo"

Potresti chiederti: "Se l'IA impara da ogni problema, non si confonderà o dimenticherà ciò che sapeva prima?". Gli autori hanno una soluzione intelligente. Usano una tecnica chiamata LoRA (Low-Rank Adaptation), che è come dare all'IA un "cappello del pensiero" temporaneo e staccabile.

Immagina che l'IA abbia una biblioteca di conoscenze massiccia e permanente (il suo modello base). Quando affronta un problema difficile, indossa un "cappello del pensiero" speciale e leggero (l'adattatore LoRA). Questo cappello permette all'IA di imparare rapidamente e adattare la sua strategia per questo specifico puzzle. Una volta risolto il puzzle (o terminato il tempo), il cappello viene tolto e gettato via. La biblioteca permanente rimane intatta e non confusa. Questo significa che l'IA può essere una maestra dell'adattamento per ogni singolo nuovo problema senza sconvolgere la sua conoscenza generale.

I Risultati: Un Cervello Piccolo, Grandi Vittorie

I ricercatori hanno testato questa idea su sfide di programmazione, che sono notoriamente difficili perché richiedono una logica precisa, passo dopo passo. Hanno utilizzato un modello di IA relativamente piccolo (solo 4 miliardi di parametri) e gli hanno fornito il framework PoT.

I risultati sono stati sorprendenti. Questo minuscolo modello, usando PoT, è riuscito a risolvere il 49,71% dei problemi di un benchmark impegnativo chiamato LiveCodeBench V6. Per mettere le cose in prospettiva:

Ha battuto GPT-4o, un modello commerciale massiccio, che ha ottenuto un punteggio del 29,71% su quello stesso benchmark specifico.
Ha superato significativamente la performance di base di altri grandi modelli su questo test specifico, dimostrando che un modello piccolo con apprendimento dinamico può superare il ragionamento statico di sistemi molto più grandi.
Sebbene modelli come Gemini-2.5-Flash (60,91% complessivo) e Claude-Opus-4 (55,22% complessivo) abbiano ottenuto punteggi più alti in benchmark più ampi e misti, il 49,71% del modello potenziato da PoT su il rigoroso LiveCodeBench V6 rappresenta un salto enorme per un modello oltre 50 volte più piccolo, provando che il ragionamento adattivo può colmare il divario con i giganti su compiti specifici e complessi.

Ancora più impressionante è che il modello potenziato da PoT è oltre 50 volte più piccolo di alcuni dei giganti modelli con cui compete. Non ha vinto avendo un cervello più grande; ha vinto avendo un modo più intelligente di usare il cervello che aveva.

Perché Questo è Importante

L'articolo suggerisce che il futuro del ragionamento dell'IA non riguarda solo la costruzione di modelli sempre più grandi. Si tratta di dare ai modelli la capacità di "pensare in piedi". Trasformando il processo di test in una sessione di addestramento, l'IA smette di sprecare energia su percorsi falliti e inizia a usare quell'energia per migliorare la propria strategia istantaneamente.

Gli autori hanno scoperto che questo metodo funziona meglio quando c'è un feedback chiaro (come un codice che viene eseguito o va in crash). Quando il feedback è vago, i guadagni sono minori, ma comunque positivi. Hanno anche dimostrato che questo approccio funziona su diversi tipi di modelli, non solo su quello con cui sono partiti.

In breve, PoT suggerisce che il modo migliore per risolvere un problema difficile non è solo provarci con più forza; è imparare più velocemente. Permettendo all'IA di evolvere la propria strategia di ragionamento per ogni singola sfida, possiamo ottenere risultati super intelligenti da computer molto più piccoli ed efficienti. È un passaggio dal "cercare la risposta giusta" al "imparare come trovare la risposta giusta".

Riepilogo Tecnico: Policy of Thoughts (PoT)

1. Definizione del Problema

I Large Language Models (LLM) affrontano una significativa instabilità quando affrontano compiti di ragionamento complessi e a lungo orizzonte. Gli attuali approcci allo stato dell'arte si basano su un assunto di policy congelata (frozen-policy assumption), in cui i parametri del modello rimangono statici durante l'inferenza. Sebbene metodi come il Chain-of-Thought (CoT) e lo scaling del tempo di test (es. Best-of-N, Tree of Thoughts) aumentino la computazione di inferenza per esplorare gli spazi delle soluzioni, essi trattano il feedback di esecuzione meramente come un segnale esterno per filtrare o riscrivere le traiettorie. Non interiorizzano i fallimenti per migliorare la strategia di ragionamento stessa. Di conseguenza, i modelli spesso sprecano risorse computazionali in "traiettorie ingannevoli" dove un singolo errore precoce compromette irreversibilmente l'intera catena di ragionamento, mancando di un meccanismo per correggere la rotta in tempo reale.

Gli esistenti metodi di Test-Time Training (TTT) hanno esplorato aggiornamenti basati sul gradiente, ma tipicamente mirano all'adattamento cross-instance o alla scoperta scientifica a lungo oriente, piuttosto che al setting di ragionamento per-istanza richiesto per risolvere problemi specifici e complessi.

2. Metodologia: Policy of Thoughts (PoT)

Gli autori propongono Policy of Thoughts (PoT), un framework che ricategorizza il ragionamento al tempo di test come un processo di ottimizzazione online entro l'istanza. Ispirato al principio epistemologico di Karl Popper di "congetture e confutazioni", PoT consente al modello di evolvere iterativamente la propria policy di ragionamento attraverso un ciclo chiuso di esplorazione e adattamento.

Architettura Core

PoT opera su un modello base congelato aumentato da un adapter Low-Rank Adaptation (LoRA) transitorio. Il processo di ragionamento segue un ciclo $P1 \to TT \to EE \to P2$ :

Congettura Esplorativa ($TT$): Il modello esegue un'esplorazione strutturata utilizzando la Ricerca su Albero Monte Carlo (MCTS). Genera un ensemble diversificato di traiettorie candidate (pensieri) espandendo i nodi in base all'obiettivo PUCT (Predictor Upper Confidence Bound).
Esecuzione e Confutazione ($EE$): Le soluzioni candidate vengono eseguite in un ambiente (es. un esecutore di codice). Il feedback viene ottenuto tramite i risultati dei test unitari, che fungono da misura oggettiva della confutazione.
Interiorizzazione della Policy ( $P2$ ): Invece di scartare i tentativi falliti, PoT utilizza la Group Relative Policy Optimization (GRPO) per aggiornare l'adapter LoRA transitorio.
- Viene campionato un gruppo di traiettorie e i loro reward relativi vengono calcolati per stimare i segnali di vantaggio.
- La perdita GRPO viene minimizzata per aggiornare i parametri dell'adapter, "addestrando" effettivamente il modello sul caso specifico utilizzando il feedback di esecuzione.
- Questo aggiorna la prior della policy per i successivi passi di ricerca, restringendo la ricerca verso regioni di alta qualità.
Reset: Una volta risolto il problema o esaurito il budget, l'adapter transitorio viene scartato, lasciando intatto il modello base. Ciò previene l'oblio catastrofico e l'interferenza cross-instance.

Componenti Tecnici Chiave

Spazio degli Stati: Definito come la descrizione del problema più la cronologia dei pensieri generati e del feedback di esecuzione.
Funzione di Reward: Derivata dall'esecuzione dei test unitari (1.0 per tutti i passaggi, credito parziale per passaggi parziali, 0 altrimenti).
Meccanismo di Adattamento: Utilizza LoRA ( $\Delta W = BA$ ) per aggiornare efficientemente i pesi durante l'inferenza senza modificare l'architettura pre-addestrata.
Ottimizzazione: Viene impiegata GRPO per normalizzare i reward all'interno di un gruppo, consentendo al modello di apprendere dalle differenze di performance relativa tra i candidati senza richiedere una rete di valore separata.

3. Contributi Chiave

Test-Time Training come Evoluzione della Policy: Il paper formalizza il ragionamento al tempo di test come un processo di ottimizzazione online, spostando il paradigma dalla selezione statica delle traiettorie all'adattamento dinamico della policy. Ciò consente agli LLM di interiorizzare il feedback di esecuzione e rimodellare le strategie di ragionamento in tempo reale.
Il Framework PoT: Un sistema unificato che combina l'esplorazione strutturata (MCTS) con l'interiorizzazione efficiente dei parametri (GRPO + LoRA transitorio). Il design dell'adapter per istanza assicura che il modello si adatti alla logica specifica del problema corrente senza interferire con compiti futuri.
Performance Empirica Superiore: Esperimenti estesi dimostrano che PoT supera significativamente i baseline esistenti, inclusi i metodi basati sulla ricerca, le tecniche di raffinamento iterativo e i modelli commerciali, nonostante utilizzi un numero di parametri molto inferiore.

4. Risultati Sperimentali

Gli autori hanno valutato PoT su cinque benchmark di ragionamento sul codice: HumanEval, MBPP, LiveCodeBench (v5 & v6) e ICPC.

Performance su Modelli Piccoli: Un modello da 4 miliardi di parametri (Qwen3-4B-Instruct) potenziato con PoT ha raggiunto un'accuratezza complessiva del 64,02%.
- Questo supera GPT-4o (49,35%), Claude-Opus-4 (55,22%) e Gemini-2.5-Flash (60,91%).
- Supera i più forti baseline di scaling al tempo di test (es. RethinkMCTS al 57,08%, TTT-Discover al 58,79%) con margini significativi.
- Su LiveCodeBench V6, il modello da 4B ha ottenuto il 49,71%, superando 12 baseline di scaling al tempo di test e modelli commerciali nonostante sia oltre 50 volte più piccolo in termini di conteggio dei parametri.
Generalizzazione: PoT ha mostrato guadagni costanti attraverso diverse famiglie di modelli (Phi-4, Qwen) e scale (da 1,7B a 30B). Ha inoltre integrato i modelli "thinking", portando Qwen3-4B-Thinking dal 55,20% al 63,70% su LiveCodeBench V6.
Studi di Ablazione:
- L'Adattamento è Critico: Rimuovere l'aggiornamento LoRA (ricerca MCTS pura) ha abbassato le performance dal 49,71% al 37,14%, evidenziando che l'evoluzione della policy è il driver primario del successo.
- Fattore di Branching: Un fattore di branching di $k=3$ ha offerto il miglior equilibrio tra diversità di esplorazione ed efficienza computazionale.
- Transitorio vs Persistente: Scartare l'adapter dopo ogni istanza (reset per istanza) ha superato il mantenimento dello stesso tra le istanze di 5,41 punti, confermando che le strategie specifiche per istanza non sono affidabilmente trasferibili.

5. Significato e Rivendicazioni

Il paper sostiene che imparare al tempo di test sia una strategia superiore rispetto alla sola ricerca per problemi di ragionamento difficili. Convertendo la computazione aggiuntiva in un miglioramento diretto della policy anziché in esplorazione sprecata, PoT consente a modelli piccoli di superare modelli massicci e statici.

Gli autori affermano che PoT rappresenta un cambiamento fondamentale rispetto all'assunto di "policy congelata", dimostrando che l'adattamento transitorio per istanza è il regime corretto per i compiti di ragionamento. Il framework trasforma efficacementmente il ciclo "congetture e confutazioni" in un processo computazionale in cui i fallimenti non vengono solo filtrati, ma utilizzati per affinare le prior interne di ragionamento del modello per la durata del compito.

Limitazioni: Gli autori riconoscono che la dipendenza da modelli di reward appresi (in domini non eseguibili) introduce soggettività, e che l'efficacia dei segnali basati su modelli rispetto al feedback ambientale deterministico rimane un'area aperta alla ricerca. Tuttavia, nei domini con feedback nativo (come il codice), il metodo raggiunge risultati robusti e allo stato dell'arte.