SRPO: Self-Reflective Policy Optimization for Long-Horizon Reasoning

I modelli linguistici di grandi dimensioni sono strumenti potenti in grado di risolvere problemi complessi, scrivere codice e navigare in ambienti digitali, ma spesso faticano quando un compito richiede una lunga catena di ragionamento. Immaginate di chiedere a uno studente di risolvere un problema di matematica difficile o di pianificare un viaggio della spesa multi-fase. Se lo studente sbaglia la risposta finale, riceve un semplice segnale di "errato". Questo feedback gli dice che il risultato è stato negativo, ma non spiega quale specifico passaggio nella sua lunga catena di pensiero abbia causato l'errore. È stato un errore di calcolo nel mezzo? Un'ipotesi errata all'inizio? Senza sapere dove sia avvenuto il guasto, il modello non può facilmente imparare a fare meglio la prossima volta. Questo è noto come problema dell'assegnazione del credito, un ostacolo principale nell'insegnare all'intelligenza artificiale come gestire compiti lunghi e complessi.

I ricercatori hanno cercato di risolvere questo problema facendo sì che i modelli riflettano sui propri errori, proprio come un essere umano che rivede un esame per capire cosa sia andato storto. Tuttavia, i tentativi precedenti di utilizzare questa autoreflessione durante l'addestramento sono stati spesso inefficienti o instabili. A volte portavano il modello a confondersi con i propri pensieri accumulati o non riuscivano a trasformare la vaga sensazione di "ho sbagliato" in una lezione concreta per ogni singola parola generata. Un nuovo approccio chiamato Self-Reflective Policy Optimization, o SRPO, offre una strada diversa. Invece di aspettare un voto finale, questo metodo insegna al modello ad agire come il proprio insegnante analizzando i propri tentativi completati, identificando esattamente dove ha sbagliato la strada e usando quell'intuizione per guidare il tentativo successivo.

I ricercatori dietro SRPO, guidati da Jialong Liu e colleghi, hanno progettato un sistema in cui un modello linguistico impara guardando indietro al proprio lavoro. Il processo avviene in due fasi distinte. Per prima cosa, il modello tenta un compito, come risolvere un problema di matematica o navigare in un negozio virtuale. Una volta terminato il tentativo, il modello si ferma per riflettere. Esamina l'intera sequenza delle sue azioni e l'esito finale, poi scrive una nota breve e concisa che riassume cosa è andato storto o quali decisioni chiave sono state prese correttamente. Questa nota, che gli autori chiamano "patch di riflessione", non è un lungo saggio, ma un insieme ristretto di consigli azionabili, solitamente composto da pochi punti elenco.

Nella seconda fase, il modello tenta lo stesso compito, ma questa volta parte dalla domanda originale più la nota di riflessione che ha appena scritto. Questa nuova combinazione funge da guida, offrendo al modello una seconda possibilità con il beneficio del senno di retrospettiva. Il modello genera un nuovo tentativo di qualità superiore basato su questo contesto arricchito. Fondamentalmente, i ricercatori non usano questo secondo tentativo, migliore, come risposta finale. Invece, lo usano come segnale di insegnamento. Confrontano i nuovi pensieri migliorati del modello con i suoi pensieri originali non guidati. Analizzando la differenza tra i due, il sistema crea un flusso denso di segnali di apprendimento. Ogni singola parola del tentativo originale del modello viene valutata: se una parola si allinea con la saggezza della riflessione, viene premiata; se devia, viene corretta. Questo trasforma un singolo voto "corretto" o "errato" alla fine di un compito in migliaia di lezioni minuscole e specifiche per ogni parola scritta dal modello.

Questo metodo si è dimostrato straordinariamente efficace. Il team ha testato SRPO su una varietà di benchmark impegnativi, inclusi avanzati concorsi di matematica e compiti di agenti complessi che richiedono la navigazione in ambienti digitali. In un difficile test di matematica chiamato AIME'24, un modello che utilizza SRPO ha ottenuto un punteggio medio del 73,3 percento (con una deviazione standard di ±1,4 su cinque prove indipendenti). Questo è stato un miglioramento significativo rispetto ad altri metodi all'avanguardia ed è stato raggiunto utilizzando solo l'8 percento dei FLOP di addestramento tipicamente richiesti per l'addestramento simile. Il sistema ha eccelso anche in compiti a lungo termine, come WebShop, dove ha completato con successo il 64,7 percento delle missioni di shopping, e ALFWorld, dove ha risolto il 76,8 percento dei compiti di simulazione domestica. Questi risultati suggeriscono che, interiorizzando la capacità di riflettere, il modello ha imparato a correggere il proprio percorso di ragionamento senza bisogno di un insegnante esterno più grande per guidarlo.

Lo studio ha anche affrontato una paura comune nella ricerca sull'intelligenza artificiale: che insegnare un nuovo compito a un modello possa causargli di dimenticare ciò che già sapeva. Quando i ricercatori hanno addestrato il modello su compiti di programmazione dopo che aveva appreso la matematica, il metodo SRPO ha aiutato il modello a mantenere il 95,2 percento delle sue abilità matematiche originali. Al contrario, altri metodi hanno registrato cali di prestazioni molto più marcati. Ciò suggerisce che, poiché il modello impara dalla propria distribuzione di pensieri piuttosto che imitare un esperto esterno, mantiene una comprensione più stabile delle proprie capacità.

I ricercatori sono stati attenti a verificare che il successo derivasse dal contenuto delle riflessioni, non solo dal testo extra aggiunto. Hanno testato il sistema fornendogli riflessioni generate per problemi completamente diversi. Quando la riflessione non corrispondeva al compito, le prestazioni del modello tornavano ai livelli base, dimostrando che l'intuizione specifica e pertinente era ciò che guidava il miglioramento. Hanno anche scoperto che le riflessioni dovevano essere concise; note troppo lunghe o verbiose in realtà danneggiavano le prestazioni, probabilmente perché introducevano rumore e confusione.

In definitiva, SRPO dimostra che un modello linguistico può diventare più capace imparando a criticare e guidare se stesso. Trasformando esiti finali sparsi in una guida densa, parola per parola, il metodo permette ai modelli di apprendere complessi schemi di ragionamento con molti meno esempi e meno potenza di calcolo di quanto precedentemente ritenuto possibile. Il lavoro suggerisce un futuro in cui i sistemi di intelligenza artificiale possono migliorare continuamente i propri processi di ragionamento, diventando più affidabili ed efficienti nel risolvere i problemi lunghi e intricati che definiscono le sfide del mondo reale.