🤖 AI

SAPO: Single-Rollout Autoregressive Policy Optimization for Agentic Reinforcement Learning

Questo articolo introduce SAPO, un framework efficiente dal punto di vista della memoria e ottimizzato per il calcolo per l'apprendimento per rinforzo agentico che utilizza un backbone autoregressivo condiviso per le funzioni di policy e di valore per ottenere prestazioni e stabilità superiori rispetto ai metodi esistenti come PPO e GRPO, eliminando al contempo la necessità di un modello critic separato.

Autori originali: Dayang Liang, Lang Feng, Bo An, Yunlong Liu

Pubblicato 2026-08-21

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Dayang Liang, Lang Feng, Bo An, Yunlong Liu

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Nel mondo in rapida evoluzione dell'intelligenza artificiale, è emersa una nuova frontiera dove i programmi informatici non sono più solo generatori passivi di testo, ma agenti attivi capaci di ragionare, navigare sul web e risolvere problemi complessi attraverso molteplici fasi. Questo campo, noto come apprendimento per rinforzo agentico, insegna a questi assistenti digitali permettendo loro di tentare azioni in un ambiente simulato e di imparare dai risultati. Immaginate uno studente che sostiene un esame: se ottiene la risposta corretta, si sente bene; se fallisce, cerca di capire cosa sia andato storto. Per un'IA, questo processo di apprendimento si basa su un sistema in grado di guardare indietro a una lunga catena di decisioni e determinare quale specifico passaggio abbia portato al successo o al fallimento. Tradizionalmente, ciò ha richiesto un sistema pesante e diviso in due parti: una parte per decidere cosa fare successivamente e una parte separata e massiccia, il "critico", per valutare quanto sia buona la situazione attuale. Questa separazione funziona bene, ma richiede un'enorme potenza di calcolo e memoria, rallentando spesso il processo di apprendimento o rendendolo troppo costoso da eseguire su hardware standard.

I ricercatori hanno scoperto recentemente che molti di questi agenti IA faticano quando il feedback che ricevono è scarso o ritardato, come nel caso di dover attendere fino alla fine di un lungo compito per sapere se si è avuto successo. I metodi esistenti che tentano di semplificare questo processo rimuovendo il critico separato finiscono spesso per avere un apprendimento instabile o prestazioni scarse, poiché mancano di un modo chiaro per attribuire il merito ai singoli passaggi in una lunga sequenza. Per risolvere questo problema, un team di scienziati dell'Università Xiamen e della Nanyang Technological University ha sviluppato un nuovo framework chiamato SAPO, che sta per Single-Rollout Autoregressive Policy Optimization. Invece di utilizzare due modelli separati o richiedere all'IA di generare decine di diversi tentativi per imparare da un singolo compito, SAPO insegna a un singolo modello linguistico a fare tutto contemporemente. Utilizza il flusso naturale della generazione del linguaggio per decidere simultaneamente un'azione, valutare lo stato prima dell'azione e giudicare il valore dell'azione stessa, il tutto all'interno di un unico flusso continuo di pensiero.

L'innovazione fondamentale di SAPO risiede nel modo in cui organizza le informazioni all'interno del cervello dell'IA. In una conversazione o in un compito standard, l'IA legge un prompt, pensa e poi scrive una risposta. I ricercatori si sono resi conto che il momento immediatamente precedente all'inizio della scrittura di una risposta è il momento perfetto per chiedere: "Quanto è buona questa situazione?", e il momento immediatamente successivo al termine della risposta è il momento perfetto per chiedere: "Quanto è stata buona quella specifica azione?". Posizionando queste due domande in punti specifici e fissi nel processo di generazione del testo, il modello può imparare a rispondere a entrambe senza bisogno di un valutatore separato. Questo design permette all'IA di imparare da un solo tentativo di un compito, piuttosto che dover generare un grande gruppo di variazioni da confrontare tra loro. Il sistema impara efficacementmente a generalizzare la propria comprensione del valore attraverso diverse situazioni, assicurando che non si limiti a memorizzare un percorso specifico verso il successo, ma comprenda la logica sottostante del perché una mossa sia stata buona o cattiva.

Per testare questo approccio, il team ha addestrato l'IA su due ambienti impegnativi: una casa simulata in cui l'agente deve completare compiti fisici come pulire o scaldare oggetti, e uno scenario complesso di acquisti sul web in cui l'agente deve navigare nei siti web per trovare prodotti specifici. Hanno utilizzato due diverse dimensioni di modelli linguistici, uno con 1,5 miliardi di parametri e un altro con 7 miliardi, per vedere se il metodo reggeva a diverse scale. I risultati sono stati sorprendenti. Nei compiti domestici, il nuovo metodo ha migliorato il tasso di successo di oltre 15 punti percentuali rispetto al metodo standard che utilizza un critico separato, e di oltre 12 punti percentuali rispetto al metodo principale che tenta di evitare l'uso di un critico. Nei compiti di acquisto sul web, i miglioramenti sono stati altrettanto significativi, con l'IA che otteneva punteggi più alti e completava più compiti con successo. Forse la cosa più importante è che il nuovo metodo ha fatto tutto questo utilizzando molta meno memoria e correndo circa il 33 percento più velocemente per ogni fase di addestramento rispetto all'approccio tradizionale, poiché ha eliminato la necessità di eseguire un secondo modello separato per valutare le prestazioni.

Il successo di questo framework suggerisce che il modo in cui i grandi modelli linguistici elaborano naturalmente le informazioni può essere sfruttato per risolvere alcuni dei problemi più difficili nell'addestramento degli agenti IA. Allineando il processo di apprendimento con la struttura naturale della generazione del linguaggio, i ricercatori hanno dimostrato che è possibile ottenere prestazioni di alto livello senza l'elevato costo computazionale del mantenimento di sistemi separati per il processo decisionale e la valutazione. Questo approccio non solo rende l'addestramento più efficiente, ma anche più stabile, permettendo agli agenti di apprendere efficacemente anche quando i premi per le loro azioni sono ritardati o infrequenti. Mentre il campo dell'intelligenza artificiale si muove verso la creazione di agenti più autonomi e capaci, metodi come questo offrono una via pratica, dimostrando che efficienza e alte prestazioni possono andare di pari passo senza sacrificare la capacità di apprendere da interazioni complesse e a lungo termine.

Riepilogo Tecnico: SAPO (Single-Rollout Autoregressive Policy Optimization)

1. Definizione del Problema

L'Apprendimento per Rinforzo Agente (Agentic RL) è emerso come una fase di post-training critica per i Large Language Models (LLM), consentendo loro di eseguire compiti interattivi a lungo orizzonte come il ragionamento, l'uso di strumenti e la navigazione web. Sebbene i metodi esistenti abbiano ottenuto successi, essi affrontano tre limitazioni primarie:

Mancanza di Generalizzazione Esplicita del Valore: I metodi senza critic e basati su gruppi (es. GRPO) stimano i vantaggi normalizzando le ricompense attraverso più traiettorie campionate. Questo approccio non riesce a apprendere una funzione di valore generalizzata che possa assegnare credito a stati o prompt specifici indipendentemente dal gruppo, portando a un debole assegnamento del credito temporale.
Collasso del Vantaggio (Advantage Collapse): In compiti a lungo orizzonte con feedback sparsi, è comune che tutte le traiettorie (rollout) in un gruppo ricevano ricompense identiche o quasi identiche. Ciò causa la scomparsa degli vantaggi normalizzati, risultando in regioni a gradiente zero o "collasso del vantaggio", che blocca l'apprendimento.
Scambiinefficienti (Inefficient Trade-offs): I metodi basati su gruppi richiedono un compromesso costoso tra budget di campionamento e prestazioni. Gruppi piccoli generano baseline rumorose, mentre gruppi grandi migliorano la stabilità a scapito di enormi costi computazionali e barriere di sincronizzazione. Al contrario, il tradizionale Proximal Policy Optimization (PPO) con un critic appreso offre un apprendimento del valore esplicito, ma comporta un overhead significativo di memoria e calcolo dovuto alla necessità di un modello critic separato, della stessa scala della policy.

I tentativi attuali di mitigare questi problemi (es. DAPO, ReMax, VinePPO) rimangono dipendenti da molteplici rollout, mantengono un assegnamento del credito grossolano o richiedono reti di valore separate che duplicano i parametri. È necessario un framework che supporti l'apprendimento efficiente con singolo rollout con stima del valore temporale esplicita senza mantenere un critic separato.

2. Metodologia: SAPO

Gli autori propongono Single-Rollout Autoregressive Policy Optimization (SAPO), un framework a basso consumo di memoria e calcolo che unifica l'apprendimento della policy e del valore all'interno di un unico backbone autoregressivo.

Architettura Core: Autoregressive Actor-Critic

SAPO sfrutta la struttura causale degli LLM per rappresentare la policy, il valore dello stato ( $V$ ) e il valore dell'azione ( $Q$ ) all'interno di un singolo flusso di modello.

Confini Causali: Il metodo identifica due distinti confini causali all'interno del turno di un agente:
1. Confine pre-azione: Il contesto dello stato ( $c^s_t$ ) prima che l'azione venga generata.
2. Confine post-azione: Il contesto dello stato concatenato con l'azione generata ( $c^{s,a}_t$ ).
Backbone Condiviso: Lo stesso modello transformer genera i token dell'azione tra questi confini.
Base di Valore a Due Token: Invece di una testa di valore separata, SAPO riserva due specifici token del vocabolario ( $w^+$ $w^{+}$ e $w^-$ $w^{-}$ ) esclusivamente come base di valore. Il modello legge i logit di questi due token nei rispettivi confini causali per calcolare valori scalari normalizzati:
- $V_\theta(s_t)$ viene letto al confine pre-azione.
- $Q_\theta(s_t, a_t)$ viene letto al confine post-azione.
- Il valore è derivato dalla differenza nei logit, clippata in un intervallo normalizzato $[-1, 1]$ , e scalata per il ritorno massimo possibile ( $R_{max}$ ).
Separazione della Policy: I token di valore riservati sono esclusi dal vocabolario delle azioni durante la generazione della policy e la normalizzazione delle probabilità, garantendo che non interferiscano con la distribuzione delle azioni.

Stima del Vantaggio con Singolo Rollout

A differenza dei metodi relativi ai gruppi, SAPO campiona una sola traiettoria per compito.

GAE a livello di Traiettoria: Il metodo impiega un Generalized Advantage Estimator (GAE) che propaga i ritorni terminali ritardati all'indietro attraverso la traiettoria utilizzando i valori di stato ( $V$ ) appresi.
Target:
- Il Valore dello Stato è addestrato verso il $\lambda$ -ritorno (propagando le informazioni del ritorno a lungo raggio).
- Il Valore dell'Azione è addestrato verso un target SARSA on-policy (ancorando il confine post-azione alle conseguenze immediate).
Normalizzazione del Batch: Per stabilizzare l'addestramento senza statistiche di gruppo, gli vantaggi a livello di turno sono normalizzati utilizzando le statistiche del batch ( $\mu_B, \sigma_B$ ) attraverso l'attuale batch di addestramento prima di essere trasmessi a tutti i token dell'azione.

Ottimizzazione Congiunta

SAPO ottimizza un obiettivo unificato in un singolo passaggio backward:

Perdita della Policy a livello di Token: Una perdita in stile PPO clippata utilizzando gli vantaggi normalizzati tramite batch.
Perdite di Valore: Perdite di regressione clippate sia per gli obiettivi $V$ che $Q$ , medie sui turni piuttosto che sui token per garantire un peso uguale per ogni decisione indipendentemente dalla lunghezza della risposta.
Regolarizzazione: Include la divergenza KL rispetto a una policy di riferimento e la regolarizzazione dell'entropia.

3. Contributi Chiave

Architettura Unificata: Introduzione di un'architettura actor-critic autoregressiva a singolo rollout che rappresenta e addestra congiuntamente policy, valore di stato e valore di azione attraverso letture di confini causali, eliminando la necessità di una rete critic separata.
Estimatore Novello: Sviluppo di uno stimatore di vantaggio a livello di traiettoria che combina i $\lambda$ -ritorni con la normalizzazione del batch, consentendo un esplicito assegnamento del credito a livello di turno senza dipendere dal campionamento relativo ai gruppi.
Efficienza e Stabilità: Dimostrazione che questo framework unificato raggiunge un equilibrio favorevole tra prestazioni, stabilità dell'addestramento, efficienza di memoria ed efficienza di runtime su compiti agentici a lungo orizzonte.

4. Risultati Sperimentali

Gli autori hanno valutato SAPO sui benchmark ALFWorld (ragionamento incarnato) e WebShop (navigazione web) utilizzando modelli backbone Qwen2.5-1.5B e Qwen2.5-7B.

Prestazioni: SAPO ha superato costantemente PPO e GRPO standard.
- Su ALFWorld con Qwen2.5-1.5B, SAPO ha raggiunto il 90,1% di successo aggregato, migliorando rispetto a PPO e GRPO di +35,7 e +17,3 punti percentuali, rispettivamente.
- Su WebShop, SAPO ha ottenuto un miglioramento del punteggio di +8,4 punti e un aumento del tasso di successo di +12,2 punti rispetto a PPO.
- In tutti gli esperimenti (come riassunto nell'Abstract), SAPO si addestra stabilmente e supera PPO e GRPO con una media di +15,1 e +12,1 punti percentuali, rispettivamente.
- Con il modello 7B, SAPO ha ottenuto il 94,0% di successo in ALFWorld e un punteggio WebShop di 88,6 con l'82,4% di successo, superando sia PPO che GRPO, così come le varianti recenti, in tutti e tre i parametri aggregati.
Efficienza:
- Memoria: SAPO elimina l'impronta di memoria di un modello critic separato (che è tipicamente della scala della policy).
- Runtime: SAPO ha ridotto il tempo di esecuzione per iterazione del 33,2% rispetto a PPO. I risparmi principali derivano dalla rimozione delle fasi separate di inferenza del valore e ottimizzazione del critic, riducendo il tempo totale da 451,2s a 301,4s per iterazione su ALFWorld.
Stabilità: Il metodo si è addestrato stabilmente da un singolo rollout per prompt, evitando i problemi di collasso del vantaggio visti nei metodi relativi ai gruppi sotto feedback sparsi.

5. Significato e Rivendicazioni

Il paper sostiene che SAPO risolva la tensione tra la generalizzazione esplicita del valore degli algoritmi actor-critic e l'efficienza di memoria/calcolo dell'ottimizzazione relativa ai gruppi priva di critic.

Allineamento Architetturale: Gli autori sostengono che il flusso di informazioni richiesto per l'apprendimento actor-critic si allinea naturalmente con l'ordine causale della generazione del linguaggio. Sfruttando questo allineamento, SAPO consente un efficiente ottimizzazione basata sul valore all'interno di un singolo modello causale.
Scalabilità: Il framework dimostra che l'apprendimento del valore esplicito non richiede modelli duplicati o campionamento costoso, offrendo una via percorribile verso un RL agentico a lungo orizzonte più efficiente.
Generalizzazione: I risultati suggeriscono che l'allineamento architetturale tra la modellazione autoregressiva e l'apprendimento actor-critic può ridurre la dipendenza dall'ingegneria di reward densi specifici per il compito, poiché il metodo funziona bene con reward di esito sparsi.

Il paper conclude che SAPO rappresenta un passo avanti significativo nel rendere l'RL agentico più scalabile e pratico per interazioni complesse a più turni.