🤖 AI

PlanPO: Group Planning-Aware Policy Optimization for Multi-Turn Agentic LLMs

PlanPO è un nuovo metodo di ottimizzazione della politica relativa al gruppo che introduce segnali di vantaggio da grossolano a fine per distinguere le traiettorie di successo in base all'efficienza dell'interazione, consentendo così ai modelli linguistici di grandi dimensioni (LLM) agentici multi-turno di apprendere comportamenti di pianificazione generalizzabili e di superare significativamente i baseline esistenti su benchmark impegnativi.

Autori originali: Dayang Liang, Liyuan He, Xuan Feng, Shuxin Li, Bo An, Yunlong Liu

Pubblicato 2026-08-19

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Dayang Liang, Liyuan He, Xuan Feng, Shuxin Li, Bo An, Yunlong Liu

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Nel rapidamente evolversi del mondo dell'intelligenza artificiale, una specifica classe di programmi informatici noti come grandi modelli linguistici ha iniziato ad agire non solo come lettori o scrittori passivi, ma come agenti attivi. Queste entità digitali possono navigare in ambienti complessi, dai negozi virtuali sul web a laboratori scientifici simulati, impegnandosi in conversazioni multi-turno in cui osservano una situazione, riflettono su una risposta e compiono un'azione. Per insegnare a questi agenti come eseguire tali compiti in modo efficace, i ricercatori utilizzano spesso un metodo chiamato apprendimento per rinforzo. In questo processo, l'agente prova molti modi diversi per risolvere un problema e, quando riesce, riceve un premio. Nel tempo, l'agente impara a ripetere i comportamenti che portano al successo. Tuttavia, una sfida significativa sorge quando l'agente trova un modo per riuscire: non tutti i percorsi di successo sono uguali. Alcune soluzioni sono dirette ed efficienti, mentre altre sono tortuose, piene di cicli inutili, passaggi ridondanti o spiegazioni eccessivamente prolisse, eppure tutte ricevono lo stesso premio di "successo". Questa mancanza di distinzione può confondere il processo di apprendimento, causando lo spreco di tempo dell'agente in abitudini inefficienti o impedendogli di sviluppare la capacità di pianificare in anticipo.

Un team di ricercatori ha proposto un nuovo approccio per risolvere questo problema, chiamato Group Planning-aware Policy Optimization, o PlanPO. Invece di premiare semplicemente un qualsiasi esito positivo, questo metodo insegna all'agente a distinguere tra una buona soluzione e una ottima soluzione guardando a come la soluzione è stata raggiunta. I ricercatori hanno osservato che, anche quando un agente completa un compito correttamente, il percorso per arrivarci può variare enormemente in lunghezza e qualità. Alcuni agenti potrebbero vagare per una casa virtuale, controllando ripetutamente gli stessi cassetti prima di trovare un oggetto, mentre altri potrebbero andare direttamente alla posizione corretta. Allo stesso modo, quando un agente parla o scrive i suoi pensieri, alcune risposte sono concise e logiche, mentre altre sono prolisse o contengono ragionamenti confusi, anche se l'azione finale intrapresa è corretta. L'idea centrale dietro PlanPO è quella di utilizzare queste differenze di lunghezza ed efficienza come un segnale per l'apprendimento. Confrontando i tentativi riusciti di un agente con gli altri, il sistema può identificare quali percorsi sono stati più diretti e quali risposte sono state più efficienti, premiando questi comportamenti specifici più elevatamente rispetto a quelli goffi.

I ricercatori hanno testato questa idea addestrando i modelli linguistici su tre ambienti distinti e impegnativi. Il primo era una casa simulata dove l'agente doveva eseguire compiti come raccogliere oggetti, pulire o scaldare articoli. Il secondo era un complesso ambiente di shopping online in cui l'agente doveva trovare prodotti specifici tra migliaia di opzioni basandosi sulle istruzioni dell'utente. Il terzo era una simulazione scientifica in cui l'agente doveva manipolare strumenti virtuali per condurre esperimenti. In questi test, i ricercatori hanno confrontato il loro nuovo metodo con diverse tecniche esistenti, inclusi gli approcci standard di apprendimento per rinforzo che non distinguono tra diversi tipi di successo. I risultati hanno mostrato che gli agenti addestrati con PlanPO hanno costantemente superato gli altri. In media, il nuovo metodo ha migliorato le prestazioni del 27,2 percento attraverso questi difficili benchmark. Nell'ambiente domestico, gli agenti addestrati con PlanPO hanno raggiunto un tasso di successo superiore al 91 percento, un salto significativo rispetto ai metodi precedenti.

Ciò che rende questa scoperta particolarmente degna di nota è il modo in cui il comportamento degli agenti è cambiato. I ricercatori hanno scoperto che gli agenti addestrati con PlanPO non hanno solo imparato a eseguire i compiti; hanno imparato a eseguirli in modo più efficiente. Hanno impiegato meno passaggi per raggiungere i loro obiettivi e hanno generato risposte più brevi e focalizzate. Ad esempio, nei compiti domestici, il numero medio di interazioni necessarie per finire un lavoro è sceso da oltre 26 turni a poco meno di 14. Gli agenti hanno anche smesso di produrre testi verbali o ripetitivi, riducendo significativamente la lunghezza media delle risposte. Questo miglioramento non è derivato dal semplice fatto di forzare gli agenti a essere più brevi o veloci, cosa che i ricercatori hanno dimostrato essere controproducente per le prestazioni. Invece, gli agenti hanno imparato a essere efficienti solo quando ciò li aiutava a avere successo. Hanno sviluppato una forma di consapevolezza della pianificazione, comprendendo che un percorso diretto e una spiegazione chiara sono migliori di uno lungo e tortuoso, anche se entrambi portano infine allo stesso risultato.

Lo studio ha anche esaminato se questi agenti potessero applicare quanto appreso a nuove situazioni mai viste prima. Quando testati su compiti diversi da quelli utilizzati durante l'addestramento, gli agenti PlanPO hanno mantenuto un alto livello di successo, superando altri metodi con un ampio margine. Ciò suggerisce che gli agenti non stavano semplicemente memorizzando soluzioni specifiche per problemi specifici, ma stavano imparando una competenza generale di pianificazione e decisione. I ricercatori hanno notato che questo miglioramento è stato raggiunto senza richiedere enormi quantità di potenza di calcolo extra o nuova hardware complesso; il metodo ha semplicemente riorganizzato il modo in cui i dati di addestramento esistenti venivano valutati. Trattando le differenze tra i tentativi riusciti come informazioni preziose anziché come rumore, i ricercatori hanno permesso agli agenti di apprendere in modo più efficace. Il lavoro dimostra che nel complesso mondo dell'intelligenza artificiale, la qualità di un successo conta tanto quanto il successo stesso, e insegnare alle macchine a riconoscere questa differenza può portare ad assistenti digitali più intelligenti e capaci.

Riepilogo Tecnico: PlanPO – Ottimizzazione della Policy Consapevole della Pianificazione di Gruppo per LLM Agenti Multi-Turn

Definizione del Problema

Nel dominio dei Large Language Models (LLM) agentici multi-turn, la Group Relative Policy Optimization (GRPO) è emersa come un paradigma standard per l'addestramento di agenti utilizzando ricompense basate su esiti verificabili. Tuttavia, esiste un limite critico nel modo in cui la GRPO gestisce l'eterogeneità dei rollout di successo.

Le varianti esistenti tipicamente assegnano ricompense di esito identiche a tutte le traiettorie che completano con successo un compito, indipendentemente dall'efficienza dell'interazione. Ciò porta al "collasso dell'advantage" (advantage collapse), dove:

Successi circuitari (traiettorie con transizioni di stato ridondanti, loop o vicoli ciechi) sono trattati allo stesso modo dei successi ottimali.
Ragionamenti verboi o logicamente difettosi all'interno di risposte di successo ricevono lo stesso credito di un ragionamento conciso e coerente.
La mancanza di discriminazione tra le traiettorie di successo impedisce agli agenti di sviluppare capacità di pianificazione generalizzabili, causando spesso il fatto che essi si limitino a imitare specifici pattern di alta qualità piuttosto che sviluppare strategie robuste e generalizzabili al compito.

Le soluzioni attuali che tentano di affrontare questo problema si affidano spesso a modelli di valore (critic) o modelli di ricompensa di processo (PRM), che introducono bias di stima, errori di proxy e un carico di memoria significativo. Altri metodi dipendono da una progettazione manuale laboriosa o da euristiche empiriche che mancano di generalità tra i diversi setting di task.

Metodologia: PlanPO

Gli autori propongono la Group Planning-aware Policy Optimization (PlanPO), un metodo di apprendimento per rinforzo semplice ma efficace che sfrutta i profili di lunghezza naturalmente disponibili per costruire segnali di advantage da grossolano a fine (coarse-to-fine). L'innovazione principale consiste nel condizionare la normalizzazione della lunghezza strettamente alle traiettorie di successo all'interno di un gruppo, evitando così le insidie della standard minimizzazione della lunghezza.

1. Normalizzazione della Lunghezza Condizionata al Successo

PlanPO opera all'interno del tipico framework di gruppo-relativo ma introduce due livelli distinti di computazione dell'advantage, entrambi condizionati al raggiungimento dell'obiettivo del task ( $R(\tau) = 1$ ):

Advantage a livello di Traiettoria ( $A^E$ ):
Per un gruppo di $N$ traiettorie campionate per lo stesso task, PlanPO normalizza la ricompensa di esito rispetto alla lunghezza della traiettoria (numero di turni di interazione, $T_i$ ) solo per le traiettorie di successo.
$R^E(\tau^i) = \mathbb{1}[\tau^i \in G^U_x] \cdot \frac{R(\tau^i)}{T_i}$
L'advantage $A^E$ è calcolato tramite normalizzazione gruppo-relativa (media e varianza) di queste ricompense normalizzate per lunghezza. Questo segnale incoraggia l'agente a trovare percorsi di interazione più brevi e diretti tra i rollout di successo.
Advantage a livello di Risposta ( $A^S$ ):
A livello di turno, PlanPO appiattisce tutte le risposte di successo generate per lo stesso task in un unico gruppo. Normalizza la ricompensa di esito rispetto alla lunghezza dei token della risposta ( $L_{i,t}$ ) per ogni turno.
$R^S(a_{i,t}) = \mathbb{1}[\tau^i \in G^U_x] \cdot \frac{R(\tau^i)}{L_{i,t}}$
L'advantage $A^S$ è calcolato all'interno di questo gruppo di risposte attive. Ciò fornisce una supervisione fine, incoraggiando tracce di ragionamento concise e coerenti all'interno delle interazioni di successo.

2. Ottimizzazione della Policy da Grossolana a Fine (Coarse-to-Fine)

L'advantage finale per un token $a_{i,t}$ nella traiettoria $\tau^i$ è una combinazione pesata degli advantage a livello di traiettoria e a livello di risposta:
$A^{\text{PlanPO}}(a_{i,t}) = A^E(\tau^i) + \alpha(k) A^S(a_{i,t})$

Decadimento Pesato: Il coefficiente $\alpha(k)$ decade linearmente durante l'addestramento. Questo design dà priorità al segnale di pianificazione a livello di traiettoria (grossolano) inizialmente e lo affina gradualmente con il segnale a livello di risposta (fine).
Trade-off Bias-Varianza: L'analisi teorica (Teorema 1) dimostra che $\alpha(k)$ bilancia il trade-off tra bias e varianza. Un $\alpha$ più grande preserva il raffinamento a livello di turno ma aumenta la varianza del campionamento, mentre un $\alpha$ più piccolo riduce la varianza a costo di un bias di contrazione (shrinkage bias).

La policy è ottimizzata utilizzando un obiettivo di gruppo-relativo con clipping simile a GRPO, incorporando una penalità di divergenza KL rispetto a una policy di riferimento.

Contributi Chiave

Identificazione di un Collo di Bottiglia: Il documento identifica che l'eterogeneità dei rollout di successo (turni ridondanti e ragionamenti verboi nei successi) è un collo di bottiglia critico nell'ottimizzazione gruppo-relativa che maschera la qualità del rollout e limita l'apprendimento della policy.
Proposta di PlanPO: Un metodo innovativo che costruisce advantage normalizzati per lunghezza e condizionati al successo. A differenza della generica modellazione della ricompensa basata sulla lunghezza, PlanPO applica la normalizzazione della lunghezza solo all'interno di gruppi di rollout di successo, assicurando che gli agenti apprendano comportamenti consapevoli della pianificazione piuttosto che limitarsi a minimizzare la lunghezza.
Validazione Empirica: Estesi esperimenti dimostrano che PlanPO supera costantemente i forti baseline (inclusi GRPO, GiGPO e PPO) su molteplici benchmark con un costo di addestramento aggiuntivo trascurabile.

Risultati Sperimentali

Gli autori hanno valutato PlanPO utilizzando Qwen2.5-1.5B-Instruct e Qwen2.5-7B-Instruct su tre benchmark multi-turn impegnativi: ALFWorld, WebShop e SciWorld.

Guadagni di Performance:
- In media, PlanPO migliora rispetto a GRPO del 27,2% attraverso i benchmark.
- In ALFWorld (modello 1.5B), PlanPO ha raggiunto un tasso di successo complessivo del 91,3%, un miglioramento di +18,5 punti rispetto a GRPO.
- Nei task out-of-distribution (OOD) in ALFWorld, PlanPO ha raggiunto un tasso di successo dell'87,1%, superando GRPO di +17,0 punti e GiGPO di +4,7 punti, indicando una forte generalizzazione.
- In SciWorld, PlanPO-7B ha ottenuto un punteggio complessivo di 68,46, superando significativamente il precedente miglior baseline di RL (ScalingInter-7B con 57.00).
Efficienza e Comportamento:
- Efficienza di Interazione: Gli agenti PlanPO hanno ridotto il numero medio di turni di interazione da 26,1 (GRPO) a 13,8.
- Concisione della Risposta: La lunghezza media dei token della risposta è diminuita da 95,1 (GRPO) a 56,3.
- Costo: Il metodo comporta un costo di addestramento aggiuntivo trascurabile, poiché la normalizzazione della lunghezza e la computazione dell'advantage sono operazioni leggere rispetto ai passaggi forward/backward dell'LLM.
Studi di Ablazione:
- Rimuovere l'advantage a livello di traiettoria ( $A^E$ ) o a livello di risposta ( $A^S$ ) ha degradato significativamente le prestazioni.
- La modellazione della lunghezza non condizionata (senza condizionamento al successo) ha causato il collasso delle prestazioni, confermando che la sola minimizzazione della lunghezza è dannosa.
- La modellazione della lunghezza condizionata al successo da sola è stata insufficiente; la combinazione con l'ottimizzazione gruppo-relativa era necessaria per ottenere guadagni.

Significato e Rivendicazioni

Il documento afferma che PlanPO offre una soluzione semplice, scalabile e generalizzabile al compito di vantaggio collassato nell'RL agentico. Sfruttando l'eterogeneità intrinseca nei rollout di successo (specificamente la lunghezza di interazione e della risposta) come segnale di supervisione, PlanPO consente agli agenti di apprendere capacità di pianificazione generalizzabili invece di sovra-adattarsi a specifici pattern comportamentali di alta qualità.

Gli autori sottolineano che il loro approccio non richiede costosi modelli di valore, ingegneria manuale delle ricompense o euristiche complesse. Invece, utilizza il segnale "naturalmente disponibile ma sottoutilizzato" dei profili di lunghezza all'interno dei gruppi di successo per guidare gli agenti verso interazioni più dirette, efficienti e coerenti. I risultati suggeriscono che l'eterogeneità dei rollout di successo è un segnale vitale e potente per l'addestramento di LLM agentici consapevoli della pianificazione.