Riepilogo Tecnico: Apprendimento della Politica Guidato da Traguardi per Agenti Linguistici a Orizzonte Lungo (BEACON)

Enunciato del Problema

Addestrare agenti linguistici a eseguire compiti a orizzonte lungo, che richiedono dozzine di decisioni sequenziali, tramite apprendimento per rinforzo (RL) incontra due limitazioni fondamentali intrinseche ai metodi di ottimizzazione a livello di traiettoria come GRPO:

1. Attribuzione Errata del Credito: I metodi attuali assegnano il credito basandosi esclusivamente sugli esiti terminali. Di conseguenza, le azioni iniziali corrette vengono penalizzate se le azioni successive portano al fallimento. Ciò crea segnali di gradiente contraddittori per le stesse coppie stato-azione a seconda della stocasticità a valle, causando conflitto dei gradienti e collasso dell'apprendimento man mano che gli orizzonti dei compiti si estendono.
2. Inefficienza del Campionamento: Man mano che gli orizzonti dei compiti si allungano, le traiettorie di successo diventano scarse. Crucialmente, le traiettorie che raggiungono significativi sottobiettivi ma falliscono l'obiettivo finale ricevono la stessa ricompensa zero dei fallimenti completi. Ciò scarta segnali di apprendimento preziosi derivanti da "successi parziali", portando a un'alta proporzione di campioni che non forniscono gradienti utili.

I tentativi esistenti di densificare l'assegnazione del credito, come i Modelli di Ricompensa di Processo (PRM) o la stima del valore Monte Carlo, introducono costi di annotazione proibitivi, sovraccarico computazionale o si basano su pattern di ricorrenza degli stati che diminuiscono negli scenari a orizzonte lungo.

Metodologia: Framework BEACON

Gli autori propongono BEACON (Ambiente di Riferimento per la Navigazione Orientata all'Azione), un framework che sfrutta la struttura compositiva dei compiti a orizzonte lungo per disaccoppiare l'assegnazione del credito attraverso le fasi. L'ipotesi di base è la Proprietà Markoviana dei Traguardi: una volta raggiunto un sottobiettivo semantico (traguardo), la distribuzione delle traiettorie future dipende principalmente dai sottobiettivi rimanenti piuttosto che dall'intera storia di esecuzione.

BEACON opera attraverso tre meccanismi integrati:

1. Partizionamento della Traiettoria ai Confini dei Traguardi

Invece di trattare una traiettoria come una sequenza piatta, BEACON la suddivide in segmenti basati su transizioni di stato osservabili che indicano il completamento di un sottobiettivo (ad esempio, prendere un oggetto, raggiungere una pagina web). Un rilevatore di traguardi $\Phi$ identifica queste transizioni dal feedback dell'ambiente senza richiedere modelli appresi o annotazioni manuali.

• Risultato: Le traiettorie sono divise in segmenti $Seg_k$ delimitati da traguardi $M_k$.

2. Modellazione Temporale della Ricompensa

Per affrontare l'inefficienza del campionamento, BEACON assegna ricompense modellate all'interno dei segmenti per riconoscere il progresso parziale.

• Meccanismo: Per le azioni in un segmento che raggiunge con successo un traguardo, viene assegnata una ricompensa positiva con decadimento temporale ($\gamma^{t_k - t}$). Le azioni in segmenti che non riescono a raggiungere un traguardo ricevono ricompensa zero.
• Effetto: Ciò trasforma i segnali terminali sparsi in feedback densi, assicurando che gli agenti apprendano dalle traiettorie che completano i sottobiettivi anche se il compito finale fallisce.

3. Stima dell'Advantage a Doppia Scala

Per risolvere l'attribuzione errata del credito, BEACON stima gli advantage a due scale:

• Advantage a Livello di Traiettoria ($A_{traj}$): Calcolato globalmente basandosi sugli esiti terminali (simile a GRPO) per mantenere l'allineamento con il successo complessivo del compito.
• Advantage a Livello di Segmento ($A_{seg}$): Calcolato localmente confrontando il ritorno di un segmento solo con altre traiettorie che hanno raggiunto lo stesso traguardo.
• Isolamento della Varianza: Limitando i gruppi di confronto alle traiettorie che condividono la stessa storia di traguardi, $A_{seg}$ isola la qualità delle azioni locali dalla varianza introdotta dai segmenti successivi. Ciò impedisce che le azioni iniziali corrette vengano penalizzate da fallimenti successivi.
• Combinazione: L'advantage finale è una somma pesata: $\hat{A} = A_{traj} + \lambda \cdot A_{seg}$.

Contributi Chiave

1. Diagnosi delle Limitazioni: Il documento identifica e quantifica empiricamente l'attribuzione errata del credito (oltre il 40% degli aggiornamenti dei gradienti contiene segnali contraddittori nei compiti lunghi) e l'inefficienza del campionamento (successi parziali che producono ricompensa zero) come cause radice del collasso delle prestazioni nel RL a orizzonte lungo.
2. Framework BEACON: Introduzione di un framework di apprendimento della politica guidato da traguardi che partiziona le traiettorie, applica la modellazione temporale della ricompensa e utilizza la stima dell'advantage a doppia scala per disaccoppiare la qualità delle azioni locali dalla varianza a valle.
3. Garanzia Teorica: Una dimostrazione che, sotto la Proprietà Markoviana dei Traguardi, gli advantage a livello di segmento isolano la qualità delle azioni locali dalla varianza a valle, affrontando direttamente l'attribuzione errata del credito.
4. Validazione Empirica: Valutazione completa su tre benchmark diversificati (ALFWorld, WebShop, ScienceWorld) che dimostra come BEACON si scalda efficacemente con l'orizzonte del compito, a differenza delle linee di base esistenti.

Risultati Sperimentali

Gli esperimenti sono stati condotti utilizzando i modelli Qwen2.5-1.5B e Qwen2.5-7B su ALFWorld, WebShop e ScienceWorld.

• Prestazioni su Compiti a Orizzonte Lungo: Su ALFWorld, BEACON raggiunge un tasso di successo del 92,9% sui compiti lunghi, quasi raddoppiando il 53,5% ottenuto da GRPO. Al contrario, GRPO degrada bruscamente dal 76,7% sui compiti brevi al 53,5% sui compiti lunghi.
• Efficienza del Campionamento: BEACON migliora l'utilizzo efficace dei campioni dal 23,7% (GRPO) all'82,0%, estraendo con successo segnali di apprendimento dai successi parziali che altri metodi scartano.
• Qualità del Gradiente: Il Rapporto Zero-Advantage (campioni che ricevono un vantaggio vicino allo zero) scende da ~55% (GRPO) a ~10% (BEACON), e il Rapporto delle Azioni Contraddittorie è significativamente ridotto.
• Confronto con SFT: BEACON supera il fine-tuning supervisionato (SFT) su traiettorie oracolo (91,4% contro 43%), confermando che i guadagni derivano dall'ottimizzazione della politica che scopre strategie superiori all'oracolo, piuttosto che da una semplice imitazione.
• Robustezza: BEACON mantiene prestazioni robuste su orizzonti brevi, medi e lunghi, mentre le linee di base come GRPO e GiGPO mostrano un degrado significativo all'aumentare della lunghezza del compito.

Significato e Affermazioni

Il documento afferma che l'assegnazione del credito ancorata ai traguardi rappresenta un paradigma efficace per l'addestramento di agenti linguistici a orizzonte lungo. Sfruttando la struttura compositiva intrinseca dei compiti agenziali, BEACON supera il collasso sistematico delle prestazioni associato all'aumento delle sequenze decisionali.

Gli autori sottolineano che il loro metodo non richiede costosi modelli di ricompensa di processo o critici appresi aggiuntivi. Invece, utilizza transizioni di stato osservabili per fornire un'assegnazione del credito precisa, permettendo agli agenti di apprendere in modo efficiente dai successi parziali e di risolvere i conflitti dei gradienti. I risultati suggeriscono che i prior strutturali (i traguardi) sono fondamentali per scalare il RL negli agenti linguistici, offrendo una strada verso sistemi autonomi più capaci per compiti complessi e multi-step come la navigazione web, il controllo incarnato e la sperimentazione scientifica.