Technische Samenvatting: Beleidslernen geleid door mijlpalen voor taalkundige agenten met lange horizon (BEACON)

Probleemstelling

Het trainen van taalkundige agenten om taken met een lange horizon uit te voeren – waarbij tientallen sequentiële beslissingen nodig zijn – via versterkingsleren (RL) stuit op twee fundamentele beperkingen die inherent zijn aan optimalisatiemethoden op trajectniveau zoals GRPO:

1. Foutieve Toedeling van Credits: Huidige methoden toekennen credits uitsluitend op basis van eindresultaten. Bijgevolg worden correcte vroege acties gestraft als latere acties leiden tot falen. Dit creëert tegenstrijdige gradiëntsignalen voor identieke staat-actieparen, afhankelijk van de stochastiek stroomafwaarts, wat leidt tot gradiëntconflicten en instorting van het leerproces naarmate de taakhorizon uitbreidt.
2. Inefficiëntie in Steekproeven: Naarmate taakhorizonten langer worden, worden succesvolle trajecten schaars. Cruciaal is dat trajecten die aanzienlijke subdoelen bereiken maar het uiteindelijke doel niet halen, dezelfde nul-beloning krijgen als volledige mislukkingen. Dit goedt waardevolle leersignalen van "partieel succes" weg, wat resulteert in een hoog percentage steekproeven dat geen bruikbare gradiënt biedt.

Bestaande pogingen om de toedeling van credits te verdichten, zoals Process Reward Models (PRM's) of Monte Carlo-waarde schatting, introduceren prohibitieve annotatiekosten, rekenkundige overhead, of vertrouwen op patronen van staatsherhaling die afnemen in situaties met een lange horizon.

Methodologie: BEACON-raamwerk

De auteurs stellen BEACON (Benchmarking Environment for Action-Oriented Navigation) voor, een raamwerk dat gebruikmaakt van de compositieve structuur van taken met een lange horizon om de toedeling van credits over fasen te ontkoppelen. De kernaanname is de Mijlpalemarkov-eigenschap: zodra een semantisch subdoel (mijlpaal) is bereikt, hangt de toekomstige trajectverdeling voornamelijk af van de resterende subdoelen in plaats van de volledige uitvoeringsgeschiedenis.

BEACON werkt via drie geïntegreerde mechanismen:

1. Trajectpartitionering op Mijlpalgrenzen

In plaats van een traject te behandelen als een vlakke sequentie, partitioneert BEACON dit in segmenten op basis van waarneembare staatsovergangen die voltooiing van een subdoel aangeven (bijvoorbeeld een object oppakken, een webpagina bereiken). Een mijlpaaldetector $\Phi$ identificeert deze overgangen uit omgevingsfeedback zonder dat er geleerde modellen of handmatige annotaties nodig zijn.

• Resultaat: Trajecten worden verdeeld in segmenten $Seg_k$ begrensd door mijlpalen $M_k$.

2. Temporele Beloningsvormgeving

Om inefficiëntie in steekproeven aan te pakken, kent BEACON binnen segmenten gevormde beloningen toe om partieel vooruitgang te belonen.

• Mechanisme: Voor acties in een segment dat succesvol een mijlpaal bereikt, wordt een positieve beloning toegekend met temporele verval ($\gamma^{t_k - t}$). Acties in segmenten die geen mijlpaal bereiken, ontvangen nul beloning.
• Effect: Dit transformeert schaarse terminale signalen in dichte feedback, waardoor agenten leren van trajecten die subdoelen voltooien, zelfs als de uiteindelijke taak mislukt.

3. Dual-Schaal Voorsprongsschatting

Om foutieve toedeling van credits op te lossen, schat BEACON voorsprongen op twee schalen:

• Voorsprong op Trajectniveau ($A_{traj}$): Globaal berekend op basis van eindresultaten (gelijkend op GRPO) om uitlijning met het algehele taaksucces te behouden.
• Voorsprong op Segmentniveau ($A_{seg}$): Lokaal berekend door de opbrengst van een segment alleen te vergelijken met andere trajecten die hetzelfde mijlpaal hebben bereikt.
• Variance-isolatie: Door vergelijkingsgroepen te beperken tot trajecten die dezelfde mijlpaalgeschiedenis delen, isoleert $A_{seg}$ de kwaliteit van lokale acties van de variatie die wordt geïntroduceerd door daaropvolgende segmenten. Dit voorkomt dat correcte vroege acties worden gestraft door latere mislukkingen.
• Combinatie: De uiteindelijke voorsprong is een gewogen som: $\hat{A} = A_{traj} + \lambda \cdot A_{seg}$.

Belangrijkste Bijdragen

1. Diagnose van Beperkingen: Het artikel identificeert en kwantificeert empirisch foutieve toedeling van credits (meer dan 40% van de gradiëntupdates bevat tegenstrijdige signalen in lange taken) en inefficiëntie in steekproeven (partieel succes dat nul beloning oplevert) als de oorzaken van prestatie-instorting in RL met lange horizon.
2. BEACON-raamwerk: Introductie van een door mijlpalen geleid raamwerk voor beleidslernen dat trajecten partitioneert, temporele beloningsvormgeving toepast en dual-schaal voorsprongsschatting gebruikt om lokale actiekwaliteit te ontkoppelen van variatie stroomafwaarts.
3. Theoretisch Bewijs: Een bewijs dat aantoont dat onder de Mijlpalemarkov-eigenschap, voorsprongen op segmentniveau lokale actiekwaliteit isoleren van variatie stroomafwaarts, wat direct foutieve toedeling van credits aanpakt.
4. Empirische Validatie: Omvattende evaluatie over drie diverse benchmarks (ALFWorld, WebShop, ScienceWorld) die aantonen dat BEACON effectief schaalt met de taakhorizon, in tegenstelling tot bestaande baselines.

Experimentele Resultaten

Experimenten werden uitgevoerd met Qwen2.5-1.5B en Qwen2.5-7B-modellen op ALFWorld, WebShop en ScienceWorld.

• Prestaties op Taken met Lange Horizon: Op ALFWorld bereikt BEACON een 92,9% succespercentage op lange taken, bijna het dubbele van de 53,5% die door GRPO wordt behaald. Daarentegen degradeert GRPO scherp van 76,7% op korte taken naar 53,5% op lange taken.
• Efficiëntie in Steekproeven: BEACON verbetert de effectieve steekproefbenutting van 23,7% (GRPO) naar 82,0%, met succes leersignalen extraherend uit partieel succes dat andere methoden wegwerpen.
• Kwaliteit van Gradiënten: De Ratio van Nul-Voorsprong (steekproeven die een bijna-nul voorsprong ontvangen) daalt van ~55% (GRPO) naar ~10% (BEACON), en de Ratio van Tegenstrijdige Acties wordt aanzienlijk gereduceerd.
• Vergelijking met SFT: BEACON presteert beter dan supervisie-finetuning (SFT) op orakel-trajecten (91,4% versus 43%), wat bevestigt dat de winst voortkomt uit beleidsoptimalisatie die strategieën ontdekt die superieur zijn aan het orakel, in plaats van simpele imitatie.
• Robuustheid: BEACON behoudt robuuste prestaties over korte, middellange en lange horizonten, terwijl baselines zoals GRPO en GiGPO significante degradatie vertonen naarmate de taaklengte toeneemt.

Betekenis en Claims

Het artikel beweert dat mijlpaal-verankerde toedeling van credits een effectief paradigma vertegenwoordigt voor het trainen van taalkundige agenten met lange horizon. Door gebruik te maken van de inherente compositieve structuur van agent-taken, overwint BEACON de systematische prestatie-instorting die geassocieerd is met toenemende beslissingssequenties.

De auteurs benadrukken dat hun methode geen dure process reward-modellen of extra geleerde critici vereist. In plaats daarvan maakt het gebruik van waarneembare staatsovergangen om precieze toedeling van credits te bieden, waardoor agenten efficiënt kunnen leren van partieel succes en gradiëntconflicten kunnen oplossen. De resultaten suggereren dat structurele priors (mijlpalen) cruciaal zijn voor het schalen van RL in taalkundige agenten, en een weg bieden naar capabelere autonome systemen voor complexe, meerstaps taken zoals webnavigatie, geëmbodimenteerd control en wetenschappelijke experimenten.