Technische Samenvatting: Leren Verkennen: Schalen van Agente Redenering via Verkenning-bewuste Policy Optimalisatie

Probleemstelling

Recente vooruitgang in agente schaling tijdens testtijd stelt Large Language Models (LLM's) in staat om omgevingsfeedback te verzamelen voordat ze zich vastleggen op definitieve acties, waardoor multi-stap redenering tijdens implementatie mogelijk wordt. Echter, bestaande methoden lijden aan een kritieke beperking: ze hanteren niet-gedifferentieerde verkenningstrategieën. Huidige benaderingen verweven verkenning en actiekeuze doorgaans binnen één enkele policy, zonder het vermogen om adaptief te onderscheiden wanneer verkenning echt vereist is. Bijgevolg engageerden agenten zich vaak in indiscriminate verkenning, zelfs in goed begrepen staten, waardoor ze informatie met lage waarde accumuleren en kritieke signalen verduisteren. Omgekeerd kunnen ze onvoldoende verkennen in onbekende staten, wat leidt tot suboptimale besluitvorming. De kernuitdaging is agenten te leren om interactiestappen adaptief toe te wijzen op basis van onzekerheid, onderscheidend tussen wanneer informatiezoekende verkenning noodzakelijk is en wanneer directe doelgerichtheid voldoende is.

Methodologie

Het artikel stelt Verkenning-bewuste Policy Optimalisatie (EAPO) voor, een raamwerk ontworpen om agenten in staat te stellen selectief te verkennen op geschikte staten en verworven informatie te benutten voor besluitvorming. De methodologie bestaat uit drie hoofdbestanddelen:

1. Verkenning-en-Memorie Redeneermodus

Om het redeneerproces te structureren, introduceren de auteurs een specifiek outputformaat waarbij de agent expliciet genereert:

• Verkenningsgids ($e_t$): Een gestructureerde strategie die specificeert welke informatie moet worden verkregen en welke kandidaat-acties moeten worden ondernomen.
• Cumulatieve Memorie ($m_t$): Een samenvatting van taakrelevante informatie, ontleend aan eerdere interacties en nieuw waargenomen staten.
• Uitvoerbare Actie ($a_t$): De uiteindelijke actie die wordt ondernomen.

Deze scheiding stelt de agent in staat om na te denken over omgevingsdynamica voordat hij zich vastlegt op uitvoering, en houdt een persistente log bij van bezochte staten, wat het hergebruik van verworven informatie faciliteert.

2. Gedetailleerde Reward Modeling via Variatie Inference

Om waardevolle verkenning te stimuleren zonder afhankelijk te zijn van kostbare online rollouts, ontwerpen de auteurs een rewardfunctie die de nuttigheid van verkenningacties evalueert.

• Bayesiaans Perspectief: De methode behandelt verkenning en memorie als latente variabelen. Het definieert een Bayesiaanse verkenningreward gebaseerd op de posterior-kans van taalsucces gegeven de huidige staat, verkenningstrategie en memorie.
• Variatie Proxy: Aangezien de ware posterior onberekenbaar is, wordt een leerbare variatie-proxy $q_\phi$ getraind om de verdeling van optimale verkenning-memorie-configuraties te benaderen.
• Reward Definitie: De reward $R_{explore}$ wordt gedefinieerd als het maximum van:
  1. De nuttigheid van directe exploitatie (met bestaande memorie).
  2. De nuttigheid van proactieve verkenning (het integreren van een nieuw waargenomen staat in de memorie), afgevlakt met $\gamma^2$ om latentie te bestraffen en over-conservatisme te voorkomen.
• Totale Reward: De uiteindelijke reward is een gewogen combinatie van het taalsuccessignaal, een formatreward (die gestructureerde output garandeert) en de verkenningreward.

3. Verkenning-bewuste Twee-Fase Trainingsstrategie

Om de uitdagingen van credit toewijzing en policy optimalisatie in aanwezigheid van verkenning aan te pakken, hanteert EAPO een tweefasige aanpak:

• Fase 1: Leren Terugdraaien (SFT): Agenten worden gesuperviseerd fine-getuned op een expertdataset om het vermogen te verwerven om terug te draaien naar eerdere staten (bijvoorbeeld door op een "terug"-knop te klikken) nadat een verkenningactie leidt tot een ongewenste staat. Dit behandelt verkenning als een omkeerbaar gedrag in plaats van een terminaal risico.
• Fase 2: Verkenning-bewuste Policy Optimalisatie (GRPO): De auteurs modificeren Group Relative Policy Optimization (GRPO) door bezoekdiepte ($\kappa$) in te voeren als een clustering-criterium. Transities worden niet alleen gegroepeerd op staat, maar op het aantal keren dat de agent die staat opnieuw heeft bezocht. Dit zorgt ervoor dat verkenningacties worden vergeleken met andere acties op vergelijkbare informatieve stadia, waardoor de onderschatting van de waarde van verkenning wordt voorkomen die optreedt wanneer vroege verkenningstappen worden vergeleken met definitieve uitvoeringstappen binnen dezelfde groep.

Belangrijkste Bijdragen

1. Verkenning-bewust Raamwerk: Een nieuwe methode voor policy optimalisatie die agenten expliciet leert onderscheid te maken tussen wanneer ze moeten verkennen en wanneer ze moeten uitvoeren, verdergaand dan uniforme verkenningstrategieën.
2. Variatie Reward Modeling: Een principiële aanpak om de nuttigheid van verkenningacties te kwantificeren met behulp van variatie inference, waarbij de hoge rekenkosten van online trajectsampling worden vermeden terwijl stabiele rewardsignalen worden geboden.
3. Gestructureerde Redenering & Memorie: De introductie van expliciete <explore> en <memory> tags die informatieverzameling en statessamenvatting direct integreren in de redeneerlus van de agent.
4. Bezoekdiepte-groepering: Een mechanisme om schatting van voordelen te stabiliseren door transities te clusteren op basis van hoe vaak een staat is bezocht, waardoor een eerlijke vergelijking tussen verkenning- en exploitatiefases wordt gewaarborgd.
5. Terugdraai-capaciteit: De integratie van een gesuperviseerd terugdraaimechanisme dat agenten in staat stelt zich te herstellen van verkenning-misstappen, waardoor verkenning een veilig en omkeerbaar proces wordt.

Experimentele Resultaten

De auteurs evalueerden EAPO in vier uitdagende omgevingen: ALFWorld en WebShop (tekstgebaseerd), en AndroidWorld en OSWorld (GUI-gebaseerd).

• Prestatiewinst: EAPO presteerde consistent beter dan sterke baselines (inclusief GRPO, DAPO, GiGPO, LAMER en diverse gesloten-bronmodellen) in alle omgevingen. Verbeteringen varieerden van 20% tot 60% ten opzichte van bestaande methoden.
• Model-efficiëntie: Een 2B-schaalmodel getraind met EAPO behaalde prestaties die vergelijkbaar waren met of zelfs overtroffen die van aanzienlijk grotere algemene en agente modellen (bijvoorbeeld 72B parametermodellen), wat aantoont dat effectieve verkenningstrategieën de parameterschaal kunnen compenseren.
• Adaptief Gedrag: Analyse toonde aan dat agenten getraind met EAPO adaptieve verkenning vertonen: ze verhogen de mate van verkenning in onzekere staten en convergeren naar selectieve verkenning naarmate ze de omgeving leren, waardoor indiscriminate trial-and-error wordt vermeden.
• Generalisatie: Modellen getraind op AndroidWorld generaliseerden effectief naar de ongezichte OSWorld-omgeving met slechts een lichte prestatiedegradatie, wat suggereert dat de geleerde verkenningbeleid domein-invariant zijn.
• Efficiëntie: De methode veroorzaakte slechts ongeveer 30% extra trainingskosten (voornamelijk door het trainen van het variatie rewardmodel) in vergelijking met standaard GRPO, terwijl de dure online sampling die door alternatieve benaderingen wordt vereist, wordt vermeden. De inferentietijd kende een bescheiden toename (maximaal 10 extra stappen gemiddeld) door verkenning, gecontroleerd door de disconteringsfactor.

Betekenis en Claims

Het artikel beweert dat EAPO een significante stap voorwaarts vertegenwoordigt in agente schaling tijdens testtijd. Door de nuttigheid van verkenning expliciet te modelleren en informatiezoekend gedrag te scheiden van besluitvorming, stelt het raamwerk agenten in staat om:

• Na te denken over onzekerheid: Agenten leren te identificeren wanneer de huidige staat of memorie onvoldoende is voor een beslissing en proactief informatie te zoeken.
• Resource toewijzing optimaliseren: Agenten vermijden het verspillen van interactiestappen aan redundante verkenning in bekende staten, terwijl ze effectief kritieke data verzamelen in nieuwe scenario's.
• Robuuste generalisatie bereiken: Het vermogen om adaptief te verkennen stelt agenten in staat om omgevingen buiten de verdeling (bijvoorbeeld bijgewerkte UI-indelingen) te hanteren zonder dat omgevingsspecifiek hertrainen nodig is.

De auteurs concluderen dat leren wanneer en hoe te verkennen een fundamenteel vermogen is dat de besluitkwaliteit en het begrip van de omgeving aanzienlijk kan verbeteren, vaak effectiever dan het simpelweg schalen van modelparameters. Het werk biedt een principiële raamwerk voor het integreren van verkenning in het redeneerproces van agente LLM's, verdergaand dan heuristische of uniforme verkenningstrategieën.