Technische Samenvatting: Omgevings-gegronde Automatische Prompt Optimalisatie voor LLM Game Agents

Probleemstelling

Large Language Model (LLM) agents in interactieve omgevingen zijn zeer gevoelig voor hun prompts, terwijl prompt engineering nog steeds een handmatig, taakspecifiek proces is. Hoewel LLM's dienen als krachtige redeneermotoren, hebben ze vaak moeite met ruimtelijke interpretatie, langetermijnplanning en adaptatie in situaties met onvolledige informatie, zoals bij interactieve games. Bestaande oplossingen vertrouwen ofwel op handmatig ontworpen, domeinspecifieke architecturen die handmatige aanpassing voor nieuwe domeinen vereisen, of omvatten kostbare fine-tuning van modellen. Bovendien vertrouwen huidige methoden voor prompt-optimalisatie vaak op statische datasets, wat kan leiden tot overfitting en faalt in het vatten van de niet-stationaire aard van interactieve omgevingen. De kernuitdaging is het automatisch afleiden van taakspecifieke prompts die de prestaties van de agent maximaliseren zonder de modelgewichten bij te werken of uitgebreide menselijke supervisie te vereisen.

Methodologie: RAPOA

De auteurs stellen RAPOA voor (Reward-driven Automatic Prompt Optimisation for Agentic systems), een framework dat een gedecomposeerde agent-architectuur combineert met een evolutionaire prompt-optimalisatielus die wordt gestuurd door omgevingsreturns.

1. Agentic Architectuur: De SPA Agent

In plaats van een monolithische agent die taken zoals staat-parsing, strategie en actie-selectie simultaan afhandelt, verdeelt RAPOA deze taken over twee sub-agents:

• Descriptor Agent ($A_{des}$): Een perceptiemodule die de ruwe omgevingsobservatie conditioneert naar een doelrelevant overzicht. Deze extraheert taakrelevante informatie zonder de last van planning.
• Action Selection Agent ($A_{act}$): Een planningsmodule die de missie, de samenvatting van de descriptor en de huidige staat van de agent neemt om de volgende actie te selecteren.
  Deze "Split Perception Action" (SPA) architectuur bootst de actor-critic scheiding na die wordt gevonden in Reinforcement Learning (RL), waardoor meer gerichte prompt-optimalisatie mogelijk is.

2. De Optimalisatielus

RAPOA werkt via een iteratief evolutionair proces:

• Rollout: De agent interageert met de omgeving (BabyAI taken) om trajecten (episoden) van observaties, acties en beloningen te genereren.
• Behavior Analyzer (BA): Deze module analyseert mislukte en succesvolle trajecten om uitkomsten toe te schrijven aan specifieke componenten van de prompt. Het identificeert foutmodi (bijv. "Acties houden geen rekening met botsingen") en succesvol gedrag, en rangschikt deze op basis van ernst.
• Mutator: Op basis van de BA-analyse stelt de Mutator gerichte revisies voor aan de prompts van de sub-agents. Het zorgt ervoor dat wijzigingen minimaal en coherent zijn en de architecturale grens respecteren (bijv. dat de Descriptor niet redeneert over taakvoltooiing).
• Tweestaps Evaluatie: Voorgestelde mutaties ondergaan een strikte acceptatietest:
  1. In-loop Optimalisatie: De kandidaat moet de prestaties verbeteren ten opzichte van de huidige prompt op een set van optimalisatie-seeds ($S_{opt}$) met een drempelwaarde $\delta$.
  2. Held-out Selectie: De kandidaat moet ook de prestaties verbeteren op een aparte, vaste set van selectie-seeds ($S_{select}$) om generalisatie te waarborgen en overfitting te voorkomen.

3. Kerncomponenten

• Omgevings-gronding: In tegen tegenstelling tot methoden die gebruikmaken van LLM-als-rechter (LLM-as-a-judge), gebruikt RAPOA daadwerkelijke omgevingsbeloningen als het optimalisatiesignaal, wat het signaal niet-stationair maakt en moeilijker te overfitten maakt.
• Op Ernst Geordende Adaptatie: Het systeem geeft prioriteit aan het oplossen van de meest ernstige foutmodi eerst, waarbij sub-agents sequentieel worden aangepast op basis van de gerangschikte lijst van de BA.

Belangrijkste Bijdragen

1. Geautomatiseerd Prompt Optimalisatie Framework: Een systeem dat zowel monolithische als multi-agent (gedecomposeerde) LLM-agents automatisch optimaliseert, waardoor handmatige prompt engineering overbodig wordt.
2. Gezamenlijk Prompt Optimalisatieprocedure: Een methode die episode-returns en gedragsanalyse van staatsovergangen gebruikt om prompts voor meerdere sub-agents gelijktijdig te verfijnen.
3. Synergie tussen Decompositie en Optimalisatie: De demonstratie dat het splitsen van de agent in perceptie- en actiemodules, gecombineerd met automatische prompt-tuning, de prestaties van monolithische baselines aanzienlijk overtreft zonder dat er gradiënt-updates of gewicht-fine-tuning nodig zijn.

Experimentele Resultaten

Het framework werd geëvalueerd op de BALROG benchmark, specif specifiek op vijf BabyAI taakfamilies: GOTO, PICKUP, OPEN, PUTNEXT, en PICKUPSEQGOTO. De experimenten vergeleken de RAPOA-geoptimaliseerde SPA agent met de BALROG baseline (RobustCoTAgent) onder zowel "Plain" (minimale) als "Guided" (taakspecifieke) prompt-initialisaties.

• Prestatiewinst: Optimalisatie verbeterde de prestaties consistent over alle taken en condities.
  • Op de PUTNEXT taak (een complexe multi-step coördinatietaak) behaalde de baseline RobustCoTAgent 0% succes. Het RAPOA-framework, gebruikmakend van dezelfde onderliggende LLM (GPT-OSS-20B), behaalde tot wel 72,5% succesrate met geoptimaliseerde prompts.
  • Voor de SPA agent met guided initialisatie steeg de gemiddelde succesrate over de vijf taken van 65,5% naar 79,2%.
  • Zelfs met plain (minimale) prompts evenaarde of overtrof de SPA agent de guided BALROG baseline, wat de robuustheid van de decompositie aantoont.
• Generalisatie: Geoptimaliseerde prompts voor complexe taken (zoals PUTNEXT) vertoonden sterke transferbaarheid naar simpelere taken (zoals PICKUP), terwijl prompts die geoptimaliseerd waren voor geïsoleerde taken (zoals OPEN) niet goed generaliseerden, wat suggereert dat de optimizer universele sub-vaardigheden voor complexe coördinatie leert.
• Ablatie Studies:
  • Acceptatiecriteria: Strikte acceptatiepoorten (die prestatieverbetering vereisten) bleken cruciaal. Zonder deze (always-accept) neigde de optimizer naar afwijking van optimale staten, vooral bij taken met een ijle beloning (sparse reward).
  • Selectiedruk: Lage selectiedruk maakte meer exploratie mogelijk in sparse reward landschappen, wat vaak betere resultaten opleverde voor moeilijke taken zoals PUTNEXT.
  • Modulebeperkingen: Wanneer de optimizer werd beperkt tot het muteren van alleen de Action Selection agent, presteerde deze nog steeds beter dan de monolithische baseline, hoewel het volledige gedecomposeerde systeem het best presteerde.

Betekenis en Claims

Het artikel claimt dat RAPOA een nieuwe en geautomatiseerde manier biedt om LLM-agents aan te passen aan nieuwe taken zonder de computationele kosten van fine-tuning of de arbeid van handmatige herontwerp. De resultaten suggereren dat:

• Decompositie effectief is: Het scheiden van staat-interpretatie van planning maakt het optimalisatieproces hanteerbaarder en effectiever.
• Omgevings-gegronde optimalisatie superieur is: Het gebruik van omgevingsbeloningen in plaats van statische datasets of LLM-rechters maakt de ontdekking van robuuste, generaliseerbare strategieën mogelijk.
• Prompt-optimalisatie een levensvatbaar alternatief is voor fine-tuning: Significante prestatiewinsten (bijv. van 0% naar 72,5% op PUTNEXT) kunnen worden bereikt door enkel de prompt te verfijnen, terwijl de modelgewichten vast blijven.

De auteurs blijven bescheiden over de reikwijdte en merken op dat de experimenten momenteel beperkt zijn tot één domein (BabyAI) en één LLM. Zij identificeren toekomstig werk zoals het testen van de generalisatie over diverse omgevingen, taakverdelingen en grotere meta-LLM's, evenals het verkennen van populatie-gebaseerde optimalisatievarianten om voortijdige convergentie te verminderen. Zij benadrukken ook procedureel gegenereerde game-omgevingen als een veelbelovend testveld voor het vermijden van test-set contaminatie in prompt-optimalisatie onderzoek.