🤖 machine learning

APEX: Autonomous Policy Exploration for Self-Evolving LLM Agents

Het artikel stelt APEX voor, een autonoom beleidsverkenningskader dat gebruikmaakt van een strategiekarte en een fork-ontdekkingsmechanisme om verkenningsinstorting in zelfevoluerende LLM-agenten te overwinnen, waardoor deze via geheugen en reflectie superieure strategieën kunnen ontdekken zonder modelgewichtsupdates.

Oorspronkelijke auteurs: Yibo Li, Jiashuo Yang, Zhi Zheng, Zhiyuan Hu, Yuan Sui, Shizun Wang, Yufei He, Bryan Hooi

Gepubliceerd 2026-05-21

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Yibo Li, Jiashuo Yang, Zhi Zheng, Zhiyuan Hu, Yuan Sui, Shizun Wang, Yufei He, Bryan Hooi

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Probleem: De "Comfortzone"-valstrik

Stel je voor dat je een complex videospel speelt (zoals een tekstavontuur waarin je commando's typt om een wereld te verkennen). Je hebt een slimme AI-assistent die je helpt.

In het begin probeert de AI veel verschillende dingen: deuren openen, voorwerpen oppakken, praten met NPC's. Maar na een tijdje vindt het een pad dat een fatsoenlijke score oplevert. Het wordt comfortabel. Het beseft: "Hé, als ik gewoon door deze specifieke gang loop en deze ene sleutel oppak, krijg ik elke keer punten."

Dus stopt het met het proberen van iets nieuws. Het blijft vastzitten in een lus, waarbij het dezelfde veilige routine keer op keer herhaalt.

Het Probleem: De AI doet het goed gemiddeld, maar het is gestopt met zoeken naar de "geheime schatkamer" die dubbele punten oplevert omdat deze verborgen is achter een deur die het nooit bedacht heeft om te proberen.
De Term uit het Papier: Dit heet Exploratie-inzakking (Exploration Collapse). De agent stopt met verkennen en exploiteert alleen wat het al weet, waardoor het betere strategieën mist.

De Oplossing: APEX (De "Verkennerstkaart")

De auteurs stellen een systeem voor dat APEX (Autonomous Policy Exploration) heet. In plaats van de AI gewoon te laten dwalen of fouten uit het verleden te memoriseren, geeft APEX de AI een Strategiokaart.

Bedenk deze kaart niet als een tekening van een gebouw, maar als een checklist van doelen die met elkaar verbonden zijn door regels.

Mijlpalen: Dit zijn specifieke doelen, zoals "Vind de Sleutel" of "Open de Kist".
Afhankelijkheden: De kaart weet dat je de "Kist niet kunt openen" totdat je de "Sleutel hebt gevonden".

Deze kaart fungeert als een gedeeld brein voor de AI, waarbij het precies bijhoudt wat het heeft geprobeerd en wat het nog niet heeft geprobeerd.

Hoe APEX Werkt: Het Twee-Motor Systeem

APEX gebruikt twee hoofdmechanismen om de AI te voorkomen dat het vast komt te zitten, die samenwerken als een Gids en een Detective.

1. De Detective: "Vorkontdekking" (Fork Discovery)

Stel je voor dat je door een museum loopt. Je ziet een deur die een klein stukje openstaat, maar je loopt erlangs omdat je gefocust bent op het schilderij voor je.

Wat er gebeurt: De AI ziet de deur maar opent hem niet.
De Taak van Vorkontdekking: Nadat het spel voorbij is, kijkt de "Detective" naar de herhaling. Het zegt: "Wacht, we zagen die deur! We hadden de kans om hem open te maken, maar we hebben het nooit gedaan. Laten we 'Open de Deur' toevoegen aan onze checklist als een nieuw doel."
Het Resultaat: De kaart groeit. Het vindt actief richtingen die de AI negeerde en voegt ze toe aan het plan, zodat de AI geen verborgen kansen mist.

2. De Gids: "Beleidselectie" (Policy Selection)

Nu de kaart een lijst met doelen heeft, moet de AI beslissen welke het als volgende aanpakt.

Het Probleem: Als de AI alleen het doel kiest waarvan het weet dat het de meeste punten oplevert, zal het nooit de nieuwe, risicovolle doelen proberen.
De Taak van Beleidselectie: Dit fungeert als een slimme gids die veiligheid balanceert met avontuur. Het gebruikt een wiskundige truc (genaamd Thompson Sampling) om te beslissen: "We hebben het doel 'Sleutel' 10 keer geprobeerd en het werkt. Maar we hebben het doel 'Deur' maar één keer geprobeerd. Laten we de Deur opnieuw proberen, want we weten nog niet of het een goudmijn is!"
Het Resultaat: De AI wordt gedwongen om de "onverkende" delen van de kaart te bezoeken, zodat het niet vast komt te zitten in een sleur.

De Cyclus van Verbetering

Elke paar spellen neemt het systeem een pauze om zijn kaart bij te werken:

Verfijnen: Het corrigeert fouten. (Bijv: "We dachten dat we een zwaard nodig hadden om de deur open te maken, maar eigenlijk hadden we gewoon een sleutel nodig.")
Propageren: Het werkt de statistieken bij. (Bijv: "Het doel 'Vind Sleutel' is eigenlijk heel belangrijk omdat het leidt naar de grote schat.")
Ontdekken: De Detective vindt nieuwe deuren om aan de kaart toe te voegen.

Waarom Het Werkt (De Resultaten)

De onderzoekers testten dit op twee soorten "spellen":

Tekstavonturen (Jericho): Complexe verhalen waarin je commando's typt.
Webinteractie (WebArena): Realistische taken zoals het navigeren door websites om dingen te kopen of informatie te vinden.

De Bevindingen:

Oude methoden (zoals Reflexion): Deze agents bleven vastzitten in hun comfortzones. Ze behaalden een fatsoenlijke gemiddelde score, maar vonden zelden de absolute beste oplossing.
APEX: Omdat het expliciet bijhoudt wat het niet heeft geprobeerd, vond het consequent betere strategieën. Het kreeg niet alleen een hogere gemiddelde score; het vond de "geheime schat" die anderen misten.

Samenvattende Analogie

Stel je voor dat je probeert de beste route naar je werk te vinden.

De Oude Manier: Je neemt elke dag dezelfde weg omdat die meestal snel is. Je controleert nooit of er een nieuwe afkorting is geopend.
De APEX-Manier: Je hebt een notitieboek (de Strategiokaart).
- Vorkontdekking is dat je naar een kaart kijkt en zegt: "Ik zag gisteren een nieuwe weg, maar ik heb hem niet genomen. Ik zal dat opschrijven om morgen te proberen."
- Beleidselectie is dat je besluit: "Ik heb 20 keer de hoofdweg genomen. Laten we vandaag de nieuwe weg proberen om te zien of die sneller is."

Door een gestructureerde lijst bij te houden van wat ze hebben geprobeerd en wat ze niet hebben geprobeerd, voorkomt APEX dat de AI lui wordt en zorgt het ervoor dat het blijft ontdekken betere manieren om problemen op te lossen.

Technische Samenvatting: APEX (Autonome Beleidsexploratie voor Zelfevoluerende LLM-agenten)

1. Probleemstelling: Exploratie-inzakking bij Zelfevoluerende Agenten

Hoewel agenten op basis van Large Language Models (LLM) bekwaamheid hebben aangetoond in complexe taken met een lange horizon, blijft een kritieke beperking bestaan: ze kunnen niet tijdens het testen leren zonder modelgewichten bij te werken. Bestaande zelfevoluerende agenten proberen dit te overwinnen door geheugen op te bouwen en reflectie uit te voeren over verschillende episodes. De auteurs identificeren echter een fenomeen dat exploratie-inzakking wordt genoemd.

Naarmate een agent ervaring opbouwt, neigt zijn gedrag zich te concentreren rond bekende routines met een hoge beloning. Hoewel de gemiddelde opbrengsten stabiel kunnen blijven of zelfs toenemen, neemt de exploratiediversiteit van de agent af, waardoor hij vast komt te zitten in smalle gedragspatronen. Bijgevolg faalt de agent in het ontdekken van kwalitatief verschillende, superieure strategieën die buiten zijn huidige "bekende" ruimte liggen. Het artikel betoogt dat bestaande geheugen- en reflectiemechanismen lokale begeleiding bieden, maar falen in het handhaven van een persistent, expliciet strategiegebied, waardoor de agent niet bewust is van welke keuzes hij nog niet heeft geprobeerd.

2. Methodologie: Het APEX-kader

Om exploratie-inzakking aan te pakken, stellen de auteurs APEX (Autonome Beleidsexploratie) voor. De kerninnovatie is het handhaven van een expliciete Strategiekarte, een gerichte acyclische graaf (DAG) die de kennis van de agent structureert en exploratie leidt.

2.1 De Strategiekarte

De strategiekarte $G = (V, E, \theta)$ is een DAG waarbij:

Knopen ( $V$ ): Mijlpalen vertegenwoordigen, gedefinieerd als discrete subdoelen beschreven in natuurlijke taal met geassocieerde sleutelacties (bijv. "verzamel het messing lantaarn").
Randen ( $E$ ): Coderen afhankelijkheden van prerequisieten (bijv. Knop $u$ moet worden bereikt voordat Knop $v$ wordt bereikt).
Statistieken ( $\theta$ ): Elke knop houdt bij: bezoeknummer ( $n$ ), gemiddelde beloning ( $\bar{r}$ ) en variantie van de beloning ($Var$).

Deze kaart transformeert de open-ended actieruimte in een gestructureerd planningsprobleem, waarbij de toestand van de agent de set van behaalde mijlpalen is.

2.2 Kerncomponenten

APEX werkt via een cyclus van vier distincte mechanismen:

Beleidselectie (Exploratie op Episodeniveau):
Tijdens een episode selecteert de agent de volgende mijlpaal uit de set van in aanmerking komende mijlpalen (die waarvan de prerequisieten zijn vervuld). Dit wordt geformuleerd als een multi-arm bandit-probleem. De auteurs evalueren drie strategieën:
- Thompson Sampling (Standaard): Steekproeven uit een posterieure verdeling gebaseerd op gemiddelde en variantie. Dit geeft op natuurlijke wijze de voorkeur aan mijlpalen met hoge onzekerheid (onderontdekt) zonder dat hyperparameter-tuning vereist is.
- UCB (Upper Confidence Bound): Voegt een optimistische bonus toe gebaseerd op bezoeknummers.
- $\epsilon$ -Greedy: Onderneemt willekeurig exploratie met waarschijnlijkheid $\epsilon$ .
- Mechanisme: Selectie is sequentieel; als een mijlpaal faalt, evalueert de agent opnieuw de in aanmerking komende mijlpalen in plaats van vast te zitten aan een vooraf bepaalde volgorde.
Kaartverfijning (Kenniscorrectie):
Periodiek (elke $N$ episodes) analyseert een LLM gestructureerde samenvattingen van recente episodes om de bestaande kaart bij te werken. Het verfijnt sleutelacties, corrigeert foutieve afhankelijkheidsranden en snoeit dubbele knopen op basis van waargenomen feiten. Dit zorgt ervoor dat de kaart accuraat blijft ten opzichte van de mechanica van de omgeving.
Terugkeerpropagatie (Krediettoewijzing):
Ook periodiek uitgevoerd, update dit onderdeel de statistieken ( $\theta$ ) van de mijlpalen. Met behulp van een reverse topologische pass op de DAG, propageert het beloningen van downstream-mijlpalen terug naar hun prerequisieten. Dit zorgt ervoor dat faciliterende mijlpalen (bijv. "vind sleutel") krediet krijgen voor het ontgrendelen van opbrengstrijke opvolgers (bijv. "open kist"), zelfs als de faciliterende mijlpaal zelf geen directe beloning oplevert.
Vorkontdekking (Uitbreiding Strategiegebied):
Dit is het primaire mechanisme om exploratie-inzakking te voorkomen. In tegenstelling tot Verfijning, dat bekende paden corrigeert, breidt Vorkontdekking actief de grens van de kaart uit. Een LLM analyseert episodesamenvattingen om acties of richtingen te identificeren die waargenomen of beschikbaar waren maar nooit werden nagestreefd. Het stelt nieuwe mijlpalen en afhankelijkheidsranden voor om deze onontdekte mogelijkheden te coderen, waardoor de agent effectief wordt gedwongen strategieën te overwegen die hij nog nooit heeft geprobeerd.

3. Belangrijkste Bijdragen

Identificatie van Exploratie-inzakking: Het artikel toont empirisch aan dat zelfevoluerende agenten (zoals Reflexion) vaak convergeren naar smalle gedragsroutines, waardoor ze superieure strategieën missen die statische, niet-lerende agenten af en toe vinden door pure diversiteit.
Expliciet Strategiegebied: APEX introduceert het eerste kader voor zelfevoluerende agenten dat een expliciete, gestructureerde kaart van het strategiegebied (mijlpalen en afhankelijkheden) handhaaft, in plaats van uitsluitend te vertrouwen op ongestructureerd geheugen of reflectie.
Dubbel-lus Exploratie: Het kader scheidt uitbreiding op kaartniveau (Vorkontdekking) van selectie op episodeniveau (Beleidselectie), waardoor een gesloten lus ontstaat waarbij nieuw territorium continu wordt geopend en systematisch wordt bezocht.
Robuuste Krediettoewijzing: De op DAG gebaseerde Terugkeerpropagatie zorgt ervoor dat faciliterende acties correct worden gewaardeerd, waardoor het probleem van schaarse beloningen in complexe taken wordt aangepakt.

4. Experimentele Resultaten

De auteurs evalueerden APEX op twee benchmarks: Jericho (9 tekstavonturenspellen) en WebArena (812 realistische webinteractietaken).

Prestaties: APEX presteerde consistent beter dan alle baselines (Static, Memory, Reflexion, EvoTest, ACE) in alle omgevingen.
- In Jericho behaalde APEX de hoogste Final-5 scores op alle 9 spellen. Opmerkelijk is dat APEX in spellen die diverse strategieën vereisen (bijv. Ztuu), aanzienlijk beter presteerde dan Reflexion, die vaak convergeerde naar suboptimale lokale maxima.
- In WebArena leidde APEX in alle 5 categorieën (Winkelen, Reddit, GitLab, CMS, Kaart), met bijzonder grote winsten op Reddit en GitLab waar multi-stap, niet-voor de hand liggende sequenties vereist zijn.
Ablatiestudies:
- DAG vs. Plat Lijst: De afhankelijkheidsstructuur (DAG) was cruciaal; een platte lijst van mijlpalen presteerde aanzienlijk slechter, wat bevestigt dat redeneren over prerequisieten essentieel is.
- Vorkontdekking: Het verwijderen van Vorkontdekking resulteerde in een aanzienlijke prestatiedaling, vooral in complexe spellen, wat bewijst dat actieve uitbreiding van het strategiegebied noodzakelijk is om inzinking te voorkomen.
- Beleidselectie: Thompson Sampling presteerde beter dan UCB en $\epsilon$ -Greedy, wat het belang van variantie-bewuste exploratie benadrukt.
- Terugkeerpropagatie: Op DAG gebaseerde kredietpropagatie presteerde beter dan sequentiële pad-gebaseerde propagatie, waardoor nauwkeurige waardebepaling voor faciliterende mijlpalen wordt gewaarborgd.
Generalisatie: APEX toonde sterke cross-task generalisatie op WebArena, waarbij kennis werd overgedragen van geziene taken naar ongeziene taken zonder taakspecifieke priors.
Kosten: Ondanks de extra reflectiecomponenten waren de API-kosten van APEX vergelijkbaar met andere methoden vanwege de beknopte aard van mijlpaal-geleide prompts.

5. Betekenis en Claims

Het artikel beweert dat APEX het probleem van exploratie-inzakking effectief oplost bij zelfevoluerende LLM-agenten door te verschuiven van impliciete, geheugen-gebaseerde leren naar expliciete, kaart-gebaseerde exploratie.

Betekenis: Het werk toont aan dat agenten om verbetering in de tijd te handhaven, niet alleen moeten reflecteren op wat ze hebben gedaan, maar ook actief een kaart moeten construeren en navigeren van wat ze niet hebben gedaan.
Bescheidenheid: De auteurs erkennen beperkingen: de kwaliteit van de strategiekarte wordt begrensd door het vermogen van de LLM om mijlpalen te identificeren en onontdekte richtingen af te leiden. Diep verborgen spelmekanica of strategieën die volledig buiten het verleden van de agent vallen, kunnen nog steeds worden gemist. Bovendien vertrouwt de huidige aanpak op taken die natuurlijk decomponeren in discrete mijlpalen, wat suggereert dat continue of minder gestructureerde omgevingen aanpassingen aan de mijlpaaldefinitie vereisen.

Concluderend biedt APEX een robuust kader voor duurzame exploratie, waardoor zelfevoluerende agenten superieure strategieën kunnen ontdekken die traditionele op reflectie gebaseerde methoden niet vinden.