🤖 machine learning

APEX: Autonomous Policy Exploration for Self-Evolving LLM Agents

Das Papier schlägt APEX vor, ein autonomes Rahmenwerk zur Politikexploration, das eine Strategie-Karte und einen Fork-Entdeckungsmechanismus nutzt, um den Explorationskollaps bei sich selbst weiterentwickelnden LLM-Agenten zu überwinden und es ihnen ermöglicht, durch Gedächtnis und Reflexion überlegene Strategien zu entdecken, ohne Modellgewichte zu aktualisieren.

Ursprüngliche Autoren: Yibo Li, Jiashuo Yang, Zhi Zheng, Zhiyuan Hu, Yuan Sui, Shizun Wang, Yufei He, Bryan Hooi

Veröffentlicht 2026-05-21

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Yibo Li, Jiashuo Yang, Zhi Zheng, Zhiyuan Hu, Yuan Sui, Shizun Wang, Yufei He, Bryan Hooi

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das Problem: Die „Komfortzone"-Falle

Stellen Sie sich vor, Sie spielen ein komplexes Videospiel (wie ein Textabenteuer, bei dem Sie Befehle eingeben, um eine Welt zu erkunden). Sie haben einen intelligenten KI-Assistenten, der Ihnen hilft.

Anfangs probiert die KI viele verschiedene Dinge aus: Türen öffnen, Gegenstände aufheben, mit NPCs sprechen. Aber nach einer Weile findet sie einen Pfad, der ihr eine anständige Punktzahl einbringt. Sie wird bequem. Sie erkennt: „Hey, wenn ich einfach diesen spezifischen Flur entlanglaufe und diesen einen Schlüssel aufhebe, bekomme ich jedes Mal Punkte."

Also hört sie auf, etwas Neues zu versuchen. Sie bleibt in einer Schleife stecken und wiederholt dieselbe sichere Routine immer und immer wieder.

Das Problem: Die KI schneidet im Durchschnitt gut ab, hat aber aufgehört, nach dem „geheimen Schatzraum" zu suchen, der die doppelte Punktzahl bringt, weil er hinter einer Tür verborgen ist, an die sie nie gedacht hat.
Der Begriff des Papiers: Dies wird als Exploration Collapse (Zusammenbruch der Exploration) bezeichnet. Der Agent hört auf zu explorieren und nutzt nur noch aus, was er bereits kennt, und verpasst dabei bessere Strategien.

Die Lösung: APEX (Die „Entdecker-Karte")

Die Autoren schlagen ein System namens APEX (Autonomous Policy Exploration) vor. Anstatt die KI einfach nur herumwandern zu lassen oder vergangene Fehler auswendig zu lernen, gibt APEX der KI eine Strategie-Karte.

Stellen Sie sich diese Karte nicht als Zeichnung eines Gebäudes vor, sondern als eine Checkliste von Zielen, die durch Regeln verbunden sind.

Meilensteine: Dies sind spezifische Ziele, wie „Schlüssel finden" oder „Kiste entsperren".
Abhängigkeiten: Die Karte weiß, dass Sie die „Kiste nicht entsperren" können, bevor Sie den „Schlüssel gefunden" haben.

Diese Karte fungiert als gemeinsames Gehirn für die KI und verfolgt genau, was sie versucht hat und was sie noch nicht versucht hat.

Wie APEX funktioniert: Das Zwei-Motoren-System

APEX verwendet zwei Hauptmechanismen, um die KI daran zu hindern, stecken zu bleiben, die zusammen wie ein Reiseleiter und ein Detektiv arbeiten.

1. Der Detektiv: „Fork Discovery" (Gabel-Entdeckung)

Stellen Sie sich vor, Sie gehen durch ein Museum. Sie sehen eine Tür, die einen Spalt offen steht, aber Sie gehen daran vorbei, weil Sie auf das Gemälde vor Ihnen fokussiert sind.

Was passiert: Die KI sieht die Tür, öffnet sie aber nicht.
Die Aufgabe von Fork Discovery: Nachdem das Spiel vorbei ist, betrachtet der „Detektiv" die Wiedergabe. Er sagt: „Warte, wir haben diese Tür gesehen! Wir hatten die Chance, sie zu öffnen, aber wir haben es nie getan. Fügen wir 'Tür öffnen' als neues Ziel zu unserer Checkliste hinzu."
Das Ergebnis: Die Karte wächst. Sie findet aktiv Richtungen, die die KI ignoriert hat, und fügt sie dem Plan hinzu, sodass die KI keine versteckten Möglichkeiten verpasst.

2. Der Reiseleiter: „Policy Selection" (Politik-Auswahl)

Jetzt, da die Karte eine Liste von Zielen hat, muss die KI entscheiden, welches sie als Nächstes angeht.

Das Problem: Wenn die KI nur das Ziel auswählt, von dem sie weiß, dass es die meisten Punkte bringt, wird sie niemals die neuen, riskanten Ziele ausprobieren.
Die Aufgabe von Policy Selection: Dies fungiert wie ein intelligenter Reiseleiter, der Sicherheit mit Abenteuer ausbalanciert. Es verwendet einen mathematischen Trick (genannt Thompson Sampling), um zu entscheiden: „Wir haben das 'Schlüssel'-Ziel 10-mal versucht und es funktioniert. Aber wir haben das 'Tür'-Ziel nur einmal versucht. Lassen Sie uns die Tür noch einmal versuchen, weil wir noch nicht wissen, ob sie ein Goldmine ist!"
Das Ergebnis: Die KI wird gezwungen, die „unerforschten" Teile der Karte zu besuchen, sodass sie nicht in einer Sackgasse stecken bleibt.

Der Verbesserungszyklus

Alle paar Spiele macht das System eine Pause, um seine Karte zu aktualisieren:

Verfeinern: Es korrigiert Fehler. (z. B. „Wir dachten, wir bräuchten ein Schwert, um die Tür zu öffnen, aber eigentlich brauchten wir nur einen Schlüssel.")
Propagieren: Es aktualisiert die Statistiken. (z. B. „Das 'Schlüssel finden'-Ziel ist tatsächlich sehr wichtig, weil es zum großen Schatz führt.")
Entdecken: Der Detektiv findet neue Türen, die zur Karte hinzugefügt werden sollen.

Warum es funktioniert (Die Ergebnisse)

Die Forscher testeten dies an zwei Arten von „Spielen":

Text-Abenteuer (Jericho): Komplexe Geschichten, bei denen Sie Befehle eingeben.
Web-Interaktion (WebArena): Realistische Aufgaben wie das Navigieren durch Websites, um Dinge zu kaufen oder Informationen zu finden.

Die Erkenntnisse:

Alte Methoden (wie Reflexion): Diese Agenten blieben in ihren Komfortzonen stecken. Sie erreichten eine anständige Durchschnittspunktzahl, fanden aber selten die absolut beste Lösung.
APEX: Da es explizit verfolgt, was es nicht versucht hat, fand es konsistent bessere Strategien. Es erreichte nicht nur einen höheren Durchschnitt; es fand den „geheimen Schatz", den andere verpasst hatten.

Zusammenfassende Analogie

Stellen Sie sich vor, Sie versuchen, die beste Route zur Arbeit zu finden.

Der alte Weg: Sie nehmen jeden Tag dieselbe Straße, weil sie normalerweise schnell ist. Sie prüfen nie, ob sich eine neue Abkürzung geöffnet hat.
Der APEX-Weg: Sie haben ein Notizbuch (die Strategie-Karte).
- Fork Discovery ist, wenn Sie auf eine Karte schauen und sagen: „Ich habe gestern eine neue Straße gesehen, aber ich bin sie nicht genommen. Ich werde das notieren, um es morgen zu versuchen."
- Policy Selection ist, wenn Sie entscheiden: „Ich habe die Hauptstraße 20-mal genommen. Lassen Sie uns heute die neue Straße ausprobieren, um zu sehen, ob sie schneller ist."

Indem sie eine strukturierte Liste dessen führen, was sie versucht haben und was nicht, verhindert APEX, dass die KI faul wird, und stellt sicher, dass sie weiterhin bessere Wege zur Lösung von Problemen entdeckt.

Technische Zusammenfassung: APEX (Autonome Politik-Exploration für sich selbst entwickelnde LLM-Agenten)

1. Problemstellung: Explorationskollaps bei sich selbst entwickelnden Agenten

Während Agenten auf Basis von Large Language Models (LLMs) ihre Kompetenz bei komplexen Aufgaben mit langem Zeithorizont unter Beweis gestellt haben, besteht eine kritische Einschränkung weiterhin: Sie können während des Tests ohne Aktualisierung der Modellgewichte nicht im laufenden Betrieb lernen. Bestehende selbstentwickelnde Agenten versuchen dies zu überwinden, indem sie Gedächtnis aufbauen und Reflexion über Episoden hinweg durchführen. Die Autoren identifizieren jedoch ein Phänomen, das sie als Explorationskollaps bezeichnen.

Wenn ein Agent Erfahrung sammelt, neigt sein Verhalten dazu, sich um vertraute, belohnungsstarke Routinen zu konzentrieren. Während die durchschnittlichen Erträge stabil bleiben oder sogar steigen können, nimmt die explorative Vielfalt des Agenten ab, wodurch er sich in enge Verhaltensmuster festsetzt. Folglich scheitert der Agent daran, qualitativ unterschiedliche, überlegene Strategien zu entdecken, die außerhalb seines aktuellen „bekannten" Raums liegen. Die Arbeit argumentiert, dass bestehende Gedächtnis- und Reflexionsmechanismen zwar lokale Anleitung bieten, aber versagen, einen persistenten, expliziten Strategieraum aufrechtzuerhalten, sodass der Agent nicht weiß, welche Entscheidungen er noch nicht getroffen hat.

2. Methodik: Das APEX-Framework

Um den Explorationskollaps zu adressieren, schlagen die Autoren APEX (Autonomous Policy Exploration) vor. Die Kerninnovation ist die Pflege einer expliziten Strategiekarte, eines gerichteten azyklischen Graphen (DAG), der das Wissen des Agenten strukturiert und die Exploration leitet.

2.1 Die Strategiekarte

Die Strategiekarte $G = (V, E, \theta)$ ist ein DAG, wobei:

Knoten ( $V$ ): Meilensteine repräsentieren, definiert als diskrete Teilziele, die in natürlicher Sprache beschrieben sind und mit assoziierten Schlüsselaktionen verbunden sind (z. B. „die Messlaterne sammeln").
Kanten ( $E$ ): Voraussetzungsabhängigkeiten kodieren (z. B. muss Knoten $u$ erreicht werden, bevor Knoten $v$ erreicht werden kann).
Statistiken ( $\theta$ ): Jeder Knoten verfolgt die Besuchszahl ( $n$ ), die durchschnittliche Belohnung ( $\bar{r}$ ) und die Varianz der Belohnung ($Var$).

Diese Karte verwandelt den offenen Aktionsraum in ein strukturiertes Planungsproblem, wobei der Zustand des Agenten die Menge der erreichten Meilensteine ist.

2.2 Kernkomponenten

APEX arbeitet durch einen Zyklus aus vier distincten Mechanismen:

Politikauswahl (Exploration auf Episodenebene):
Während einer Episode wählt der Agent den nächsten Meilenstein aus der Menge der qualifizierten Meilensteine (jene, deren Voraussetzungen erfüllt sind) aus. Dies wird als Problem des Multi-Armed Bandits formuliert. Die Autoren bewerten drei Strategien:
- Thompson Sampling (Standard): Stichprobenziehung aus einer Posterior-Verteilung basierend auf Mittelwert und Varianz. Es begünstigt auf natürliche Weise Meilensteine mit hoher Unsicherheit (unterexploriert), ohne Hyperparameter-Tuning zu erfordern.
- UCB (Upper Confidence Bound): Fügt einen Optimismus-Bonus basierend auf Besuchszahlen hinzu.
- $\epsilon$ -Greedy: Erforscht zufällig mit Wahrscheinlichkeit $\epsilon$ .
- Mechanismus: Die Auswahl erfolgt sequenziell; wenn ein Meilenstein fehlschlägt, bewertet der Agent qualifizierte Meilensteine neu, anstatt in eine vorbestimmte Sequenz gesperrt zu sein.
Kartenverfeinerung (Korrektur des Wissens):
Periodisch (alle $N$ Episoden) analysiert ein LLM strukturierte Zusammenfassungen der letzten Episoden, um die bestehende Karte zu aktualisieren. Es verfeinert Schlüsselaktionen, korrigiert fehlerhafte Abhängigkeitskanten und beschneidet doppelte Knoten basierend auf beobachteten Fakten. Dies stellt sicher, dass die Karte den Mechaniken der Umgebung genau entspricht.
Rückwärtsausbreitung der Erträge (Gutschriftszuweisung):
Auch dieses Modul läuft periodisch und aktualisiert die Statistiken ( $\theta$ ) der Meilensteine. Unter Verwendung eines Rückwärts-Durchlaufs in topologischer Reihenfolge auf dem DAG werden Belohnungen von nachgelagerten Meilensteinen zurück zu ihren Voraussetzungen propagiert. Dies stellt sicher, dass ermöglichende Meilensteine (z. B. „Schlüssel finden") Gutschrift für das Entriegeln von hochbelohnten Nachfolgern erhalten (z. B. „Kiste öffnen"), selbst wenn der ermöglichende Meilenstein selbst keine unmittelbare Belohnung liefert.
Gabel-Entdeckung (Erweiterung des Strategieraums):
Dies ist der primäre Mechanismus zur Verhinderung des Explorationskollapses. Im Gegensatz zur Verfeinerung, die bekannte Pfade korrigiert, erweitert die Gabel-Entdeckung aktiv die Grenze der Karte. Ein LLM analysiert Episoden-Zusammenfassungen, um Aktionen oder Richtungen zu identifizieren, die beobachtet oder verfügbar waren, aber nie verfolgt wurden. Es schlägt neue Meilensteine und Abhängigkeitskanten vor, um diese unerforschten Möglichkeiten zu kodieren, und zwingt den Agenten effektiv, Strategien zu berücksichtigen, die er noch nie versucht hat.

3. Hauptbeiträge

Identifikation des Explorationskollapses: Die Arbeit zeigt empirisch, dass sich selbst entwickelnde Agenten (wie Reflexion) oft in enge Verhaltensroutinen konvergieren und überlegene Strategien verpassen, auf die statische, nicht-lernende Agenten gelegentlich durch reine Vielfalt stoßen.
Expliziter Strategieraum: APEX führt das erste Framework für sich selbst entwickelnde Agenten ein, das eine explizite, strukturierte Karte des Strategieraums (Meilensteine und Abhängigkeiten) pflegt, anstatt sich ausschließlich auf unstrukturiertes Gedächtnis oder Reflexion zu verlassen.
Dual-Schleifen-Exploration: Das Framework trennt die Erweiterung auf Kartenebene (Gabel-Entdeckung) von der Auswahl auf Episodenebene (Politikauswahl) und schafft eine geschlossene Schleife, in der neues Terrain kontinuierlich erschlossen und systematisch besucht wird.
Robuste Gutschriftszuweisung: Die DAG-basierte Rückwärtsausbreitung der Erträge stellt sicher, dass ermöglichende Aktionen korrekt bewertet werden und adressiert das Problem der spärlichen Belohnungen bei komplexen Aufgaben.

4. Experimentelle Ergebnisse

Die Autoren evaluierten APEX auf zwei Benchmarks: Jericho (9 Text-Abenteuer-Spiele) und WebArena (812 realistische Web-Interaktionsaufgaben).

Leistung: APEX übertraf in allen Umgebungen konsistent alle Baselines (Static, Memory, Reflexion, EvoTest, ACE).
- In Jericho erzielte APEX die höchsten Final-5-Scores in allen 9 Spielen. Bemerkenswert ist, dass APEX in Spielen, die diverse Strategien erfordern (z. B. Ztuu), Reflexion signifikant übertraf, das oft in suboptimale lokale Maxima konvergierte.
- In WebArena führte APEX in allen 5 Kategorien (Shopping, Reddit, GitLab, CMS, Map), mit besonders großen Gewinnen bei Reddit und GitLab, wo mehrstufige, nicht-offensichtliche Sequenzen erforderlich sind.
Ablationsstudien:
- DAG vs. Flache Liste: Die Abhängigkeitsstruktur (DAG) war entscheidend; eine flache Liste von Meilensteinen schnitt signifikant schlechter ab, was bestätigt, dass das Schlussfolgern über Voraussetzungen der Schlüssel ist.
- Gabel-Entdeckung: Das Entfernen der Gabel-Entdeckung führte zu einem signifikanten Leistungsabfall, insbesondere in komplexen Spielen, was beweist, dass eine aktive Erweiterung des Strategieraums notwendig ist, um einen Kollaps zu vermeiden.
- Politikauswahl: Thompson Sampling schnitt besser ab als UCB und $\epsilon$ -Greedy und unterstreicht die Bedeutung einer varianzbewussten Exploration.
- Rückwärtsausbreitung der Erträge: Die DAG-basierte Gutschriftsausbreitung schnitt besser ab als eine sequenzielle, pfadbasierte Ausbreitung und stellte eine genaue Werteschätzung für ermöglichende Meilensteine sicher.
Generalisierung: APEX zeigte eine starke übergreifende Generalisierung auf WebArena und übertrug Wissen von gesehenen Aufgaben auf ungesehene ohne aufgabenspezifische Priors.
Kosten: Trotz der zusätzlichen Reflexionskomponenten waren die API-Kosten von APEX aufgrund der prägnanten Natur der meilensteingeführten Prompts mit anderen Methoden vergleichbar.

5. Bedeutung und Behauptungen

Die Arbeit behauptet, dass APEX das Problem des Explorationskollapses bei sich selbst entwickelnden LLM-Agenten effektiv löst, indem es von implizitem, gedächtnisbasiertem Lernen zu einer expliziten, kartenbasierten Exploration übergeht.

Bedeutung: Die Arbeit zeigt, dass Agenten, um eine Verbesserung über die Zeit aufrechtzuerhalten, nicht nur über das reflektieren müssen, was sie getan haben, sondern auch aktiv eine Karte dessen konstruieren und navigieren müssen, was sie nicht getan haben.
Bescheidenheit: Die Autoren erkennen Einschränkungen an: Die Qualität der Strategiekarte ist durch die Fähigkeit des LLM begrenzt, Meilensteine zu identifizieren und unerforschte Richtungen abzuleiten. Tief verborgene Spielmechaniken oder Strategien, die vollständig außerhalb des vergangenen Wissens des Agenten liegen, könnten dennoch übersehen werden. Darüber hinaus stützt sich der aktuelle Ansatz auf Aufgaben, die sich natürlich in diskrete Meilensteine zerlegen lassen, was darauf hindeutet, dass kontinuierliche oder weniger strukturierte Umgebungen Anpassungen der Meilenstein-Definition erfordern könnten.

Zusammenfassend bietet APEX ein robustes Framework für nachhaltige Exploration und ermöglicht es sich selbst entwickelnden Agenten, überlegene Strategien zu entdecken, die traditionelle reflexionsbasierte Methoden nicht finden können.