🤖 AI

Learning to Explore: Scaling Agentic Reasoning via Exploration-Aware Policy Optimization

Dieser Artikel schlägt einen explorationsbewussten Reinforcement-Learning-Rahmen vor, der es LLM-Agenten ermöglicht, adaptiv zwischen hochunsicheren Szenarien, die Exploration erfordern, und klaren Kontexten, die für die Ausführung geeignet sind, zu unterscheiden, wodurch konsistente Leistungsverbesserungen über textbasierte und GUI-basierte Agenten-Benchmarks hinweg erzielt werden.

Ursprüngliche Autoren: Xingyuan Hua, Sheng Yue, Ju Ren

Veröffentlicht 2026-05-12

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Xingyuan Hua, Sheng Yue, Ju Ren

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Problem: Die „Raten-und-Prüfen"-Falle

Stellen Sie sich vor, Sie versuchen, ein komplexes Puzzle in einem neuen Raum zu lösen, können aber nicht das gesamte Bild auf einmal sehen. Sie müssen herumlaufen, Dinge anfassen und Schubladen öffnen, um herauszufinden, wo die Teile hingehören.

Aktuelle KI-Agenten (intelligente Computerprogramme) sind wie Menschen, die Angst haben, sich umzusehen. Sie sind darauf trainiert, geradewegs zum Ziel zu eilen. Wenn sie nicht zu 100 % sicher sind, was zu tun ist, tun sie entweder Folgendes:

Aufgeben und falsch raten.
Ziellos herumirren und jede einzelne Schubladen im Raum öffnen, selbst wenn sie die Antwort bereits kennen, was Zeit und Energie verschwendet.

Das Paper argumentiert, dass Menschen darin besser sind. Wenn wir uns unsicher sind, halten wir inne, schauen uns um, um Hinweise zu sammeln, und dann machen wir unseren Zug. Wenn wir einen Fehler machen, können wir einen Schritt zurücktreten und einen anderen Weg versuchen. Aktuelle KI hat Schwierigkeiten, dies auf natürliche Weise zu tun.

Die Lösung: EAPO (Der „kluge Entdecker")

Die Autoren entwickelten eine neue Trainingsmethode namens EAPO (Exploration-Aware Policy Optimization). Stellen Sie sich EAPO als einen Trainer vor, der der KI einen spezifischen Dreischritt tanzen lässt: Erkunden, Merken und Handeln.

So funktioniert es, aufgeteilt in einfache Konzepte:

1. Der „Rucksack" und das „Notizbuch" (Gedächtnis & Erkundung)

Stellen Sie sich die KI als Wanderer vor.

Der Rucksack (Gedächtnis): Die KI trägt einen „Rucksack", in den sie alles aufschreibt, was sie sieht. Wenn sie eine Tür öffnet und eine rote Wand sieht, schreibt sie „Rote Wand hinter der Tür" in ihr Notizbuch.
Der „Erkunden"-Modus: Wenn die KI verwirrt ist, ratet sie nicht einfach. Sie schaltet in den „Erkunden-Modus". Sie sagt: „Ich bin mir nicht sicher, was hinter dieser Tür ist. Lassen Sie mich kurz hineinschauen, es in mein Notizbuch schreiben und dann wieder herauskommen."

Das Paper führt ein spezielles Format ein, in dem die KI explizit aufschreiben muss:

: „Ich werde diesen Knopf prüfen, um zu sehen, was passiert."
: „Okay, ich habe ihn geprüft. Er schaltet ein Licht ein. Ich werde mir das merken."
: „Jetzt, wo ich weiß, dass das Licht an ist, werde ich den grünen Knopf drücken."

2. Der „Zeitreise"-Trick (Rückgängigmachen)

Dies ist der magischste Teil. In vielen Videospielen sterben Sie, wenn Sie in eine Falle laufen, und müssen das ganze Level neu starten. Das ist frustrierend und ineffizient.

Das Paper lehrt die KI, wie man Zeit reist (Rückgängigmachen).

Wenn die KI einen Weg erkundet und feststellt: „Oh nein, das war die falsche Tür," gerät sie nicht in Panik.
Sie benutzt einen „Zurück"-Knopf (wie in einem Webbrowser), um sofort genau an die Stelle zurückzukehren, bevor sie den Fehler machte.
Entscheidend ist, dass sie die Notizen behält, die sie während der Erkundung gemacht hat. Sie erinnert sich: „Ich habe die rote Tür versucht, und sie war verschlossen. Also werde ich sie nicht noch einmal versuchen."

Dies verwandelt die Erkundung von einer „Sackgasse" in eine „Lernchance".

3. Das „kluge Belohnungssystem"

Wie bringt man eine KI dazu zu erkunden, ohne dass sie für immer ziellos herumwandert? Man braucht ein gutes Belohnungssystem.

Alter Weg: Die KI erhält eine Belohnung nur, wenn sie die Aufgabe beendet. Sie lernt, dass Erkundung eine Zeitverschwendung ist, weil sie die Belohnung verzögert.
EAPO-Weg: Die KI erhält einen „Bonuspunkt" für das Sammeln nützlicher Informationen.
- Wenn die KI in eine Schublade schaut und einen Schlüssel findet, erhält sie eine Belohnung, selbst wenn sie den Schlüssel noch nicht benutzt hat.
- Wenn die KI in eine Schublade schaut und nichts findet, erhält sie eine kleine Strafe für Zeitverschwendung.
- Dies lehrt die KI, selektiv zu sein: „Ich werde nur erkunden, wenn ich denke, dass ich etwas Nützliches finden könnte."

Was passierte in den Experimenten?

Die Forscher testeten diesen „klugen Entdecker" an vier verschiedenen Arten von Herausforderungen:

Textbasierte Aufgaben: Wie das Befolgen eines Rezepts oder das Lösen eines Text-Abenteuerspiels.
Online-Shopping: Das Finden spezifischer Artikel auf einer Website.
Mobile Apps (Android): Das Navigieren durch Telefonmenüs, um Einstellungen zu ändern.
Desktop-Computer (Betriebssystem): Die Verwendung eines Computers zum Öffnen von Dateien und Verschieben von Fenstern.

Die Ergebnisse:

Bessere Leistung: Die mit EAPO trainierte KI löste signifikant mehr Aufgaben als andere KI-Methoden (in einigen Fällen eine Verbesserung der Erfolgsraten um 20 % bis 60 %).
Kleine Modelle, große Gehirne: Ein sehr kleines KI-Modell (2 Milliarden Parameter), das mit EAPO trainiert wurde, performte besser als viel größere, teurere Modelle, die diese Methode nicht nutzten. Es bewies, dass wie man denkt, wichtiger ist als nur wie groß dein Gehirn ist.
Anpassungsfähigkeit: Die KI lernte, nur zu erkunden, wenn sie verwirrt war. Wenn sie die Antwort wusste, handelte sie schnell. Wenn sie verloren war, hielt sie inne und sammelte Hinweise.

Das Fazit

Dieses Paper zeigt, dass wir KI-Agenten lehren können, neugierig, aber diszipliniert zu sein. Anstatt blind zu raten oder alles hektisch anzuklicken, lernen sie:

Zu stoppen, wenn sie unsicher sind.
Informationen zu sammeln (erkunden).
Sie aufzuschreiben (Gedächtnis).
Einen Schritt zurückzutreten, wenn sie einen Fehler machen (Rückgängigmachen).
Dieses neue Wissen zu nutzen, um den richtigen Zug zu machen.

Es ist der Unterschied zwischen einem Touristen, der durch eine Stadt rennt und schreit „Wo ist das Museum?!", und einem klugen Reisenden, der eine Karte prüft, einen Einheimischen fragt, die Wegbeschreibung notiert und dann selbstbewusst zum Ziel läuft.

Technische Zusammenfassung: Lernen zum Erkunden: Skalierung agentischer Reasoning durch explorationsbewusste Policy-Optimierung

Problemstellung

Jüngste Fortschritte bei der Skalierung agentischer Testzeit ermöglichen es Large Language Models (LLMs), Umgebungsfeedback zu sammeln, bevor sie sich zu endgültigen Aktionen verpflichten, und damit mehrstufiges Reasoning während des Einsatzes zu ermöglichen. Allerdings leiden bestehende Methoden unter einer kritischen Einschränkung: Sie setzen undifferenzierte Erkundungsstrategien ein. Aktuelle Ansätze verknüpfen Erkundung und Aktionsauswahl typischerweise innerhalb einer einzigen Policy und verfügen nicht über die Fähigkeit, adaptiv zu unterscheiden, wann Erkundung tatsächlich erforderlich ist. Folglich führen Agenten oft eine ununterschiedliche Erkundung auch in gut verstandenen Zuständen durch, sammeln dabei Informationen mit geringem Wert und verschleiern kritische Signale. Umgekehrt können sie in unbekannten Zuständen unzureichend erkunden, was zu suboptimaler Entscheidungsfindung führt. Die Kernherausforderung besteht darin, Agenten beizubringen, Interaktionsschritte adaptiv basierend auf Unsicherheit zuzuweisen und zu unterscheiden, wann informationsorientierte Erkundung notwendig ist und wann eine direkte Zielverfolgung ausreicht.

Methodik

Die Arbeit schlägt Exploration-Aware Policy Optimization (EAPO) vor, ein Framework, das entwickelt wurde, um Agenten zu ermöglichen, in geeigneten Zuständen selektiv zu erkunden und gewonnene Informationen für die Entscheidungsfindung zu nutzen. Die Methodik besteht aus drei Hauptkomponenten:

1. Erkundungs- und Speicher-Reasoning-Modus

Um den Reasoning-Prozess zu strukturieren, führen die Autoren ein spezifisches Ausgabeformat ein, bei dem der Agent explizit generiert:

Erkundungsanleitung ( $e_t$ ): Eine strukturierte Strategie, die angibt, welche Informationen zu beschaffen sind und welche Kandidatenaktionen zu ergreifen sind.
Akkumulativer Speicher ( $m_t$ ): Eine Zusammenfassung aufgabenrelevanter Informationen, die aus vergangenen Interaktionen und neu beobachteten Zuständen extrahiert wurden.
Ausführbare Aktion ( $a_t$ ): Die endgültig getroffene Aktion.

Diese Trennung ermöglicht es dem Agenten, über Umgebungs dynamiken nachzudenken, bevor er sich zur Ausführung verpflichtet, und führt ein persistentes Protokoll besuchter Zustände, was die Wiederverwendung gewonnener Informationen erleichtert.

2. Feingranulare Reward-Modellierung via Variational Inference

Um wertvolle Erkundung zu incentivieren, ohne auf kostspielige Online-Rollouts angewiesen zu sein, entwerfen die Autoren eine Reward-Funktion, die den Nutzen von Erkundungsaktionen bewertet.

Bayessche Perspektive: Die Methode behandelt Erkundung und Speicher als latente Variablen. Sie definiert einen bayesschen Erkundungs-Reward basierend auf der Posterior-Wahrscheinlichkeit des Aufgabenerfolgs gegeben den aktuellen Zustand, die Erkundungsstrategie und den Speicher.
Variationaler Proxy: Da der wahre Posterior nicht handhabbar ist, wird ein lernbarer variationaler Proxy $q_\phi$ trainiert, um die Verteilung optimaler Erkundungs-Speicher-Konfigurationen zu approximieren.
Reward-Definition: Der Reward $R_{explore}$ $R_{e x pl or e}$ ist definiert als das Maximum von:
1. Dem Nutzen der unmittelbaren Ausbeutung (unter Verwendung des bestehenden Speichers).
2. Dem Nutzen der proaktiven Erkundung (Einbeziehung eines neu beobachteten Zustands in den Speicher), diskontiert mit $\gamma^2$ , um Latenz zu bestrafen und übermäßige Konservativität zu verhindern.
Gesamt-Reward: Der finale Reward ist eine gewichtete Kombination aus dem Aufgabenerfolgssignal, einem Format-Reward (Sicherstellung strukturierter Ausgabe) und dem Erkundungs-Reward.

3. Erkundungsbewusste Zwei-Stufen-Trainingsstrategie

Um die Herausforderungen der Kreditvergabe und Policy-Optimierung im Kontext von Erkundung zu adressieren, setzt EAPO einen Zwei-Stufen-Ansatz ein:

Stufe 1: Lernen zum Zurückrollen (SFT): Agenten werden auf einem Expertendatensatz supervised fine-tuned, um die Fähigkeit zu erwerben, nach einer Erkundungsaktion, die zu einem unerwünschten Zustand führt, zu vorherigen Zuständen „zurückzurollen" (z. B. durch Klicken auf eine „Zurück"-Taste). Dies behandelt Erkundung als reversibles Verhalten statt als finales Risiko.
Stufe 2: Erkundungsbewusste Policy-Optimierung (GRPO): Die Autoren modifizieren Group Relative Policy Optimization (GRPO), indem sie die Besuchstiefe ( $\kappa$ ) als Clusterkriterium einführen. Transitionen werden nicht nur nach Zustand gruppiert, sondern nach der Anzahl der Male, die der Agent diesen Zustand erneut besucht hat. Dies stellt sicher, dass Erkundungsaktionen mit anderen Aktionen in ähnlichen Informationsstadien verglichen werden, was eine Unterschätzung des Erkennungswerts verhindert, die auftreten würde, wenn frühe Erkundungsschritte mit finalen Ausführungsschritten in derselben Gruppe verglichen würden.

Hauptbeiträge

Erkundungsbewusstes Framework: Eine neuartige Policy-Optimierungsmethode, die Agenten explizit beibringt, zwischen Erkundung und Ausführung zu unterscheiden und damit über einheitliche Erkundungsstrategien hinauszugehen.
Variational Reward-Modellierung: Ein fundierter Ansatz zur Quantifizierung des Nutzens von Erkundungsaktionen mittels Variational Inference, der die hohen Rechenkosten des Online-Trajektorien-Samplings vermeidet und gleichzeitig stabile Reward-Signale liefert.
Strukturiertes Reasoning & Speicher: Die Einführung expliziter <explore>- und <memory>-Tags, die Informationsbeschaffung und Zustandssummarisierung direkt in den Reasoning-Loop des Agenten integrieren.
Gruppierung nach Besuchstiefe: Ein Mechanismus zur Stabilisierung der Vorteilsschätzung durch Clustering von Transitionen basierend darauf, wie oft ein Zustand besucht wurde, um einen fairen Vergleich zwischen Erkundungs- und Ausbeutungsphasen zu gewährleisten.
Zurückroll-Fähigkeit: Die Integration eines überwachten Zurückroll-Mechanismus, der es Agenten ermöglicht, sich von Erkundungsfehlern zu erholen und Erkundung zu einem sicheren und reversiblen Prozess zu machen.

Experimentelle Ergebnisse

Die Autoren evaluierten EAPO in vier herausfordernden Umgebungen: ALFWorld und WebShop (textbasiert) sowie AndroidWorld und OSWorld (GUI-basiert).

Leistungssteigerungen: EAPO übertraf konsistent starke Baselines (einschließlich GRPO, DAPO, GiGPO, LAMER und verschiedener Closed-Source-Modelle) in allen Umgebungen. Die Verbesserungen reichten von 20 % bis 60 % gegenüber bestehenden Methoden.
Modell-Effizienz: Ein mit EAPO trainiertes 2B-Skalen-Modell erreichte eine Leistung, die mit deutlich größeren allgemeinen und agentischen Modellen (z. B. 72B-Parameter-Modellen) vergleichbar war oder diese sogar übertraf, was zeigt, dass effektive Erkundungsstrategien die Parameter-Skala kompensieren können.
Adaptives Verhalten: Die Analyse zeigte, dass mit EAPO trainierte Agenten eine adaptive Erkundung aufweisen: Sie erhöhen den Erkundungsgrad in unsicheren Zuständen und konvergieren zu einer selektiven Erkundung, sobald sie die Umgebung erlernt haben, und vermeiden damit ununterschiedliches Trial-and-Error.
Generalisierung: Modelle, die auf AndroidWorld trainiert wurden, generalisierten effektiv auf die nicht gesehene OSWorld-Umgebung mit nur geringfügiger Leistungsverschlechterung, was darauf hindeutet, dass die erlernten Erkundungs-Policies domäneninvariant sind.
Effizienz: Die Methode verursachte nur etwa 30 % zusätzlichen Trainings-Overhead (hauptsächlich durch das Training des variationalen Reward-Modells) im Vergleich zum Standard-GRPO, vermeidet jedoch das teure Online-Sampling, das von alternativen Ansätzen erforderlich ist. Die Inferenzzeit verzeichnete einen moderaten Anstieg (im Durchschnitt höchstens 10 zusätzliche Schritte) aufgrund der Erkundung, kontrolliert durch den Diskontfaktor.

Bedeutung und Behauptungen

Die Arbeit behauptet, dass EAPO einen bedeutenden Schritt vorwärts in der skalierung agentischer Testzeit darstellt. Durch die explizite Modellierung des Nutzens von Erkundung und die Trennung von Informationsbeschaffung und Entscheidungsfindung ermöglicht das Framework Agenten:

Über Unsicherheit zu Reasonen: Agenten lernen zu identifizieren, wann der aktuelle Zustand oder Speicher für eine Entscheidung unzureichend ist, und suchen proaktiv nach Informationen.
Ressourcenzuweisung zu optimieren: Agenten vermeiden es, Interaktionsschritte für redundante Erkundung in bekannten Zuständen zu verschwenden, während sie in neuen Szenarien kritische Daten effektiv sammeln.
Robuste Generalisierung zu erreichen: Die Fähigkeit zur adaptiven Erkundung ermöglicht es Agenten, Umgebungen außerhalb der Verteilung (z. B. aktualisierte UI-Layouts) zu handhaben, ohne eine umgebungsspezifische Neukalibrierung zu erfordern.

Die Autoren schließen, dass das Lernen wann und wie zu erkunden eine grundlegende Fähigkeit ist, die die Entscheidungsqualität und das Umweltverständnis erheblich verbessern kann, oft effektiver als das bloße Skalieren von Modellparametern. Die Arbeit bietet ein fundiertes Framework zur Integration von Erkundung in den Reasoning-Prozess agentischer LLMs und geht über heuristische oder einheitliche Erkundungsstrategien hinaus.