💬 NLP

Recursive Agent Optimization

Das Papier stellt die rekursive Agentenoptimierung (RAO) vor, ein Reinforcement-Learning-Framework, das Agenten darin schult, Teilaufgaben rekursiv an sich selbst zu delegieren, wodurch die Trainingseffizienz verbessert, die Skalierbarkeit über Kontextgrenzen hinaus ermöglicht und die Generalisierung auf komplexe Probleme durch Teil-und-Herrsche-Strategien verbessert wird.

Ursprüngliche Autoren: Apurva Gandhi, Satyaki Chakraborty, Xiangjun Wang, Aviral Kumar, Graham Neubig

Veröffentlicht 2026-05-08

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Apurva Gandhi, Satyaki Chakraborty, Xiangjun Wang, Aviral Kumar, Graham Neubig

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie haben einen sehr klugen, aber leicht vergesslichen persönlichen Assistenten. Sie geben ihm eine riesige, komplizierte Aufgabe, wie etwa die Planung einer dreitägigen Reise nach Kyoto für eine Familie mit vier Personen oder das Auffinden einer spezifischen Tatsache, die in einer Bibliothek von einer Million Büchern verborgen ist.

Wenn Sie diese Aufgabe einem einzelnen Assistenten geben, können zwei Dinge schiefgehen:

Er wird überwältigt: Die Anweisungen sind zu lang, und er vergisst den Anfang des Plans, bis er am Ende angekommen ist.
Er gerät in die Sackgasse: Die Aufgabe ist zu groß, um sie in einem Durchgang zu erledigen, also gibt er auf oder macht Fehler.

Dieser Artikel stellt eine neue Methode zur Schulung dieser Assistenten vor, die Recursive Agent Optimization (RAO) genannt wird. Anstatt nur einen Assistenten zu trainieren, der alles allein erledigt, lehrt RAO sie eine Superkraft: die Fähigkeit, sich selbst zu klonen.

So funktioniert es, unter Verwendung einfacher Analogien:

1. Die Strategie der „Klon-Armee"

Auf die alte Weise würde ein Assistent, der ein Thema recherchieren muss, alles in einer langen Reihe lesen. Wenn der Text zu lang war, würde er Details übersehen.

Mit RAO betrachtet der Hauptassistent (nennen wir sie die Managerin) eine große Aufgabe und sagt: „Das ist zu groß, um ich das alles auf einmal im Kopf zu behalten. Ich werde es aufteilen."

Sie erstellt dann Sub-Agenten (Klone ihrer selbst).

Managerin: „Du, Sub-Agent A, finde die besten Orte für Kirschblüten."
Managerin: „Du, Sub-Agent B, finde einen ruhigen Tempel und eine kinderfreundliche Aktivität."
Sub-Agent B: „Warte, ich kann nicht beides gleichzeitig machen. Ich werde meine eigenen Klone spawnen! Sub-Agent B1, finde den Tempel. Sub-Agent B2, finde die Aktivität."

Dies erzeugt einen Baum von Arbeitern. Jeder Worker muss sich nur auf ein kleines, überschaubares Stück des Puzzles konzentrieren. Sie müssen sich nicht an die gesamte Historie des Projekts erinnern; sie müssen sich nur an ihre spezifische kleine Aufgabe erinnern.

2. Das „Team-Bonus"-System (Wie sie lernen)

Der große Durchbruch des Artikels liegt nicht nur darin, Klone zu nutzen, sondern darin, wie sie darin geschult werden, sie einzusetzen.

Stellen Sie sich ein Videospiel vor, bei dem Sie Punkte erhalten.

Die alte Weise: Sie erhalten nur Punkte, wenn das gesamte Spiel gewonnen wird. Wenn Sie einen großartigen Zug im ersten Level machen, aber den finalen Boss verlieren, erhalten Sie null Punkte. Dies macht es schwierig zu lernen, wie man die frühen Level gut spielt.
Die RAO-Weise: Sie erhalten Punkte für zwei Dinge:
1. Haben Sie Ihre spezifische kleine Aufgabe gelöst? (Beispiel: Haben Sie den Tempel gefunden?)
2. Haben die Leute, die Sie eingestellt haben (Ihre Sub-Klone), ihre Aufgaben gelöst?

Wenn die Managerin einen Sub-Agenten einstellt, der scheitert, erhält die Managerin eine „Delegationsstrafe". Wenn die Managerin einen Sub-Agenten einstellt, der erfolgreich ist, erhält die Managerin einen „Delegationsbonus".

Dies lehrt die Managerin zwei entscheidende Lektionen:

Wann zu klonen: Klonen Sie nicht für eine winzige Aufgabe (es ist eine Zeitverschwendung). Klonen Sie, wenn die Aufgabe zu groß ist.
Wie zu klonen: Geben Sie klare Anweisungen, damit Ihre Klone erfolgreich sein können.

3. Die Ergebnisse: Was der Artikel fand

Die Forscher testeten dies an drei Arten von „schweren Aufgaben":

Das „Handwerk"-Spiel (TextCraft-Synth): Stellen Sie sich ein Spiel wie Minecraft vor, bei dem Sie einen komplexen Gegenstand (wie einen Bienenstock) herstellen müssen, indem Sie viele kleinere Gegenstände kombinieren.
- Ergebnis: Die mit RAO trainierten Agenten konnten Gegenstände herstellen, die für einen einzelnen Agenten viel zu komplex waren. Sie konnten sogar „Schwierige"-Level-Rätsel lösen, bei denen die Version mit einem einzelnen Agenten vollständig gescheitert war.
- Geschwindigkeit: Da die Klone gleichzeitig an verschiedenen Teilen des Handwerks arbeiten konnten (wie eine Person, die Holz schneidet, während eine andere malt), erledigten sie die Aufgabe in der realen Zeit viel schneller, obwohl sie insgesamt mehr „Schritte" benötigten.
Der „Langes-Buch"-Test (Oolong-Real): Stellen Sie sich vor, Sie bitten einen Assistenten, einen bestimmten Satz in einem Buch zu finden, das 55.000 Wörter lang ist, der Assistent aber nur 32.000 Wörter auf einmal „lesen" kann.
- Ergebnis: Der einzelne Assistent musste raten oder Tricks anwenden, weil er das ganze Buch nicht lesen konnte. Der RAO-Agent teilte das Buch in Abschnitte auf, gab jedem Abschnitt einen anderen Klon und kombinierte dann die Antworten. Er löste das Problem perfekt, während der einzelne Agent scheiterte.
Der „Tiefe-Recherche"-Test (DeepDive): Stellen Sie sich vor, Sie bitten einen Assistenten, eine spezifische historische Tatsache zu finden, die das Durchsuchen des Internets, das Lesen von fünf verschiedenen Websites und das Verknüpfen der Punkte erfordert.
- Ergebnis: Der RAO-Agent lernte, die Recherche in Schritte zu unterteilen (suchen, verifizieren, synthetisieren) und sie zu delegieren. Er war viel genauer als der einzelne Agent, obwohl es länger dauerte, da die Schritte nacheinander erledigt werden mussten (man kann nicht nach zwei verschiedenen Fakten zur exakt gleichen Zeit suchen, wenn sie voneinander abhängen).

Die große Erkenntnis

Der Artikel argumentiert, dass wir nicht nur ausgeklügelte Werkzeuge (wie Klonen) bauen und hoffen sollten, dass die KI herausfindet, wie sie sie benutzt. Stattdessen sollten wir die KI speziell darin schulen, diese Werkzeuge zu nutzen.

Indem wir die KI darin schulen, große Probleme in kleine zu zerlegen, sie an ihre eigenen Klone zu delegieren und die Klone für eine gute Arbeit zu belohnen, wird die KI:

Schlauer bei schwierigen Problemen: Sie kann Dinge bewältigen, die zu groß für ihr Gedächtnis sind.
Schneller bei parallelen Aufgaben: Sie kann viele Dinge gleichzeitig tun.
Besser im Lernen: Sie lernt schneller, weil sie Feedback für jeden kleinen Schritt erhält, nicht nur für das Endergebnis.

Kurz gesagt: RAO verwandelt einen einzelnen, überwältigten Arbeiter in ein gut organisiertes, sich selbst verwaltendes Team, das Probleme lösen kann, die kein einzelner Arbeiter jemals allein bewältigen könnte.

Technische Zusammenfassung: Rekursive Agentenoptimierung (RAO)

Problemstellung

Large Language Model (LLM)-Agenten werden zunehmend für komplexe, reale Aufgaben mit langen Zeithorizonten, großer effektiver Arbeitsgedächtniskapazität und erheblichem Explorationsbedarf eingesetzt. Obwohl viele solcher Aufgaben sich natürlich für Divide-and-Conquer-Strategien eignen, behandeln bestehende rekursive und Multi-Agenten-Systeme Rekursion typischerweise als statisches, zur Inferenzzeit eingesetztes Gerüst, das um ein vortrainiertes Modell gewickelt ist. In diesen Systemen wird das Modell selbst nicht darauf trainiert zu entscheiden, wann Delegation vorteilhaft ist, wie effektive Teilaufgaben formuliert werden, wie über Ausführungsebenen hinweg kommuniziert wird oder wie Ausgaben von Unteragenten kombiniert werden. Folglich besteht eine Lücke beim Training von Modellen, um rekursive Inferenz effektiv als gelernte Primitive und nicht als feste architektonische Einschränkung zu nutzen.

Methodik: Rekursive Agentenoptimierung (RAO)

Die Autoren stellen die Rekursive Agentenoptimierung (RAO) vor, einen Reinforcement-Learning-(RL)-Ansatz, der für das End-to-End-Training rekursiver Agenten entwickelt wurde. Im Gegensatz zu früheren Arbeiten, die das Orchestrierungsschema festlegen, trainiert RAO eine einzelne gemeinsame Policy ( $\pi_\theta$ ), die an jedem Knoten eines dynamisch generierten Ausführungsb Baums instanziiert wird.

1. Agentenformulierung und Inferenz

Der Agent operiert in einer Umgebung, in der er natürliche Sprachbegründung mit Codeausführung in einer Python-REPL abwechselnd durchführt. Der Aktionsraum wurde um eine asynchrone Funktion launch_subagent(goal, ...) erweitert.

Dynamische Ausführungsbäume: Beim Lösen einer Aufgabe $X$ kann die Policy null oder mehr Kindagenten für delegierte Teilaufgaben $X_1, \dots, X_n$ starten. Die Anzahl und der Inhalt dieser Teilaufgaben werden von der Policy selbst gewählt.
Parallelität: Der übergeordnete Agent kann Kinder sequenziell oder parallel (unter Verwendung von asyncio.gather) starten, abhängig von Aufgabenabhängigkeiten.
Begrenzung: Explizite Grenzen werden für die Rekursionstiefe und die Anzahl der Umgebungsschritte pro Agenteninstanz auferlegt, um eine begrenzte Berechnung sicherzustellen.

2. Reward-Design (Lokaler Knoten-Reward)

RAO verwendet eine lokale Reward-Struktur, um die Kreditvergabe über den Ausführungsbbaum hinweg zu verbessern. Für einen Knoten, der der Aufgabe $X$ mit Trajektorie $\tau_X$ und unmittelbaren Kindern $C(X)$ entspricht, ist der Reward definiert als:
$R(X, \tau_X) = \tilde{s}(X, \tau_X) + \lambda \cdot \frac{1}{|C(X)|} \sum_{c \in C(X)} \tilde{s}(c, \tau_c)$

$\tilde{s}(X, \tau_X)$ : Das Erfolgssignal für den aktuellen Knoten, abgeleitet aus exakter Verifikation, einem LLM-Richter oder einem Proxy (z. B. Erfolg der Wurzel-Aufgabe), falls keine lokale Überwachung verfügbar ist.
Delegationsbonus: Der zweite Term belohnt den Agenten basierend auf der Erfolgsrate seiner unmittelbaren Kinder. Der Parameter $\lambda$ steuert die Stärke dieses Bonus.
Begründung: Dieses Design fördert produktive Delegation, anstatt einfach nur mehr Kinder zu starten. Es liefert dichte Überwachungssignale, insbesondere zu Beginn des Trainings, wenn der Erfolg der Wurzel-Aufgabe selten ist.

3. Policy-Optimierung

Das Ziel ist die Optimierung der gemeinsamen Policy über sowohl Wurzel-Aufgaben als auch die von der Policy generierten Nachkommen hinweg. Die Zielfunktion $J(\theta)$ summiert die erwarteten Rewards über alle Tiefen $d$ des rekursiven Rollouts:
$J(\theta) = \sum_{d=0}^{D} \mathbb{E}_{X \sim D_d(\theta)} \left[ \mathbb{E}_{\tau_X \sim \pi_\theta(\cdot|X)} [R(X, \tau_X)] \right]$

Curriculum-Effekt: Die rekursive Struktur erzeugt natürlicherweise verwandte Aufgaben unterschiedlicher Schwierigkeit und schafft ein implizites Curriculum, bei dem Teilaufgaben oft einfacher oder strukturierter sind als die Wurzel-Aufgabe.
Vorteilsschätzung: Um mit der variierenden Anzahl von Trajektorien auf verschiedenen Tiefen umzugehen, verwenden die Autoren eine Leave-One-Out-Baseline, die aus Wurzel-Rollout-Rewards berechnet wird.
Tiefen-Level-Gewichtung: Um zu verhindern, dass die Optimierung von tieferen Ebenen dominiert wird (die möglicherweise exponentiell mehr Trajektorien enthalten), wird eine tiefenlevel-spezifische Inverse-Frequenz-Gewichtung angewendet. Trajektorien aus überrepräsentierten Tiefen werden heruntergewichtet, um die Gesamtupdate-Skala zu erhalten.

Hauptbeiträge

End-to-End-Training rekursiver Agenten: RAO ist die erste Methode, die eine einzelne Policy über alle Knoten eines dynamisch generierten rekursiven Baums gemeinsam trainiert und dem Modell beibringt, wann und wie delegiert werden soll.
Neuartiger Reward-Mechanismus: Die Einführung eines lokalen Knoten-Rewards mit Delegationsbonus ermöglicht eine effektive Kreditvergabe in tiefen rekursiven Strukturen und richtet die Policy auf die Qualität der Delegation aus, nicht nur auf die Quantität.
Skalierbare Inferenz-Primitive: Der Ansatz zeigt, dass rekursive Agenten auf Aufgaben skalieren können, die das Kontextfenster des Modells überschreiten, und sich auf signifikant schwierigere Probleme verallgemeinern lassen als diejenigen, die während des Trainings gesehen wurden.
Effizienzgewinne: Die Methode zeigt eine verbesserte Trainingseffizienz im Vergleich zum Single-Agent-Training und kann die Wandzeit für parallelisierbare Aufgaben reduzieren.

Experimentelle Ergebnisse

Die Autoren bewerten RAO an drei Benchmarks: TEXTCRAFT-SYNTH (synthetische Bastelaufgaben), OOLONG-REAL (Dokumentaggregation mit langem Kontext) und DEEPDIVE (tiefgehende Forschung mit Multi-Hop-Web-Suche).

Erweiterung des Kontextfensters: Auf TEXTCRAFT-SYNTH erreichten rekursive Agenten, die mit einem 8K-Kontextfenster trainiert wurden, bei schwierigen Aufgaben eine Erfolgsrate von 95 % und entsprachen damit der Leistung von Modellen, die mit 40K-Kontexten trainiert wurden. Im Gegensatz dazu scheiterten Single-Agent-Baselines mit 8K-Kontexten bei schwierigen Aufgaben vollständig. Ebenso verarbeiteten rekursive Agenten auf OOLONG-REAL Eingaben von bis zu 175K Tokens, obwohl sie mit einem 32K-Limit trainiert wurden, während Single-Agenten den gesamten Eingabetext nicht lesen konnten.
Verallgemeinerung auf schwierigere Aufgaben: Agenten, die nur auf mittelschweren TEXTCRAFT-SYNTH-Aufgaben trainiert wurden, verallgemeinerten auf schwierige Aufgaben mit einer Erfolgsrate von 88 %, verglichen mit 20 % für Single-Agent-Baselines.
Trainingseffizienz: Rekursive Agenten lernten über alle Benchmarks hinweg signifikant schneller als Single-Agent-Baselines, was auf die strukturierten Unteragenten-Rewards als dichte Prozess-Rewards und das selbstinduzierte Curriculum zurückgeführt wird.
Wandzeit: Für parallelisierbare Aufgaben (TEXTCRAFT-SYNTH) reduzierten rekursive Agenten die Wandzeit bei schwierigen Aufgaben um bis zu 2,5× im Vergleich zu Single-Agenten. Für sequenzielle Aufgaben (DEEPDIVE) erhöhte sich die Wandzeit zwar aufgrund des sequenziellen Charakters der Teilaufgaben, doch verbesserte sich die Erfolgsrate von 0,24 auf 0,40.
Adaptive Delegation: Die Agenten lernten, ihre Delegations-Tiefe an die Aufgabenschwierigkeit anzupassen und skalierten auf tiefere Bäume (bis zu 10 Ebenen) für schwierigere Probleme, ohne explizite Tiefenbeschränkungen während der Inferenz.

Bedeutung und Behauptungen

Die Arbeit behauptet, dass die Rekursive Agentenoptimierung einen Wandel darstellt, wie Inferenzzeit-Gerüste genutzt werden sollten. Anstatt Gerüste um feste Modelle herum zu entwerfen, sollten Modelle darauf trainiert werden, diese effektiv zu nutzen. RAO zeigt, dass Rekursion eine leistungsfähige Inferenzzeit-Skalierungsprimitive ist, die Folgendes bietet:

Frische Kontextfenster für Unteragenten, was die Arbeitsgedächtniskapazität effektiv erweitert.
Eine Divide-and-Conquer-Struktur, die sich auf schwierigere Probleme verallgemeinert.
Adaptive Zuweisung von Compute-Ressourcen zur Testzeit.
Möglichkeiten für parallele Ausführung.

Die Autoren positionieren RAO als einen Schritt hin zu „selbstorganisierenden Agenten", die ihre eigenen Problemlösungsprozesse dynamisch strukturieren können. Sie stellen fest, dass, obwohl ihre Experimente sich auf spezifische Domänen konzentrieren, der Ansatz ein breiteres Prinzip für das Training von Agenten nahelegt, komplexe Inferenzzeit-Strukturen zu nutzen. Als zukünftige Arbeiten werden notwendige Schritte identifiziert, um Surrogat-Sampling-Verfahren für kostspielige Rollouts zu adressieren und generalistische rekursive Agenten zu trainieren, die Delegationsstrategien über qualitativ unterschiedliche Domänen hinweg übertragen können.