💬 NLP

PEARL: Plan Exploration and Adaptive Reinforcement Learning for Multihop Tool Use

PEARL ist ein neuartiges zweistufiges Framework, das die Offline-Tool-Exploration mit Online-Group-Relative-Policy-Optimization (GRPO) kombiniert, um die Planungs- und Ausführungsfähigkeiten großer Sprachmodelle für komplexe mehrstufige Tool-Nutzung signifikant zu verbessern und eine neue State-of-the-Art-Erfolgsrate von 56,5 % auf dem ToolHop-Benchmark zu erreichen.

Ursprüngliche Autoren: Qihao Wang, Mingzhe Lu, Jiayue Wu, Yue Hu, Yanbing Liu

Veröffentlicht 2026-01-29

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Qihao Wang, Mingzhe Lu, Jiayue Wu, Yue Hu, Yanbing Liu

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie hätten einen sehr intelligenten, belesenen Assistenten (ein Large Language Model), der viel über die Welt weiß, aber noch nie etwas mit seinen Händen getan hat. Er kann darüber sprechen, wie man ein Auto repariert oder einen Kuchen backt, aber wenn Sie ihn bitten würden, tatsächlich einen Schraubenschlüssel zu benutzen oder einen Ofen zu bedienen, würde er vielleicht das falsche Werkzeug wählen, den Regler in die falsche Richtung drehen oder versuchen, ein Werkzeug zu benutzen, das gar nicht existiert.

Das Papier stellt PEARL vor, eine neue Trainingsmethode, die darauf abzielt, diesen „reinen Redner“-Assistenten in einen zuverlässigen „Macher“ zu verwandeln, wenn er eine Kette digitaler Werkzeuge (wie APIs) nutzen muss, um komplexe Probleme zu lösen.

So funktioniert PEARL, unterteilt in einfache Konzepte:

Das Problem: Der „tagträumende“ Assistent

Aktuelle KI-Assistenten haben oft Schwierigkeiten mit mehrstufigen Aufgaben. Wenn man ihnen sagt: „Finde einen Park, finde dann heraus, wer ihn gebaut hat, und zähle dann die Buchstaben in dessen Namen“, dann:

Vergessen sie den Plan: Sie verlieren sich nach dem ersten Schritt.
Halluzinieren sie: Sie erfinden Werkzeuge, die es nicht gibt.
Machen sie Fehler: Sie benutzen das richtige Werkzeug, aber mit den falschen Einstellungen (wie etwa den Versuch, eine Tür mit einem Hammer zu öffnen).
Geben sie auf: Wenn sie einen Fehler machen, wissen sie nicht, wie sie ihn beheben sollen, und drehen sich einfach im Kreis.

Die Lösung: PEARLs zweistufiges Training

PEARL behebt dies, indem es das Training in zwei distinkte Phasen aufteilt, ähnlich wie man einen Piloten trainiert, bevor man ihn ein Flugzeug fliegen lässt.

Stufe 1: Der „Spielplatz“ (Offline Tool Exploration)

Bevor die KI jemals versucht, ein echtes Problem eines Nutzers zu lösen, geht sie in einen sicheren, kontrollierten „Spielplatz“.

Die Analogie: Stellen Sie sich einen Koch vor, der noch nie eine Mahlzeit gekocht hat. Bevor er einen Kunden bedient, verbringt er Stunden in der Küche und berührt dabei jeden Topf, jede Pfanne und jedes Gewürz. Er probiert aus, den Herd ein- und auszuschalten, mischt Zutaten und sieht, was passiert, wenn er einen Fehler macht.
Was PEARL macht: Die KI versucht proaktiv, jedes verfügbare Werkzeug in einem Versuch-und-Irrtum-Verfahren zu benutzen. Sie lernt genau, wie man den „Schraubenschlüssel“ (das Werkzeug) hält und was passiert, wenn man ihn in die falsche Richtung dreht. Dies baut ein „mentales Benutzerhandbuch“ auf, damit sie bei der eigentlichen Arbeit nicht herumstümpert oder gefälschte Werkzeuge erfindet.

Stufe 2: Der „General“ (Strategische Planung mit Reinforcement Learning)

Sobiel die KI weiß, wie man die Werkzeuge benutzt, muss sie lernen, wie man plant, also eine Abfolge von Schritten erstellt.

Die Analogie: Stellen Sie sich einen Schachspieler vor. Zu wissen, wie sich die Figuren bewegen (Stufe 1), reicht nicht aus; man muss die Strategie kennen, um das Spiel zu gewinnen.
Die Innovation: PEARL nutzt eine spezielle Trainingsmethode namens Reinforcement Learning (speziell GRPO).
- Anstatt der KI am Ende einer Aufgabe nur einfach zu sagen „Gut gemacht“ oder „Schlecht gemacht“, gibt das System ihr für jeden einzelnen Schritt ihres Plans eine „Bewertungsnotiz“.
- Wenn die KI plant, das richtige Werkzeug aus dem richtigen Grund zu verwenden, bekommt sie einen Punkt. Wenn sie einen Schritt überspringt oder das falseste Werkzeug wählt, verliert sie Punkte.
- Dies lehrt die KI, vorauszuplanen und einen perfekten „Blaupause“ zu erstellen, bevor sie überhaupt mit der Ausführung beginnt.

Das Ergebnis: Ein superzuverlässiger Agent

Das Papier testete dies auf zwei schwierigen Benchmarks (ToolHop und T-Eval), bei denen die KI mehrere Werkzeuge hintereinander schalten musste, um Fragen zu beantworten.

Die Punktzahl: PEARL erreichte eine Erfolgsquote von 56,5 %, was ein neuer Rekord (State-of-the-Art) ist.
Der Vergleich: Es schlug viel größere, teurere Modelle (wie GPT-4o) und Modelle, die lediglich durch Standardtraining „auswendig gelernt“ wurden.
Die Zuverlässigkeit: Es machte sehr wenige Fehler beim tatsächlichen Aufruf der Werkzeuge (nur eine Fehlerrate von 3,8 %), was beweist, dass das „Spielplatz“-Training funktioniert hat.

Warum es wichtig ist

Das Papier behauptet, dass PEARL das Problem von „Planung vs. Ausführung“ löst, indem es beides trennt. Es trainiert einen dedizierten „Planer“, der strategisch denkt, und einen separaten „Ausführer“, der bereits ein Experte im Umgang mit den Werkzeugen ist.

Die spannendste Erkenntnis ist, dass der Planer so gut darin ist, Pläne zu erstellen, dass man seine Pläne anderen leistungsstarken KI-Modellen geben kann und diese plötzlich auch viel besser in der jeweiligen Aufgabe werden. Es ist, als hätte man einen brillanten General, der Schlachtpläne schreiben kann, denen jeder Soldat, egal wie unerfahren, folgen kann, um den Krieg zu gewinnen.

Kurz gesagt: PEARL lehrt die KI, zuerst Werkzeuge in einem Sandbox-Bereich zu üben, damit sie diese nicht beschädigt, und lehrt sie dann, wie man einen perfekten Schritt-für-Schritt-Schlachtplan erstellt, bevor man mit dem Spiel beginnt.

Technisches Resümee: PEARL (Plan Exploration and Adaptive Reinforcement Learning for Multihop Tool Use)

Problemstellung

Obwohl Large Language Models (LLMs) im Kontext der Erweiterung durch externe Werkzeuge (Tools) ein erhebliches Potenzial gezeigt haben, stehen sie bei komplexen, mehrstufigen Tool-Aufrufen vor substanziellen Hürden. Aktuelle Ansätze leiden häufig unter:

Schwacher Planung: Agenten nehmen oft myope, einstufige Strategien ein und versäumen es, kohärente, langfristige Pläne zu formulieren oder einzuhalten.
Ausführungsfehlern: Modelle zeigen „Tool-Halluzinationen“ (Aufruf nicht existierender Tools), generieren fehlerhafte Parameter und haben Schwierigkeiten, Abhängigkeiten zwischen sequenziellen Tool-Aufrufen zu verwalten.
Mangelnder Adaptivität: Wenn Ausführungsfehler auftreten, versagen Agenten oft dabei, das Problem zu diagnostizieren oder ihre Strategie dynamisch anzupassen, was zu repetitiven Fehlerschleifen führt.

Bestehende Methoden, die weitgehend auf Supervised Fine-Tuning (SFT) oder Imitationslernen basieren, sind bei neuen Szenarien anfällig oder erfordern komplexe Fehlerreparaturverfahren. Es besteht ein kritischer Bedarf an einem Framework, das eine robuste Ausführung von der strategischen Planung entkoppelt und adaptives Lernen nutzt, um beides zu optimieren.

Methodik: Das PEARL-Framework

PEARL (Plan Exploration and Adaptive Reinforcement Learning) adresst diese Herausforderungen durch eine prinzipielle, zweistufige Architektur, die die strategische Planerstellung von der informierten Ausführung trennt.

1. Aufgabenformulierung

Das Ziel des Agenten ist es, eine komplexe Abfrage $q$ unter Verwendung einer Menge von Tools $\mathcal{T}$ zu lösen, indem er eine geordnete Sequenz von Teilaufgaben (einen Plan) $P = ((s_1, \tau_1), \dots, (s_n, \tau_n))$ generiert, wobei $s_i$ ein natürliches Sprachziel und $\tau_i$ das ausgewählte Tool ist.

2. Stufe 1: Strategische Planerstellung (Online RL)

Ein dediziertes Planner-Modell ( $\pi_\theta$ ) wird darauf trainiert, den gesamten mehrstufigen Plan vor Beginn der Ausführung zu generieren.

Optimierungsalgorithmus: Der Planner wird mittels Group Relative Policy Optimization (GRPO) optimiert, einer Variante der Proximal Policy Optimization (PPO). GRPO verbessert die Trainingsstabilität durch die Normalisierung der Advantage-Schätzungen über eine Gruppe von Kandidatenplänen, die für denselben Input generiert wurden.
Reward-Design: Es wird eine neuartige, planzentrierte Belohnungsfunktion eingesetzt, um dichtes, schrittweises Feedback zu geben.
- Die Belohnung vergleicht den generierten Plan mit einem Ground-Truth-Plan.
- Sie weist eine normalisierte Belohnung ( $1/m$ ) für jedes korrekt ausgewählte Tool bei Schritt $i$ zu, wobei $m$ die Anzahl der Schritte im optimalen Plan ist.
- Dieses Design optimiert direkt die strukturelle und semantische Korrektheit der Tool-Kette und löst das Credit-Assignment-Problem bei der langfristigen Planung.

3. Stufe 2: Informierte Ausführung (Offline + Online)

Ein Executor-Modell ( $\pi_\phi$ ) ist dafür verantwortlich, den vom Planner generierten Plan auszuführen.

Offline Tool Exploration: Bevor eine Aufgabenausführung stattfindet, engagiert sich der Agent in einer proaktiven Trial-and-Error-Phase mit jedem verfügbaren Tool. Er versucht systematisch verschiedene Parameterkonfigurationen, um gültige Nutzungsmuster, Argumentbeschränkungen und Fehlerbedingungen zu erlernen. Dies baut ein „gelerntes Benutzerhandbuch“ auf, das den Executor in der Realität verankert und Halluzinationen sowie Parameterfehler drastisch reduziert.
Online Schrittweise Ausführung: Der Executor erhält die Ausgabe des Planners und führt ihn iterativ aus. Er nutzt das während der Offline-Phase erworbene Wissen, um gültige Tool-Aufrufe mit korrekten Parametern zu konstruieren, wobei er den Verlauf der vorherigen Ausführungsergebnisse nutzt, um nachfolgende Schritte zu informieren.

Zentrale Beiträge

Neuartiges Framework: PEARL integriert die Offline-Tool-Exploration für eine robuste Ausführung mit Online-Reinforcement-Learning für eine adaptive, strategische Planung und entkoppelt so effektiv diese beiden komplexen Probleme.
Planzentrierter Reward-Mechanismus: Die Autoren entwerfen eine spezifische Belohnungsfunktion, die die direkte Optimierung von mehrstufigen Tool-Plänen via RL ermöglicht. Dies führt den Agenten durch dichtes Feedback zur Planqualität (statt nur auf Basis spärlicher finaler Erfolgssignale) zu optimalen Strategien.
State-of-the-Art Performance: Das Framework setzt neue Leistungsbenchmarks und demonstriert, dass spezialisiertes architektonisches Design eine einfache Skalierung von Modellen übertreffen kann.

Experimentelle Ergebnisse

Die Autoren evaluierten PEARL auf zwei Benchmarks: ToolHop (Multi-Hop Tool Reasoning) und T-Eval (Tool-Nutzungsfähigkeiten).

ToolHop Performance: PEARL-7B erreichte eine Erfolgsrate (Success Rate, SR) von 56,5 %, was die speziell abgestimmte Qwen2.5-7B-SFT-Baseline (46,2 %) und größere proprietäre Modelle wie GPT-4o (49,0 %) signifikant übertrifft. Entscheidend ist, dass es eine niedrige Invocation Error Rate (IER) von 3,8 % beibehielt, was die Wirksamkeit der Offline-Explorationsphase validiert.
T-Eval Generalisierung: Auf dem Generalisierungs-Benchmark erreichte PEARL-7B eine SR von 77,0 % und übertraf damit führende proprietäre Modelle (GPT-4o mit 76,0 %, Claude 3.5 Sonnet mit 71,0 %) sowie Open-Source-Modelle. Seine IER sank auf 1,0 %, was auf eine hohe Zuverlässigkeit bei ungesehenen Aufgaben hindeutet.
Planner Generalisierung: Experimente zeigten, dass von PEARL-Planner generierte Pläne die Leistung anderer leistungsstarker Modelle (z. B. GPT-4o und Qwen2.5-72B) als Executor signifikant verbesserten, was die Übertragbarkeit der gelernten Planungsstrategien bestätigt.
Ablationsstudien:
- Das Entfernen der planzentrierten Belohnung ließ die SR von 56,5 % auf 23,4 % einbrechen, was deren kritische Rolle beim Credit Assignment unterstreicht.
- Das Entfernen der Offline-Exploration ließ die IER von 3,8 % auf 24,1 % ansteigen, was beweist, dass präventives Tool-Lernen essenziell für eine zuverlässige Ausführung ist.

Bedeutung und Ansprüche

Die Arbeit behauptet, dass PEARL einen entscheidenden Fortschritt bei der Bewältigung komplexer Planungsherausforderungen bei der Tool-Nutzung darstellt. Durch die systematische Trennung des Lernens von Tool-Mechaniken (Offline) und des Lernens von strategischer Orchestrierung (Online RL) erzeugt das Framework Agenten, die sowohl robust (niedrige Fehlerraten) als auch strategisch (hohe Erfolgsraten in mehrstufigen Aufgaben) sind.

Die Autoren betonen, dass ihre Arbeit zur Entwicklung zuverlässigerer und autonomerer LLM-basierter Agenten beiträgt. Die Ergebnisse legen nahe, dass spezialisierte Trainingsarchitekturen für Planung und Ausführung effektiver für komplexe Tool-Nutzungsaufgaben sind als die bloße Skalierung von Modellparametern oder das Vertrauen auf Standard-Supervised-Fine-Tuning. Die hohe Generalisierungsfähigkeit des PEARL-Planners validiert zudem die Qualität der gelernten Strategien und weist den Weg zu Agenten, die in der Lage sind, zunehmend komplexe, reale digitale Interaktionen zu bewältigen.