🤖 AI

PIVOT: Bridging Planning and Execution in LLM Agents via Trajectory Refinement

PIVOT ist ein selbstüberwachtes Framework, das die Lücke zwischen Planung und Ausführung in LLM-Agenten schließt, indem es durch einen vierstufigen Prozess aus Planung, Inspektion, Evolution und Verifikation Kandidatentrajektorien iterativ verfeinert und dabei einen State-of-the-Art-Performance mit deutlich reduzierten Rechenkosten erreicht.

Ursprüngliche Autoren: Tuo Zhang, Alin-Ionut Popa, Yan Xu, Rui Song, Dimitrios Dimitriadis

Veröffentlicht 2026-05-13

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Tuo Zhang, Alin-Ionut Popa, Yan Xu, Rui Song, Dimitrios Dimitriadis

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Problem: Der „Tagträumende Koch"

Stellen Sie sich vor, Sie stellen einen sehr klugen Koch (einen KI-Agenten) ein, um ein komplexes, mehrgängiges Dinner für eine Dinnerparty zu kochen.

Der Plan: Der Koch setzt sich hin, schreibt eine wunderschöne, detaillierte Speisekarte und listet jede benötigte Zutat auf. Auf dem Papier sieht es perfekt aus.
Die Realität: Wenn der Koch mit dem Kochen beginnt, stellt er fest, dass er den angeforderten Fisch nicht hat, der Backofen defekt ist oder er vergessen hat, Wein zu kaufen. Da er die Küche während des Kochens nicht überprüft hat, folgt er trotzdem weiter dem ursprünglichen Plan. Das Ergebnis? Ein verbranntes Essen oder ein Gericht, das nicht der Bestellung entspricht.

In der Welt der KI nennt man dies Plan-Exekutions-Desalignment. Die KI schreibt einen großartigen Plan, aber wenn sie versucht, die eigentliche Arbeit zu erledigen (wie das Durchsuchen des Webs oder das Buchen eines Fluges), stößt sie auf Hindernisse, die sie nicht vorhergesehen hat. Anstatt anzuhalten und den Plan zu korrigieren, fährt sie fort, wodurch sich Fehler aufsummieren, bis die gesamte Aufgabe scheitert.

Die Lösung: PIVOT (Plan–Inspect–eVOlve Trajectories)

Die Autoren haben ein neues System namens PIVOT entwickelt, um dies zu beheben. Denken Sie an PIVOT nicht als einen Koch, der nur schneller kocht, sondern als einen klugen Sous-Chef, der die Arbeit ständig überprüft und dem Hauptkoch hilft, sich in Echtzeit anzupassen.

PIVOT funktioniert in vier einfachen Schritten, wie eine Schleife:

1. PLAN (Der Bauplan)

Bevor die KI ein einziges Werkzeug (wie eine Suchmaschine oder einen Taschenrechner) berührt, muss sie einen strukturierten Plan schreiben.

Analogie: Dies ist so, als würde der Koch genau aufschreiben, was er kaufen muss und in welcher Reihenfolge, bevor er zum Lebensmittelgeschäft geht. Er muss darüber nachdenken, was schiefgehen könnte (z. B. „Wenn das Geschäft keinen Lachs hat, kaufe ich Forelle").

2. INSPECT (Der Geschmackstest)

Während die KI den Plan schrittweise ausführt, hält sie inne, um zu prüfen: „Hat das wirklich funktioniert?"

Analogie: Stellen Sie sich vor, der Koch probiert die Sauce nach jedem Schritt. Wenn die Sauce zu salzig ist, warten sie nicht bis zum Ende des Essens, um es zu bemerken. Sie fangen den Fehler sofort ab.
Die Magie: Wenn etwas schiefgeht, sagt PIVOT nicht einfach „Fehler". Es agiert wie ein Detektiv und arbeitet rückwärts vom Fehler aus, um den exakten Moment zu finden, an dem der Plan aus den Fugen geriet. Es fragt: „Warum ist das gescheitert?" und „Welcher Schritt hat dies verursacht?"

3. EVOLVE (Der Pivot)

Sobald der Fehler gefunden ist, wirft die KI nicht das ganze Essen weg. Sie repariert nur den defekten Teil.

Analogie: Wenn der Koch feststellt, dass der Fisch verdorben ist, verbrennt er nicht die ganze Küche und fängt von vorne an. Er tauscht den Fisch gegen eine andere Proteinquelle aus, behält aber die Vorspeise und den Salat genau so, wie sie waren.
Wie es funktioniert: Die KI behält die Teile des Plans, die funktioniert haben (das „validierte Präfix"), und schreibt nur den Teil um, der gescheitert ist (das „nicht unterstützte Suffix"). Sie nutzt das Feedback des „Geschmackstests", um diese Umschreibung zu leiten.

4. VERIFY (Die abschließende Qualitätskontrolle)

Bevor die KI die endgültige Antwort liefert, führt sie einen letzten Check gegen die ursprünglichen Regeln durch.

Analogie: Bevor der Kellner das Essen zum Tisch bringt, überprüft der Küchenchef das Ticket ein letztes Mal: „Haben wir die vegetarische Option berücksichtigt? Ist die Präsentation richtig? Haben wir die Servietten vergessen?" Dies stellt sicher, dass in der Hektik keine kleinen Details übersehen wurden.

Warum ist dies besser als andere Methoden?

Andere KI-Methoden versuchen oft, Fehler zu beheben, indem sie:

Es härter versuchen: Der KI einfach mehr Zeit zum Nachdenken geben (was oft nur zu noch verwirrteren Gedanken führt).
Von vorne beginnen: Wenn ein Schritt scheitert, werfen sie den gesamten Plan weg und versuchen es von Grund auf neu (was Zeit und Geld verschwendet).
Zu starr sein: Eine strenge Checkliste verwenden, die nicht zum spezifischen Problem passt.

PIVOT ist anders, weil:

Es chirurgisch ist: Es repariert nur den defekten Teil und spart Zeit und Aufwand.
Es aus dem Chaos lernt: Es nutzt das tatsächliche Versagen, um einen „textuellen Gradienten" zu erstellen (eine ausgefallene Bezeichnung für eine spezifische Anweisung, wie der Fehler zu beheben ist), anstatt nur zu raten.
Es effizient ist: Das Papier behauptet, dass PIVOT 3- bis 5-mal weniger „Tokens" (die Währung, die KI zum Nachdenken und Sprechen verwendet) als andere Methoden benötigt, um die gleichen oder bessere Ergebnisse zu erzielen. Es ist, als würde man ein perfektes Essen mit der Hälfte der Lebensmittelrechnung erhalten.

Die Ergebnisse

Die Forscher haben PIVOT an zwei Arten schwieriger Aufgaben getestet:

Reisen & Einkaufen: Planung komplexer Reisen mit strengen Regeln (Budget, Daten, spezifische Hotels).
Allgemeine Fragen: Lösen offener Probleme unter Verwendung von Werkzeugen.

Die Erkenntnisse:

Mit menschlicher Hilfe: Wenn ein Mensch Feedback gibt, wenn die KI feststeckt, kann PIVOT die Erfolgsrate im Vergleich zu Standardmethoden um bis zu 94 % steigern.
Ohne menschliche Hilfe: Selbst wenn die KI sich selbst reparieren muss (autonom), schneidet sie immer noch viel besser ab als andere KI-Agenten und schlägt sie oft deutlich.
Kosten: Sie erzielt diese Ergebnisse bei deutlich geringerem Rechenaufwand als ihre Konkurrenten.

Zusammenfassung

PIVOT ist ein Framework, das KI-Agenten beibringt, zu planen, ihre Arbeit zu überprüfen, nur die defekten Teile zu reparieren und das Endergebnis noch einmal zu überprüfen. Es verhindert, dass die KI blind einem schlechten Plan folgt, und hilft ihr stattdessen, sich dynamisch anzupassen, wodurch sie zuverlässiger, effizienter und fähiger wird, komplexe reale Aufgaben zu bewältigen.

Technische Zusammenfassung: PIVOT – Überbrückung von Planung und Ausführung in LLM-Agenten durch Trajektorienverfeinerung

1. Problemstellung

Auf Large Language Models (LLM) basierende Agenten generieren häufig Pläne, die kohärent erscheinen, aber während der Ausführung scheitern. Diese Plan–Ausführungs-Diskrepanz resultiert aus nicht durchführbaren Aktionen, falschen Zustandsannahmen oder Verletzungen von Einschränkungen, die erst beim Interagieren mit der Umgebung offensichtlich werden. Entscheidend ist, dass sich diese Fehler über lange Zeiträume summieren und kaskadierende Ausfälle auslösen, die den Rest eines Plans unwiederbringlich machen.

Bestehende Verbesserungsmethoden versagen bei einer ganzheitlichen Behandlung dieses Problems, da ihnen eine Optimierungsperspektive auf Trajektorienebene fehlt. Diagnosemethoden identifizieren Fehler nachträglich, ohne den zugrundeliegenden Plan zu optimieren; iterative Verfeinerungsmethoden überarbeiten oft nur lokale Denk-Schritte statt der gesamten Trajektorie; und evolutionäre Methoden durchsuchen Kandidaten-Trajektorien, ohne den durch Ausführungsergebnisse verursachten Verlust direkt zu optimieren. Es besteht ein Bedarf an einem Mechanismus, der die gesamte Trajektorie als optimierbares Objekt behandelt und Ausführungsrückmeldungen in ein Aktualisierungssignal umwandelt.

2. Methodik: PIVOT-Rahmenwerk

Die Autoren schlagen PIVOT (Plan–Inspect–eVOlve Trajectories) vor, ein selbstüberwachtes Rahmenwerk, das die Trajektorienverfeinerung als iterative Optimierung in einem diskreten, sprachdefinierten Raum formuliert. Das Rahmenwerk arbeitet als geschlossener Regelkreis, der vier Stufen umfasst:

A. Problemformulierung

PIVOT definiert eine Zielfunktion auf Trajektorienebene $L(\tau)$ , die drei Fehlerquellen kombiniert:

Verlust der Zielerreichung ( $\ell_G$ ): Misst das Versagen, das gewünschte Endergebnis zu erreichen.
Plan–Ausführungs-Divergenz ( $D$ ): Quantifiziert die Diskrepanz zwischen der geplanten Trajektorie und dem tatsächlichen Ausführungsverlauf.
Ausführungskosten ( $C$ ): Bestraft ineffiziente Ausführung (z. B. übermäßige Tool-Aufrufe).

Da exakte Gradienten für diskrete Sprachtrajektorien nicht verfügbar sind, approximiert PIVOT den Gradienten $\partial L / \partial \tau$ mithilfe von strukturiertem Feedback in natürlicher Sprache (textuelle Gradienten), inspiriert durch TextGrad.

B. Die vier Stufen

PLAN (Trajektoriengenerierung):
Der Agent generiert vor der Interaktion mit der Umgebung eine explizite, strukturierte Kandidaten-Trajektorie $\tau$ . Diese Stufe zwingt den Agenten, Ziele, Tool-Auswahl, Abhängigkeiten und Ausfall-Notfallpläne zu artikulieren und dient als „Blueprint" für nachfolgende Stufen.
INSPECT (Rückwärtsgerichtete Diskrepanzanalyse):
Der Agent führt den Plan aus, um einen Verlauf $\hat{\tau}$ zu erzeugen. Das INSPECT-Modul führt eine rückwärtsgerichtete Analyse durch, um den frühesten kausal verantwortlichen Bruch ( $i^\star$ ) zu identifizieren, an dem die Ausführung von der Planung abweicht.
- Es berechnet einen textuellen Gradienten $g(\tau)$ , der Fehler spezifischen Schritten der Trajektorie zuordnet.
- In einem Human-in-the-Loop (HITL)-Setting wird hierfür menschliches Feedback verwendet.
- In einem selbstüberwachten Setting liefert ein LLM als Richter strukturiertes Feedback zu Ergebnissen und intermediärem Verhalten.
- Die Ausgabe ist ein Reparatur-Signal, das den Fehlerpunkt und handlungsanleitende Anweisungen für die nächste Stufe identifiziert.
EVOLVE (Lokale Trajektorienreparatur):
Geführt durch den textuellen Gradienten aktualisiert das EVOLVE-Modul die Trajektorie. Entscheidend ist, dass es lokal operiert: Es bewahrt den validierten Präfix ( $\tau_{\le i^\star}$ ) und schreibt nur den nicht gestützten Suffix um. Dies verhindert, dass korrekte Arbeit verworfen wird.
- Die Aktualisierung unterliegt einer monotonen Akzeptanzregel: Die neue Trajektorie $\tau'$ wird nur akzeptiert, wenn sie die geschätzte Zielfunktion verbessert ( $\hat{L}' \prec \hat{L}$ ). Dies verhindert eine Verschlechterung durch verrauschtes Feedback.
VERIFY (Globale Einschränkungsgültigkeitsprüfung):
Vor der Finalisierung führt das VERIFY-Modul eine globale Prüfung gegen die ursprüngliche Aufgabenspezifikation und Benutzer-Einschränkungen durch. Dies stellt sicher, dass intermediäre Verfeinerungen nicht versehentlich die ursprünglichen Aufgabenanforderungen verletzen.

3. Hauptbeiträge

Optimierung auf Trajektorienebene: PIVOT behandelt die gesamte Agenten-Trajektorie als optimierbares Objekt und wandelt Ausführungsrückmeldungen in ein strukturiertes Aktualisierungssignal um, anstatt sich auf lokale schrittweise Korrekturen zu verlassen.
Textuelle Gradienten für diskrete Räume: Das Rahmenwerk adaptiert das Konzept von Gradienten für nicht-differenzierbare Sprachtrajektorien, indem es strukturiertes Feedback in natürlicher Sprache zur Steuerung lokaler Aktualisierungen nutzt.
Monotone Akzeptanz: Eine präferenzbasierte Regel stellt sicher, dass die Trajektorienqualität über die Iterationen hinweg nicht abnimmt, was Stabilität ohne Feinabstimmung des Modells bietet.
Effizienz: Das Rahmenwerk ist so konzipiert, dass es rechnerisch effizient ist, indem es Inline-Prompts verwendet, um eine einzelne Trajektorie zu steuern, anstatt vollständige Trajektorien von Grund auf neu zu generieren.

4. Experimentelle Ergebnisse

PIVOT wurde auf DeepPlanning (langfristige Reise- und Einkaufsplanung) und GAIA (Tool-Nutzung im offenen Bereich) evaluiert.

Leistung:
- HITL-Regime: PIVOT mit menschlichem Feedback etabliert eine starke Obergrenze und erzielt im Vergleich zu Baselines auf DeepPlanning eine relative Verbesserung der Einhaltung von Einschränkungen von bis zu ~94 %.
- Autonomes Regime: Die vollständig autonome Variante (ohne HITL) übertrifft die stärksten nicht-PIVOT-Baselines (z. B. Self-Critique, AgentDebug) in 12 von 20 Modell-Benchmark-Zellen signifikant. Sie verbessert sich gegenüber ReACT in allen 20 Zellen.
- Modellagnostizismus: Gewinne wurden über verschiedene Backbone-Modelle hinweg beobachtet (Qwen3, Claude 4.5/4.6), was darauf hindeutet, dass PIVOT das Skalieren von Backbones ergänzt, anstatt nur schwächere Modelle zu kompensieren.
Effizienz:
- PIVOT ist 3–5× token-effizienter als konkurrierende Verfeinerungsmethoden (Self-Critique, SE-Agent, AgentDebug).
- Im Gegensatz zu Baselines, die die Neugenerierung vollständiger Trajektorien basierend auf langen Fehlerprotokollen erfordern, steuert PIVOT eine einzelne Trajektorie mit begrenztem Overhead und lenkt den Agenten innerhalb des aktuellen Kontexts um, wenn Fehler auftreten.
Ablationsstudien:
- Das Entfernen der VERIFY-Stufe verursachte den größten Leistungsabfall (durchschnittlich -13,3 %), was die kritische Rolle der finalen Einschränkungsgültigkeitsprüfung unterstreicht.
- Das Entfernen von PLAN oder EVOLVE verursachte ebenfalls signifikante Verschlechterungen, was die Notwendigkeit sowohl einer starken Initialisierung als auch einer durch Diskrepanzen geleiteten Reparatur bestätigt.
- Eine einfache Erhöhung des „Denk-Budgets" (erweitertes Denken) ohne strukturierte Verfeinerung führte nicht zu Leistungsverbesserungen, was darauf hindeutet, dass das Problem die Allokation des Denkens und nicht die Quantität ist.

5. Bedeutung und Behauptungen

Die Autoren behaupten, dass PIVOT eine prinzipielle Methodik zur Minderung von Plan–Ausführungs-Lücken in autonomen Agentensystemen darstellt. Ihre Bedeutung liegt in:

Schließen der Lücke: Sie adressiert direkt die systematische Divergenz zwischen beabsichtigten Aktionen und realisiertem Verhalten durch iterative, feedbackgesteuerte Verfeinerung.
Zuverlässigkeit: Durch die Durchsetzung einer monotonen Verbesserung und einer globalen Einschränkungsgültigkeitsprüfung erzeugt sie sicherere und zuverlässigere autonome Systeme.
Effizienz: Sie zeigt, dass hochwertige Trajektorienoptimierung mit deutlich geringeren Rechenkosten als bestehende Methoden erreicht werden kann.
Interpretierbarkeit: Das Rahmenwerk bietet eine interpretierbare Fehlerzuordnung durch die Lokalisierung des frühesten kausalen Bruchs in der Trajektorie.

Die Autoren schließen, dass PIVOT zwar die Zuverlässigkeit in einschränkungsgetriebenen, langfristigen Settings signifikant verbessert, jedoch weiterhin Limitierungen unterliegt, wie z. B. Kontextdegradation, Abruf-Engpässe (bei Aufgaben im offenen Bereich) und die inhärente Denkfähigkeit des zugrundeliegenden Modells. Sie betonen die Notwendigkeit von Sicherheitsvorkehrungen beim Einsatz und einer laufenden Evaluation in realen Umgebungen.