Agentic LLM Planning via Step-Wise PDDL Simulation: An Empirical Characterisation

Die Studie stellt PyPDDLEngine als Open-Source-PDDL-Simulationsengine vor und zeigt, dass agentic LLM-Planung zwar im Vergleich zur direkten Planung einen geringen Erfolgszuwachs bei deutlich höheren Kosten erzielt, jedoch aufgrund fehlender externer Verifizierung im PDDL-Kontext hinter klassischen Planern zurückbleibt.

Das Wesentliche

Das große Experiment: KI als Planer im Blocksworld-Spiel

Stellen Sie sich vor, Sie müssen einen riesigen Turm aus Spielklötzen so umsortieren, dass am Ende eine bestimmte Anordnung entsteht. Das ist das „Blocksworld"-Problem, ein Klassiker in der Robotik und KI-Forschung.

Die Forscher haben sich gefragt: Kann eine moderne KI (ein Large Language Model, kurz LLM) diesen Turm besser umsortieren als ein klassischer, strenger Computer-Algorithmus? Und noch wichtiger: Hilft es der KI, wenn sie nicht einfach einen ganzen Plan auf einmal schreibt, sondern Schritt für Schritt vorgeht, dabei auf ihre Umgebung schaut und bei Fehlern neu anfangen kann?

Um das herauszufinden, haben sie ein neues Werkzeug namens PyPDDLEngine gebaut.

1. Die zwei Methoden: Der Visionär vs. Der Navigator

Die Forscher haben zwei Arten verglichen, wie die KI (hier: Claude Haiku) an die Aufgabe herangeht:

• Der Visionär (Direkte Planung):
  Stellen Sie sich vor, Sie schreiben einen Roman. Der Visionär versucht, die gesamte Geschichte von Anfang bis Ende in einem einzigen, perfekten Wurf zu schreiben. Wenn ein Satz nicht passt, wirft er das ganze Blatt weg und fängt von vorne an. Er bekommt keine Rückmeldung, während er schreibt. Er muss alles aus dem Kopf wissen.

  • Im Experiment: Die KI schreibt den kompletten Ablauf der Klotz-Bewegungen auf einmal. Wenn es falsch ist, wird es verworfen und neu versucht.

• Der Navigator (Agente Planung):
  Jetzt stellen Sie sich einen Wanderer vor, der durch einen dunklen Wald muss. Er macht einen Schritt, schaut sich um, prüft, ob er noch auf dem richtigen Weg ist. Wenn er in eine Sackgasse läuft, dreht er um und probiert einen anderen Weg. Er nutzt eine Karte (die Simulation), die ihm nach jedem Schritt sagt: „Du bist jetzt hier."

  • Im Experiment: Die KI macht einen Schritt, schaut auf das Ergebnis, entscheidet dann den nächsten Schritt. Sie kann sich auch sagen: „Das läuft ins Leere, wir fangen von vorne an."

2. Die Ergebnisse: Wer gewinnt?

Die Forscher ließen beide Methoden gegen einen sehr starken klassischen Computer-Algorithmus (Fast Downward) antreten. Hier sind die Ergebnisse in einfachen Worten:

• Der klassische Algorithmus: Er war der klare Sieger. Er löste 85 % der Aufgaben. Er ist wie ein erfahrener Mathematiker, der das Problem systematisch durchrechnet.
• Der Visionär (KI): Er schaffte es in 64 % der Fälle.
• Der Navigator (KI mit Schritt-für-Schritt-Feedback): Er schaffte es in 67 % der Fälle.

Das Fazit: Die Schritt-für-Schritt-Methode war zwar etwas besser als das reine „Aus-dem-Kopf-Planen", aber der Vorsprung war winzig (nur 3 Prozentpunkte). Und das hatte einen hohen Preis: Die Schritt-für-Schritt-Methode verbrauchte fast 6-mal so viel Rechenleistung (Token-Kosten) für jedes gelöste Rätsel.

3. Das große Geheimnis: Warum hilft das „Schritt-für-Schritt" nicht mehr?

Das ist der spannendste Teil der Studie. Warum war die interaktive Methode nicht viel besser?

Stellen Sie sich vor, Sie programmieren einen Roboter.

• Im Programmieren: Wenn der Roboter einen Fehler macht, sagt der Computer: „Fehler in Zeile 10: Semikolon fehlt." Das ist ein klares, externes Signal. Die KI weiß genau, wo sie falsch liegt, und kann es korrigieren. Das funktioniert super.
• Im Blocksworld-Spiel: Wenn die KI einen Klotz falsch bewegt, sagt die Simulation nur: „Okay, der Klotz ist jetzt hier." Sie sagt aber nicht: „Du bist weit weg vom Ziel!" oder „Das war eine schlechte Idee."

Die KI muss also selbst beurteilen, ob sie auf dem richtigen Weg ist. Das ist wie ein Navigator, der in einem Nebel steht und niemandem sagt, ob er sich dem Ziel nähert oder wegbewegt. Er muss sich das selbst ausdenken. Da die KI hier oft falsch liegt (sie dachte manchmal, das Problem sei unlösbar und gab auf, obwohl es lösbar war), half ihr der Schritt-für-Schritt-Modus nicht wirklich weiter.

4. Die Überraschung: Die KI „lernt" nicht wirklich, sie „merkt" sich

Die Forscher stellten noch eine seltsame Sache fest: Die KI plante oft kürzere Wege als der klassische Algorithmus, selbst wenn dieser Algorithmus extra Zeit hatte, um seine Lösung zu optimieren.

Das deutet darauf hin, dass die KI das Blocksworld-Spiel nicht wirklich „denkt" oder logisch herleitet. Stattdessen merkt sie sich Lösungen aus ihren Trainingsdaten. Da das Blocksworld-Spiel so oft im Internet vorkommt, hat die KI die Muster einfach auswendig gelernt. Wenn sie es „weiß", schreibt sie die perfekte Lösung. Wenn sie es nicht weiß, scheitert sie komplett. Es gibt keinen Mittelweg, wie bei einem menschlichen Lernenden, der sich langsam verbessert.

Zusammenfassung für den Alltag

Diese Studie zeigt uns etwas Wichtiges für die Zukunft von Robotern und KI:

1. Interaktion allein reicht nicht: Nur weil eine KI Schritt für Schritt mit ihrer Umgebung interagiert, wird sie nicht automatisch klüger.
2. Klares Feedback ist König: Damit eine KI wirklich gut plant, braucht sie klare Signale von außen (wie ein Lehrer, der sagt: „Das war falsch, weil..."). Wenn sie sich selbst beurteilen muss, stolpert sie oft.
3. Gedächtnis vs. Intelligenz: Bei bekannten Aufgaben (wie dem Blocksworld-Spiel) nutzen KIs oft ihr Gedächtnis (Auswendiglernen) statt echtes logisches Denken.

Die Metapher am Ende:
Ein klassischer Planer ist wie ein GPS, das den Weg exakt berechnet. Eine KI ohne klares Feedback ist wie ein Tourist ohne Karte, der versucht, sich durch Raten und Ausprobieren durch die Stadt zu schlagen. Er kommt vielleicht manchmal schneller ans Ziel, wenn er die Stadt kennt (auswendig gelernt hat), aber wenn er in eine unbekannte Gegend gerät, verirrt er sich schneller als das GPS. Und wenn er sich selbst fragen muss, ob er auf dem richtigen Weg ist, ohne dass ihm jemand hilft, wird er schnell unsicher.

Technische Zusammenfassung

1. Problemstellung

Die Aufgabe der Aufgabenplanung (Task Planning) – das Sequenzieren von Aktionen, um von einem Anfangszustand zu einem Zielzustand zu gelangen – ist eine Kernkompetenz autonomer robotischer Systeme. Während klassische Planer (wie Fast Downward) dies durch systematische symbolische Suche über formale Domänenmodelle effizient lösen, bleibt die Frage offen, ob Large Language Models (LLMs) als viable Planer dienen können.

Bisherige Forschung konzentrierte sich oft auf die direkte Generierung ganzer Pläne durch LLMs oder deren Nutzung als Übersetzer für klassische Solver. Ein kritischer Lücken besteht darin, ob ein agenter Ansatz, bei dem das LLM schrittweise mit einer PDDL-Simulation (Planning Domain Definition Language) interagiert, Aktionen ausführt, Zustandsänderungen beobachtet und bei Bedarf zurücksetzt, die Planungsergebnisse verbessert. Bisher fehlte eine Infrastruktur, die es einem LLM erlaubt, als eigenständige Suchstrategie in einer Live-Simulation zu agieren, anstatt nur einen statischen Plan zu generieren.

2. Methodik

A. PyPDDLEngine und MCP-Schnittstelle

Die Autoren stellen PyPDDLEngine vor, eine Open-Source-Bibliothek, die eine PDDL-Simulationsengine implementiert und deren Operationen über das Model Context Protocol (MCP) als Tool-Calls für LLMs verfügbar macht.

• Funktionen: Die Engine bietet sieben Operationen: Initialisierung, Abfrage des aktuellen Zustands, Abfrage anwendbarer Aktionen, Ausführung einer einzelnen Aktion, Zurücksetzen auf den Anfangszustand, Abfrage des Aktionsverlaufs und Validierung eines vollständigen Plans.
• Rolle des LLM: Das LLM fungiert als interaktive Suchstrategie. Es wählt eine Aktion aus, führt sie aus, beobachtet den neuen Zustand und entscheidet basierend darauf über den nächsten Schritt. Es kann den Prozess bei unproduktiven Trajektorien zurücksetzen.

B. Experimentelles Design

Die Studie vergleicht vier Ansätze auf 102 Instanzen des „Blocksworld"-Problems (International Planning Competition, IPC) unter einem einheitlichen Zeitbudget von 180 Sekunden:

1. Fast Downward (lama-first): Ein klassischer, gieriger (greedy) Planer als Haupt-Baseline.
2. Fast Downward (seq-sat-lama-2011): Ein klassischer Planer mit iterativer Qualitätsverbesserung (Anytime-Algorithmus).
3. Direct LLM Planning: Ein LLM (Claude Haiku 4.5) generiert einen vollständigen Plan in einem Durchgang. Bei Fehlern wird der Kontext zurückgesetzt und neu promptet, ohne Feedback zu den Fehlern.
4. Agentic LLM Planning: Das gleiche LLM nutzt PyPDDLEngine für schrittweise Interaktion, Zustandsbeobachtung und optionales Zurücksetzen.

Metriken: Erfolgsrate, Planlänge (nur bei gemeinsam gelösten Instanzen), Fehlermodi (Timeout, vorzeitiger Abbruch) und Token-Kosten.

3. Wichtige Beiträge

1. PyPDDLEngine: Bereitstellung einer Open-Source-Infrastruktur, die LLMs als Suchagenten in formale PDDL-Übergangssysteme integriert, anstatt sie nur als Textgeneratoren vor dem Solver zu platzieren. Dies ermöglicht reproduzierbare Forschung zu agentischem Planen.
2. Empirische Charakterisierung: Eine umfassende Vier-Wege-Evaluation, die den Umfang, die Kosten und die Schwierigkeitsabhängigkeit des „agentic advantage" quantifiziert.
3. Analyse des Feedback-Mechanismus: Unterscheidung zwischen extern verankertem Feedback (wie bei Coding-Agenten) und selbstbewertendem Feedback (wie bei PDDL-Schritten) und deren Einfluss auf die Leistung.

4. Ergebnisse

• Erfolgsrate:

  • Fast Downward: 85,3 % (87/102 Instanzen).
  • Direct LLM: 63,7 %.
  • Agentic LLM: 66,7 %.
  • Der agentische Ansatz bietet einen konsistenten, aber moderaten Vorteil von 3 Prozentpunkten gegenüber der direkten Generierung.

• Kosten:

  • Der agentische Ansatz ist deutlich teurer: 5,7-fache Token-Kosten pro gelöster Instanz im Vergleich zur direkten Generierung (169.864 vs. 28.488 Token im Durchschnitt).

• Planqualität (bei gemeinsam gelösten Instanzen):

  • Überraschenderweise generieren beide LLM-Ansätze auf den meisten Schwierigkeitsstufen kürzere Pläne als der klassische seq-sat-lama-2011, obwohl dieser explizit darauf ausgelegt ist, Pläne iterativ zu optimieren.
  • Dies deutet darauf hin, dass die LLMs keine schrittweise Verbesserung durch Interaktion erfahren, sondern eher Trainingsdaten-Muster (Memorization) abrufen. Wenn sie die Lösung kennen, ist sie oft bereits optimal; wenn nicht, hilft die Interaktion nicht weiter.

• Fehlermodi:

  • Der agentische Ansatz zeigt ein Phänomen des „Early Exit": Das LLM bricht bei 6 Instanzen vorzeitig ab, weil es die Aufgabe für unlösbar hält. In 4 dieser Fälle konnte der direkte Ansatz jedoch einen gültigen Plan finden, was zeigt, dass die Selbstbewertung des LLMs fehlerhaft war.

• Schwierigkeitsanalyse:

  • Der Vorteil des agentischen Ansatzes ist nicht uniform. Er konzentriert sich auf mittlere Schwierigkeitsstufen. Bei den härtesten Instanzen (wo Fast Downward Timeouts hat) löst der agentische Ansatz nur 3 zusätzliche Instanzen, während er bei den meisten anderen scheitert.

5. Bedeutung und Schlussfolgerungen

Die Studie liefert wichtige Erkenntnisse für die Entwicklung autonomer robotischer Systeme:

1. Begrenzung von Schritt-für-Schritt-Feedback: Im Gegensatz zu Coding-Agenten, die durch externe, objektive Signale (Compiler-Fehler, Test-Fails) stark profitieren, fehlt dem PDDL-Planer ein externer Anker. Das Feedback ist selbstgeneriert (der Agent muss selbst einschätzen, ob er Fortschritte macht). Ohne externe Verifikation ist die Selbstkorrektur unzuverlässig.
2. Memorization vs. Generalisierung: Die Tatsache, dass LLMs kürzere Pläne liefern als optimierende klassische Solver, ohne einen Qualitätsverbesserungsmechanismus zu nutzen, spricht stark dafür, dass sie Trainingsdaten aus dem Blocksworld-Bereich abrufen und nicht generalisierbare Planungslogik anwenden.
3. Implikationen für die Robotik: Die Leistung von LLM-Planern in der Robotik wird nicht primär durch das Weltwissen des Modells bestimmt, sondern durch die Qualität und Objektivität des Feedbacks aus der Umgebung. Ein reiner Zustandsbericht reicht nicht aus; das System muss dem Agenten signalisieren, ob er sich dem Ziel nähert oder in eine Sackgasse läuft.

Fazit: Agentische Interaktion allein verbessert die Planung in rein symbolischen Umgebungen ohne externes Feedback nur marginal und zu hohen Kosten. Der wahre Nutzen agenter Systeme entsteht dort, wo die Umgebung objektive, externe Validierungssignale liefert. Die Fähigkeit von LLMs, als allgemeine Planer zu fungieren, bleibt im Vergleich zu klassischen Solvern und im Hinblick auf echte Generalisierung hinterfragt.