🤖 AI

Training the Orchestrator: A Supervised Approach to End-to-End PDDL Planning with LLM Agents

Dieses Paper führt HALO ein, einen hybriden, agenten-basierten Orchestrator, der verifizierte Verfeinerungstrajektorien nutzt, um eine kleine, kosteneffiziente Policy für das End-to-End-PDDL-Planning zu trainieren, wodurch Erfolgsraten erzielt werden, die mit führenden LLMs vergleichbar sind, während gleichzeitig die Orchestrierungskosten um mehr als eine Größenordnung reduziert werden.

Ursprüngliche Autoren: Rajesh Mangannavar, Zachary Coalson, Pranay Dugar, Prasad Tadepalli

Veröffentlicht 2026-06-23

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Rajesh Mangannavar, Zachary Coalson, Pranay Dugar, Prasad Tadepalli

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Problem: Der „Übersetzer“-Engpass

Stellen Sie sich vor, Sie möchten ein komplexes Möbelstück bauen. Sie haben eine grobe Skizze und eine Liste von Ideen, die in einfachem Englisch (Natürliche Sprache) verfasst sind. Das Gerät, das die Möbel tatsächlich baut (der klassische Planer), versteht jedoch nur einen sehr strengen, roboterhaften Code namens PDDL.

Wenn Sie eine reguläre KI (ein Large Language Model oder LLM) bitten, diesen Code zu schreiben, macht sie oft Fehler. Sie erfindet vielleicht Teile, die nicht existieren, vergisst die Schrauben aufzulisten oder schreibt Anweisungen, die die Maschine nicht lesen kann.

Um dies zu beheben, entwickelten Forscher ein „Reparatur-Team“. Sie haben einen Manager (den Orchestrator), der den fehlerhaften Code betrachtet und ein Team von Spezialisten (Agents) engagiert, um spezifische Fehler zu beheben. Ein Spezialist repariert die Grammatik, ein anderer die Logik und ein weiterer prüft, ob die Teile zusammenpassen.

Der Haken: In dem alten System war der Manager eine superteure, hochkarätige KI (wie GPT-5 oder Gemini). Jedes Mal, wenn das Team einen Fehler korrigieren musste, mussten Sie dem Manager eine hohe Gebühr zahlen, damit er über das Problem nachdenkt und den nächsten Spezialisten auswählt. Wenn ein Projekt 10 Schritte zur Reparatur benötigte, zahlten Sie dem Manager 10 Mal. Dies machte den gesamten Prozess für kleine Labore oder lokale Computer zu teuer.

Die Lösung: HALO (Der Praktikanten-Manager)

Die Autoren dieser Arbeit, Rajesh Mangannavar und sein Team, fragten sich: „Brauchen wir wirklich für jeden einzelnen Schritt einen superteuren Manager? Können wir einen günstigen, lokalen Praktikanten trainieren, um den Job zu erledigen?“

Sie entwickelten HALO (Hybrid Agent-Learned Orchestrator). So funktioniert es, unter Verwendung von drei Schlüsseltricks:

1. Lernen von „Gewinner-Spielbüchern“

Normalerweise ist das Training einer KI schwierig, weil man nicht für jeden Schritt die „richtige“ Antwort kennt. Aber in diesem System gibt es einen Schiedsrichter (einen Verifier), der das fertige Möbelstück überprüft.

Wenn der fertige Plan funktioniert, sagt der Schiedsrichter: „Gut gemacht!“
Das Team stellte fest: Jedes Mal, wenn der Schiedsrichter „Gut gemacht!“ sagte, war die Sequenz der verwendeten Manager und Spezialisten eine gewinnbringende Strategie.

Sie nahmen tausende dieser „Gewinner-Spielbücher“, entfernten die Stimme des teuren Managers und behielten lediglich das Protokoll: „Wenn der Code wie X aussah, wählte das Gewinner-Team den Spezialisten Y.“ Sie nutzten diese Daten, um eine kleine, günstige KI (HALO) zu trainieren, die diese gewinnbringenden Entscheidungen nachzuahmen.

2. Die „Regelbuch“-Abkürzung

HALO ist nicht nur ein Gehirn, sondern ein Gehirn mit einem Spickzettel. Die Autoren erkannten, dass einige Entscheidungen so offensichtlich sind, dass selbst ein Mensch nicht darüber nachdenken müsste.

Beispiel: Wenn der Code leer ist, lautet die Regel: „Rufe den Notfall-Agenten.“
Beispiel: Wenn der Code einen Rechtschreibfehler hat, lautet die Regel: „Rufe den Syntax-Agenten.“
Beispiel: Wenn der Plan perfekt ist, lautet die Regel: „Stopp.“

HALO prüft zuerst diese einfachen Regeln. Wenn eine Regel zutrifft, handelt HALO sofort, ohne sein „Gehirn“ (das KI-Modell) zu benutzen. Dies spart Zeit und Geld. Nur wenn das Problem wirklich verwirrend ist, nutzt HALO sein trainiertes KI-Modell, um eine Entscheidung zu treffen.

3. Ein größerer Werkzeugkasten

Das Team erweiterte auch das Team der Spezialisten. Sie fügten 8 neue Experten zu den ursprünglichen 13 hinzu, womit die Gesamtzahl auf 21 stieg. Einige dieser neuen Experten sind „deterministisch“, was bedeutet, dass es sich um einfache Computer-Skripte handelt, die sofort ablaufen und nichts kosten, anstatt teure KI-Modelle zu sein. Dies gab HALO mehr Werkzeuge, um Probleme schnell zu lösen.

Die Ergebnisse: Schneller, billiger und genauso gut

Das Team testete HALO gegen die teuren, hochkarätigen KI-Manager bei 11 verschiedenen Arten von Planungsproblemen (wie Logistik, Roboterbewegung und Zeitplanung).

Erfolgsrate: HALO war genauso gut wie oder manchmal sogar besser als die teure KI. Es löste die Probleme mit der gleichen Rate.
Geschwindigkeit: Da HALO einfache Regeln für leichte Probleme und ein kleines lokales Modell für schwere Probleme verwendet, trifft es Entscheidungen viel schneller.
Kosten: Das ist der größte Sieg.
- Der alte Weg (mit Verwendung von GPT-5) kostete etwa 0,18 $ pro Aufgabe.
- HALO kostet etwa 0,004 $ pro Aufgabe.
- Das ist etwa 45 Mal billiger. Es ist vergleichbar damit, von der Einstellung eines Sternekochs für jede Mahlzeit zu einem hochqualifizierten lokalen Koch überzugehen, der für einfache Gerichte ein Rezeptbuch benutzt.

Das Fazentelem

Das Paper beweist, dass man keine „superintelligente“ KI braucht, um ein Team von Reparatur-Agenten zu managen. Wenn man einen strengen Schiedsrichter (den Verifier) hat, der einem sagt, wann ein Plan erfolgreich ist, kann man eine kleine, günstige KI trainen, um aus diesen Erfolgen zu lernen.

Dies ermöglicht es, komplexe Planungssysteme auf einem einzelnen Computer in einem Labor (oder sogar auf einem Laptop) laufen zu lassen, ohne jedes Mal für teure Cloud-APIs bezahlen zu müssen, wenn eine Entscheidung getroffen wird. Es verwandelt einen Luxusdienst in etwas, das jeder lokal ausführen kann.

Technisches Resümee: HALO – Ein überwachter Ansatz für End-to-End PDDL-Planung mit LLM-Agenten

1. Problemstellung

Die automatisierte Planung erfordert die Übersetzung von natürlichen Sprachzielen in formale PDDL-Spezifikationen (Planning Domain Definition Language), die von klassischen Solvern verarbeitet werden können. Während Large Language Models (LLMs) eine Brücke zwischen natürlicher Sprache und formalen Repräsentationen schlagen können, sind sie in isolierter Anwendung unzuverlässig; sie neigen dazu, Prädikate zu halluzinieren, Constraints falsch zu kodieren oder ungültige Pläne zu erzeugen.

Neuere agentische Frameworks (z. B. La Malfa et al. [2026]) adressieren dies durch die Orchestrierung eines Pools spezialisierter Repair-Agenten innerhalb einer durch einen Verifizierer geprüften Verfeinerungsschleife. In diesen Systemen fungiert ein „Frontier“-LLM (z. B. GPT-5, Gemini-3) als Orchestrator, der den aktuellen Zustand (PDDL, Solver-Logs, Validierungsfehler) inspiziert und in jedem Schritt den geeigneten Repair-Agenten auswählt. Obwohl dieser Ansatz effektiv ist, erzeugt er einen erheblichen Engpass: Der Orchestrator selbst erfordert in jedem Verfeinerungsschritt einen kostspieligen API-Aufruf an ein Frontier-LLM. Diese Abhängigkeit beschränkt den Einsatz auf Szenarien mit kontinuierlichem API-Zugriff, was das Framework für Laborskalen, Edge-Anwendungen oder Air-Gapped-Umgebungen prohibitiv teuer macht.

Die Kernherausforderung, die in dieser Arbeit adressiert wird, laet sich wie folgt formulieren: Kann der Frontier-LLM-Orchestrator durch ein kleines, lokal bereitgestelltes Modell ersetzt werden, ohne die Erfolgsraten der Planung zu opfern?

2. Methodik: HALO

Die Autoren schlagen HALO (Hybrid Agent-Learned Orchestrator) vor, ein System, das den promptbasierten Frontier-Orchestrator durch eine mit QLoRA-Feinabstimmung versehene Policy ersetzt, die mit einer fest codierten Regelschicht gepaart ist.

2.1 Das Trainingssignal: Verifizierer-gestützte Trajektorien

Eine zentrale Erkenntnis der Arbeit ist, dass der externe Verifizierer (Compiler und Validator) bereits ein starkes Supervisionssignal liefert. In dem agentischen Framework ist eine Verfeinerungstrajektorie eine Sequenz von (Zustand, Agent)-Entscheidungen. Wenn die Trajektorie in einem gültigen Plan endet (zertifiziert durch den Verifizierer), ist jede Entscheidung innerhalb dieser Trajektorie implizit „korrekt“ im Sinne dessen, dass sie zu einem erfolgreichen Ergebnis beigetragen hat.

Datenerhebung: Die Autoren lassen einen starken, promptbasierten Lehrer (GPT-5-mini) auf Trainingsproblemen über 11 PDDL-Domänen laufen.
Filterung: Trajektorien werden strikt durch den externen Verifizierer gefiltert. Nur solche, die in einem gültigen Plan enden, werden beibehalten.
Supervision: Der Trainingssatz besteht aus (Zustand, Agent)-Paaren, die aus diesen verifizierten Trajektorien extrahiert wurden. Die Policy wird mittels Supervised Fine-Tuning (SFT) darauf trainiert, die Agent-ID vorherzusagen, die der Lehrer ausgewählt hat, bedingt auf den Zustand.

2.2 Erweiterter Aktionsraum

Das Framework erweitert den Agenten-Pool von den ursprünglichen 13 Agenten auf 21 Agenten, kategorisiert als:

Baseline-Agenten (13): LLM-promptbasierte Reparaturroutinen (z. B. Syntax-Fixer, Halluzinations-Stripper) aus vorangegangener Arbeit.
Deterministische Plan-Repair-Agenten (5): Nicht-LLM-Routinen (z. B. Variablen-Swapping, Aktions-Reordering, Redundanz-Stripping), die in Millisekunden mit null LLM-Kosten laufen.
PDDL-bewusste LLM-Agenten (3): Spezialisierte Agenten für Modellierungsfehler (z. B. Typ-Hierarchie-Korrekturen, Prädikat-Generalisierung).

2.3 Hybride Inferenz-Policy

Zur Laufzeit operiert HALO mit einer zweischichtigen Policy ( $\pi_{hybrid}$ ):

Schicht 1 (Hardcoded Rules): Drei trivial entscheidbare Fälle werden durch Regeln gelöst, ohne ein Modell aufzurufen:
- Kaltstart (leeres PDDL) $\rightarrow$ Wähle AgentEmergency.
- Syntaxfehler erkannt $\rightarrow$ Wähle AgentSyntaxPDDL.
- Gültiger Plan erreicht $\rightarrow$ Wähle NoOpAgent (Terminierung).
Schicht 2 (Learned Policy): Falls keine Regel greift, sagt ein kleines, QLoRA-feinabgestimmtes LLM (z. B. Llama-3-8B) die nächste Agent-ID voraus. Das Modell wird darauf feinabgestimmt, ein einzelnes Token auszugeben, das der Agent-ID entspricht (0–20).

2.4 Trainingsdetails

Architektur: QLoRA-Feinabstimmung (4-Bit-Quantisierung, LoRA-Rang 16) auf Basismodellen wie Llama-3-8B, Qwen-2.5-7B und Gemma-2-9B.
Loss-Funktion: Single-Token Cross-Entropy auf der Agent-ID, wobei Prompt-Tokens maskiert werden.
Datenvolumen: Ungefähr 12.000–15.000 (Zustand, Agent)-Paare, abgeleitet aus ~2.000 hochwertigen, verifizierer-akzeptierten Trajektorien.

3. Zentrale Beiträge

HALO (Hybrid Agent-Learned Orchestrator): Ein trainierter Orchestrator, der den Frontier-LLM-API-Aufruf durch die Inferenz eines kleinen, lokal servierten Modells ersetzt. Er erreicht oder übertrifft die Performance von GPT-5-mini und Gemini-3-Flash Baselines, während er die Orchestrierungskosten um mehr als eine Größenordnung senkt.
Verifier-Guided Trajectory Supervision: Die Autoren formulieren das Training des Orchestrators als Imitation Learning auf Trajektorien, die durch einen externen Compiler/Validator zertifiziert wurden. Der Verifizierer fungt dabei als Datenakzeptanzfilter statt als Loss-Funktion, was ein starkes, rauschfreies Supervisionssignal liefert, das über Domänen hinweg generalisiert.
Erweiterter Aktionsraum mit hybrider Policy: Die Einführung von 21 Agenten (einschließlich deterministischer Reparaturroutinen) und einer hybriden Policy, die triviale Entscheidungen an hardcoded Regeln auslagert. Dies ermöglicht es der gelernten Policy, ihre Kapazität auf genuin ambivalente Entscheidungen zu konzentrieren, was die Effizienz steigert und die Trainingslast reduziert.

4. Experimentelle Ergebnisse

Das System wurde über 11 PDDL-Domänen evaluiert, die PlanBench, Google Natural Plan und Classical Planning Benchmarks abdecken.

Erfolgsrate:
- HALO erreicht oder übertrifft die GPT-5-mini promptbasierte Baseline in allen Familien (z. B. +3,3 % auf PlanBench, +37,3 % auf Natural Plan).
- HALO liegt innerhalb von 3 Prozentpunkten der stärkeren Gemini-3-Flash Baseline auf PlanBench und Natural Plan und übertrifft diese bei Classical Planning (95,8 % vs. 93,0 %).
Effizienz & Kosten:
- LLM-Aufrufe: HALO reduziert die Gesamtzahl der LLM-Aufrufe pro Episode im Vergleich zu den Baselines um 40–50 %, primär weil die hybride Regelschicht ~35 % der Entscheidungen ohne Modellaufruf löst.
- Kosten: Die Orchestrierungskosten sinken von ~ $0,18–$ 0,22 pro Aufgabe (GPT-5-mini) und ~ $0,06–$ 0,08 (Gemini-3-Flash) auf $0,004 pro Aufgabe für HALO. Dies entspricht einer 45-fachen Reduktion gegenüber GPT-5-mini und einer 15-fachen Reduktion gegenüber Gemini-3-Flash.
Generalisierung: Das Modell generalisiert auf gehaltene (held-out) Domänen mit einem Leistungsabfall von nur ~5–8 Prozentpunkten, was darauf hindeutet, dass das gelernte Signal domänenübergreifende Orchestrierungsmuster erfasst und nicht spezifische Abkürzungen auswendig lernt.

5. Bedeutung und Ansprüche

Das Paper behauptet, dass agentische Frameworks, die um formale Verifizierer gebaut sind, eine strukturelle Vereinfachung zulassen: Der Orchestrator muss kein generalistisches Frontier-LLM sein. Stattdessen kann er ein kleines, lokal serviertes, trainierbares Modell sein, sofern der Verifizierer pro-Trajektorien Akzeptanzsignale liefert.

Dieses Ergebnis hat signifikante Auswirkungen auf die Bereitstellung:

Entkopplung von APIs: Es entfernt die Abhängigkeit von kontinuierlichem Zugriff auf teure Frontier-LLM-APIs.
Zugänglichkeit: Es macht End-to-End-Planung in natürlicher Sprache für Laborskalen, Edge-Anwendungen und Air-Gapped-Settings praktikabel, in denen API-Zugriff unpraktisch oder untersagt ist.
Kosteneffizienz: Es demonstriert, dass hochwertige Planung zu einem Bruchteil der Kosten (etwa 45-mal günstiger) durch die Nutzung der „kostenlosen“ Supervision innerhalb der Verifizierungsschleife erreicht werden kann.

Die Autoren weisen auf Limitationen hin, einschließlich der Abhängigkeit vom Verhalten des Lehrers (begrenzt durch die verifizierer-gefilterten Trajektorien) und der Unfähigkeit, PDDL-Erweiterungen außerhalb des 21-Agenten-Scopes (z. B. numerische Fluents) zu handhaben. Sie postulieren jedoch, dass dieser überwachte Ansatz als starke Baseline dient, wobei zukünftige Arbeiten potenziell Reinforcement Learning from Verifiable Rewards (RLVR) untersuchen könnten, um das „Lehrer-Limit“ zu durchbrechen.