Technische Samenvatting: HALO – Een gesuperviseerde aanpak voor end-to-end PDDL-planning met LLM-agenten

1. Probleemstelling

Geautomatiseerde planning vereist het vertalen van natuurlijke taaldoelen naar formele PDDL-specificaties (Planning Domain Definition Language), die klassieke solvers kunnen verwerken. Hoewel Large Language Models (LLM's) een brug bieden tussen natuurlijke taal en formele representaties, zijn ze in isolatie onbetrouwbaar; ze hallucineren vaak predicaten, coderen beperkingen foutief of produceren ongeldige plannen.

Recente agentische frameworks (bijv. La Malfa et al. [2026]) pakken dit aan door een pool van gespecialiseerde reparatie-agenten te orkestreren binnen een door een verifier gecontroleerde verfijningslus. In deze systemen fungeert een "frontier"-LLM (bijv. GPT-5, Gemini-3) als de orchestrator, die de huidige staat inspecteert (PDDL, solver-logs, validatorfouten) en bij elke stap de juiste reparatie-agent selecteert. Hoewel effectief, creëert deze aanpak een aanzienlijke bottleneck: de orchestrator zelf vereist bij elke verfijningsstap een kostbare API-call naar een frontier-LLM. Deze afhankelijkheid beperkt de inzetbaarheid tot scenario's met continue API-toegang, wat het framework onbetaalbaar maakt voor lab-schaal, edge- of air-gapped omgevingen.

De kernuitdaging die dit artikel adresseert is: Kan de frontier-LLM orchestrator worden vervangen door een klein, lokaal geserveerd model zonder het succespercentage van de planning op te offeren?

2. Methodologie: HALO

De auteurs stellen HALO (Hybrid Agent-Learned Orchestrator) voor, een systeem dat de geprompte frontier-orchestrator vervangt door een kleine, via QLoRA getunede policy gekoppeld aan een hardcoded regel-laag.

2.1 Het Trainingssignaal: Verifier-gestuurde Trajecten

Een cruciaal inzicht van het artikel is dat de externe verifier (compiler en validator) al een sterk supervisiesignaal biedt. In het agentische framework is een verfijningstraject een sequentie van (staat, agent) beslissingen. Als een traject eindigt in een geldig plan (gecertificeerd door de verifier), is elke beslissing binnen dat traject impliciet "correct" in de zin dat deze heeft bijgedragen aan een succesvolle uitkomst.

• Dataverzameling: De auteurs draaien een sterke geprompte docent (GPT-5-mini) op trainingsproblemen over 11 PDDL-domeinen.
• Filtering: Trajecten worden strikt gefilterd door de externe verifier. Alleen trajecten die eindigen in een geldig plan worden behouden.
• Supervisie: De trainingsset bestaat uit (staat, agent) paren geëxtraheerd uit deze geverifieerde trajecten. De policy wordt getraind via supervised fine-tuning (SFT) om de agent ID te voorspellen die de docent selecteerde, geconditioneerd op de staat.

2.2 Uitgebreide Actieruimte

Het framework breidt de pool van agenten uit van de oorspronkelijke 13 naar 21 agenten, gecategoriseerd als:

1. Baseline Agents (13): LLM-geprompte reparatieroutines (bijv. syntax fixer, hallucination stripper) uit eerder werk.
2. Deterministische Plan-Repair Agents (5): Niet-LLM routines (bijv. variabele verwisseling, actieherordening, redundantie verwijderen) die in milliseconden draaien met nul LLM-kosten.
3. PDDL-bewuste LLM Agents (3): Gespecialiseerde agenten voor modelleringsfouten (bijv. type hiërarchie correcties, predicaat generalisatie).

2.3 Hybride Inferentie Policy

Tijdens de inferentie werkt HALO via een tweelaagse policy ($\pi_{hybrid}$):

• Laag 1 (Hardcoded Regels): Drie triviaal beslisbare gevallen worden door regels afgehandeld zonder een model aan te roepen:
  • Cold start (lege PDDL) $\rightarrow$ Selecteer AgentEmergency.
  • Syntaxfouten gedetecteerd $\rightarrow$ Selecteer AgentSyntaxPDDL.
  • Geldig plan bereikt $\rightarrow$ Selecteer NoOpAgent (termineren).
• Laag 2 (Learned Policy): Als er geen regel van toepassing is, voorspelt een kleine, via QLoRA getunede LLM (bijv. Llama-3-8B) de volgende agent ID. Het model is getraind om een enkele token te produceren die overeenkomt met de agent ID (0–20).

2.4 Trainingsdetails

• Architectuur: QLoRA fine-tuning (4-bit kwantisatie, LoRA rank 16) op basismodellen zoals Llama-3-8B, Qwen-2.5-7B, en Gemma-2-9B.
• Loss Function: Single-token cross-entropy op de agent ID, waarbij prompt tokens gemaskeerd zijn.
• Datavolume: Ongeveer 12.000–15.000 (staat, agent) paren afgeleid van ~2.000 hoogwaardige, door de verifier geaccepteerde trajecten.

3. Belangrijkste Bijdragen

1. HALO (Hybrid Agent-Learned Orchestrator): Een getrainde orchestrator die de frontier-LLM API-call vervangt door lokale, kleine-model inferentie. Het evenaart of overtreft de prestaties van de GPT-5-mini en Gemini-3-Flash baselines terwijl het de orchestratiekosten met meer dan een orde van grootte vermindert.
2. Verifier-gestuurde Traject-supervisie: De auteurs formuleren de orchestrator-training als imitation learning op trajecten die gecertificeerd zijn door een externe compiler/validator. De verifier fungeert hierbij als een data-acceptatiefilter in plaats van een loss-functie, wat een sterk, ruisvrij supervisiesignaal biedt dat generaliseert over domeinen.
3. Uitgebreide Actieruimte met Hybride Policy: De introductie van 21 agenten (inclusclusief deterministische reparatieroutines) en een hybride policy die triviale beslissingen naar hardcoded regels verplaatst. Dit stelt de geleerde policy in staat zich te concentreren op werkelijk ambigue beslissingen, wat de efficiëntie verhoogt en de trainingslast vermindert.

4. Experimentele Resultaten

Het systeem werd geëvalueerd over 11 PDDL-domeinen verspreid over de PlanBench, Google Natural Plan, en Classical Planning benchmarks.

• Succespercentage:
  • HALO evenaart of overtreft de GPT-5-mini geprompte baseline in alle families (bijv. +3,3% op PlanBench, +37,3% op Natural Plan).
  • HALO zit binnen 3 procentpunten van de sterkere Gemini-3-Flash baseline op PlanBench en Natural Plan, en overtreft deze op Classical planning (95,8% vs 93,0%).
• Efficiëntie & Kosten:
  • LLM Calls: HALO vermindert het totaal aantal LLM-calls per episode met 40–50% vergeleken met baselines, voornamelijk omdat de hybride regel-laag ~35% van de beslissingen oplost zonder een model aan te roepen.
  • Kosten: De orchestratiekosten dalen van ~$0,18–$0,22 per taak (GPT-5-mini) en ~$0,06–$0,08 (Gemini-3-Flash) naar $0,004 per taak voor HALO. Dit vertegenwoordigt een 45× reductie ten opzichte van GPT-5-mini en een 15× reductie ten opzichte van Gemini-3-Flash.
• Generalisatie: Het model generaliseert naar uitgestelde (held-out) domeinen met een prestatieverlies van slechts ~5–8 procentpunten, wat suggereert dat het geleerde signaal domein-generale orchestratiepatronen vangt in plaats van specifieke shortcuts te memoriseren.

5. Betekenis en Claims

Het artikel claimt dat agentische frameworks gebouwd rond formele verifiers een structurele vereenvoudiging toelaten: de orchestrator hoeft geen algemene frontier-LLM te zijn. In plaats daarvan kan het een kleine, lokaal geserveerde, trainbare model zijn, mits de verifier per-traject acceptatiesignalen levert.

Deze bevinding heeft belangrijke implicaties voor implementatie:

• Ontkoppeling van API's: Het elimineert de afhankelijkheid van continue toegang tot dure frontier-LLM API's.
• Toegankelijkheid: Het maakt end-to-end natuurlijke taalplanning mogelijk voor lab-schaal, edge- en air-gapped settings waar API-toegang onpraktisch of verboden is.
• Kostenefficiëntie: Het demonstreert dat hoogwaardige planning kan worden bereikt tegen een fractie van de kosten (ongeveer 45× goedkoper) door gebruik te maken van de "gratis" supervisie die inherent is aan de verificatielus.

De auteurs merken beperkingen op, waaronder de afhankelijkheid van het gedrag van de docent (beperkt door de verifier-gefilterde trajecten) en het onvermogen om PDDL-extensies buiten de 21-agenten scope (bijv. numerieke fluents) af te handelen. Ze stellen echter dat deze gesuperviseerde aanpak dient als een sterke baseline, waarbij toekomstig werk potentieel Reinforcement Learning from Verifiable Rewards (RLVR) kan verkennen om de "teacher ceiling" te doorbreken.