Technische Samenvatting: EvoPlan

Probleemdefinitie

Het artikel behandelt de uitdaging van het uitvoeren van natuurlijke taal-robottaken in gedeeltelijk bekende, dynamische omgevingen, terwijl impliciete normen (bijv. veiligheidsregels, sociale voorkeuren) worden nageleefd die niet expliciet in de taakprompt staan vermeld. De auteurs identificeren drie kernproblemen die standaardoplossingen ineffectief maken:

1. Partiële Observabiliteit en Dynamiek: Het wereldmodel is incompleet en trajecten van agenten moeten online worden bijgehouden, waardoor planners die vertrouwen op volledig gespecificeerde omgevingen falen.
2. Onderspecificatie van Prompts: Taken in natuurlijke taal laten vaak normatieve vereisten weg. Een planner die uitsluitend optimaliseert voor het expliciete doel, kan de prompt weliswaar vervullen, maar een impliciete norm schenden (bijv. een bestemming bereiken door voor een rood licht te rijden).
3. One-Class Data: De enige beschikbare voorafgaande data bestaat uit ongeannoteerde operationele logs waar elke opgenomen trace "acceptabel" is. Er zijn geen gelabelde schendingen, voorkeursparen of symbolische specificaties van de normen aanwezig, wat standaard reward shaping, behavior cloning of voorkeursgebaseerde RL onbruikbaar maakt.

Methodologie: Het EvoPlan-framework

EvoPlan is een neuro-symbolisch framework dat Large Language Models (LLM's) integreert met formele verificatie en evolutionaire zoektocht. Het werkt in drie afzonderlijke stadia:

1. Offline Constraint Mining (Evolutionary STL Fitting)

Het systeem leert een enkele globale Signal Temporal Logic (STL) constraint, $\Phi_{mob}$, uit ongeannoteerde demonstratiedata.

• Counterfactual Synthesis: Omdat de data one-class is (allemaal acceptabel), genereert het systeem een negatieve klasse ($D^-$) met behulp van procedurele perturbaties (bijv. te hard rijden, drukte) en een LLM-gebaseerde schendingsgenerator. Dit transformeert het probleem in een gesuperviseerde classificatietaak.
• Evolutionaire Zoektocht: Een LLM-gestuurde evolutionaire zoektocht (geïnspireerd door AlphaEvolve) laat STL-formules evolueren over een grammatica van signaalatomen (snelheid, afstand, tijd-tot-botsing, etc.). De fitnessfunctie maximaliseert de robuustheid op de positieve set ($D^+$) terwijl de voldoening op de negatieve set ($D^-$) wordt geminimaliseerd, waarbij complexiteit wordt bestraft.
• Veelzijdigheid: Deze enkele procedure herstelt zowel gecodificeerde regels (bijv. "stop bij rode lichten" uit nuPlan-logs) als populatievoorkeuren (bijv. sociale afstand van SCAND teleoperatie-data).

2. Evolutionaire PDDL Plan Synthese

Het systeem gebruikt een Evolutionary PDDL Planner om discrete actiesequenties te genereren.

• LLM als Voorstelmechanisme: In plaats van een op zichzelf staande planner, stelt de LLM PDDL-plannen voor en repareert deze tegen een vaste domein- en probleemdefinitie.
• Validator Cascade: Een programmeerbare cascade (PDDL-syntaxiscontrole, VAL-simulatie, doelbereikbaarheid en STL-robuustheidscontrole) scoort kandidaten.
• Iteratieve Reparatie: De LLM conditioneert de volgende mutatie op de specifieke feedback van de validator (bijv. "actie X faalde aan voorwaarde Y"). Dit maakt het mogelijk dat het "geverifieerde prefix" van het plan monotoon groeit over iteraties.
• Robuustheid tegen Misalignment: Het systeem handelt open-wereld scenario's en vocabulaire-misalignment af (bijv. doel "verwarmd" versus actie "toast") door een LLM te gebruiken om een predicaat-symboolkaart af te leiden alvorens de validatie uit te voeren.

3. Constrained Execution Loop

Tijdens runtime overbrugt het systeem het discrete PDDL-plan naar continue robotexecutie.

• Waypoint Expansie: Elke PDDL-actie wordt gedispatched naar een navigatielaag (bijv. Nav2) die een waypoint-sequentie genereert.
• Shielding: De waypoint-sequentie wordt gecontroleerd tegen de geleerde globale STL-constraint $\Phi_{mob}$.
• Replanning bij Schending: Als de sequentie $\Phi_{mob}$ schendt, wordt de actie afgewezen. Het systeem committeert het geverifieerde prefix van het plan, werkt de initiële staat bij op basis van de huidige wereldstaat, en roept de planner opnieuw aan om een nieuwe suffix te genereren. Dit creëert een closed-loop systeem waarbij de planner alleen wordt geactiveerd wanneer veiligheid of haalbaarheid in het gedrang komt.

Belangrijkste Bijdragen

1. Data-Driven STL Mining: Een methode om een enkele globale mobiliteitsconstraint te extraheren uit one-class demonstratiedata door counterfactual negatieven te synthetiseren, toepasbaar op zowel regelgebaseerde als voorkeursgebaseerde domeinen.
2. Evolutionaire PDDL Solver: Een planner die LLM's gebruikt voor voorstellen en reparatie binnen een formeel geverifieerde loop, wat robuustheid toont tegen vocabulaire-misalignment en open-world belief growth.
3. Constrained Execution Architectuur: Een runtime-loop die PDDL-plannen compileert naar waypoints, deze valideert tegen geleerde STL-constraints, en replanning triggert bij schending, wat veiligheid garandeert zonder de onderliggende policy te hertrainen.
4. Lokale Implementatie: De volledige pipeline, inclusief alle LLM-aanroepen, draait op een lokaal gehost open-weight model (Qwen3-32B), wat robotimplementatie mogelijk maakt zonder cloud-afhankelijkheid.

Experimentele Resultaten

De auteurs evalueren het framework over drie benchmarks:

• STL Constraint Transfer (Shielding):
  • Rijden (nuPlan $\to$ Bench2Drive): De gegenereerde regelgebaseerde constraint verminderde rode-licht-overtredingen met 77% en botsingen met 71% op een Qwen2.5-VL rijdend beleid, wat de algehele Driving Score verbeterde.
  • Sociale Navigatie (SCAND $\to$ HA-VLN-CE): De gegenereerde voorkeursgebaseerde constraint verminderde vermijdbare contacten met 82% (PointNav) en 93% (MLP) bij indoor navigatietaken, wat effectief de "onveilige staart" van veiligheidsdistributies comprimeert.
• Planningsprestaties (ALFWorld Text):
  • Op de open-world ALFText benchmark behaalde EvoPlan een succespercentage van 98,5% op ongeziene taken, waarmee het sterke baselines (bijv. NL-PDDL met 94%, Direct LLMs met ~20%) versloeg.
  • Cruciaal is dat het dit prestatieniveau (98,5%) behield, zelfs wanneer de doel-vocabulaire niet overeenkwam met de actie-model vocabulaire, terwijl andere methoden significant daalden.
  • Het loste taken op met optimale plannen die een diepte van meer dan 10 overschreden, waar fixed-horizon planners faalden.
• End-to-End Executie (Gazebo):
  • In een gesimuleerde fabrieksomgeving met 9–15 voetgangers voltooide het systeem pick-and-drop missies met gracieuze degradatie. Hoewel één missie faalde door extreme dichtheid, behield het systeem een lage blootstelling aan persoonlijke ruimte en vermeed het botsingen in vier van de vijf runs door te herplannen wanneer de vrijheidsmarges werden geschonden.

Betekenis en Claims

Het artikel claimt dat EvoPlan een "best-of-both-worlds" benadering biedt: het benut de vloeiendheid en contextbewustheid van LLM's voor plangeneratie en reparatie, terwijl het vertrouwt op symbolische validatie en uit data afgeleide temporale logica om uitvoerbaarheid en veiligheid te garanderen.

De auteurs benadrukken dat het systeem neurale modellen behandelt als generatoren van kandidaten in plaats van bronnen van ongecontroleerde autoriteit. Door constraints direct uit ongeannoteerde operationele logs te leren, vermijdt het framework de noodzaak voor handmatig geschreven veiligheidsspecificaties of gelabelde schendingsdata. De resultaten suggeren dat deze neuro-symbolische loop robuust is tegen open-world dynamiek en vocabulaire-misalignment, wat een pad biedt voor het implementeren van veilige, adaptieve robotplanners die geen cloud-infrastructuur vereisen.