Technische Samenvatting: Bilevel Planning met Geleerde Symbolische Abstraheringen uit Interactiedata

Probleemdefinitie

Robotagenten die opereren in continue omgevingen staan voor een fundamentele afweging: redeneren direct in hoogdimensionale continue ruimtes is computationeel onuitvoerbaar vanwege het oneindige of enorme aantal mogelijke oplossingen, terwijl puur symbolisch redeneren vaak faalt omdat het kritieke geometrische en dynamische informatie verworpt, wat leidt tot uitvoeringsfouten. Bestaande methoden die symbolische abstraheringen leren uit onbegeleide robotverkenning vertrouwen doorgaans op deterministische domeinen, missen mechanismen om te verifiëren of een symbolisch plan zal slagen in de continue wereld, en bieden geen noodoplossing wanneer de abstrahering ontoereikend is. Dit artikel adresseert de behoefte aan een planningskader dat de efficiëntie van hoog-niveau symbolisch redeneren combineert met de precisie van verificatie van continue dynamiek.

Methodologie

De auteurs stellen een bilevel neuro-symbolisch planningskader voor dat werkt via twee distincte niveaus, ondersteund door een dubbel-modelarchitectuur getraind op onbegeleide interactiedata.

1. Dubbel-Modelarchitectuur

Het kader maakt gebruik van twee gespecialiseerde neurale netwerkmodellen afgeleid van een encoder-decoder architectuur die is getraind om actie-effecten te voorspellen:

• Symbolisch Model ($M_{sym}$): Gebruikt een Gumbel-Sigmoid activatiefunctie in zijn bottlenecklagen. Dit model is ontworpen om discrete unaire objectsymbolen en relationele symbolen (bijv. "op", "naast") te ontdekken om symbolische operatoren voor hoog-niveau planning te genereren.
• Dynamisch Model ($M_{dyn}$): Gebruikt een standaard Sigmoid activatiefunctie in zijn bottlenecklagen. Hoewel het dezelfde architectuur deelt, is dit model geoptimaliseerd voor accurate voorspelling van continue effecten en dient het als een voorwaartse dynamischemodel voor verificatie en zoekopdrachten op laag niveau.

2. Leerproces

Het systeem leert uit een dataset van interactiestalen $(X, a, X')$, waarbij $X$ de continue toestand voorstelt (objectposities en -types) en $a$ geparametriseerde pick-place vaardigheden voorstelt.

• Symboolontdekking: Het Symbolisch Model beeldt continue toestanden af op discrete symbolen. Relationele symbolen worden berekend met behulp van een self-attention mechanisme dat is aangepast met Gumbel-Sigmoid om differentieerbare learning van discrete symbolen mogelijk te maken.
• Operatorextractie: Continue overgangen worden omgezet in symbolische datasets. Operatoren worden gedefinieerd als verzamelingen van precondities en effecten gebaseerd op de meest frequente post-actie toestanden waargenomen in de data.
• Probabilistische Domeinconstructie: In plaats van deterministische operatoren, construeert het kader een PPDDL (Probabilistische PDDL) domein. Elke operator bevat een kansverdeling over mogelijke symbolische effecten gebaseerd op hun empirische frequentie, waardoor de stochasticiteit van interacties in de echte wereld wordt vastgelegd.

3. Het Bilevel Planningsalgoritme

Het planningsproces verloopt in twee niveaus:

• Niveau 1: Probabilistische Symbolische Planning met Verificatie
  • Het systeem genereert een ensemble van $N$ PDDL-domeinen door effecten te bemonsteren uit de geleerde probabilistische verdelingen.
  • Een klassieke AI-planner (Fast-Downward) zoekt naar plannen in deze domeinen.
  • Continue Verificatie: Kandidaat-symbolische plannen worden gerangschikt op waarschijnlijkheid. Het Dynamisch Model ($M_{dyn}$) wordt gebruikt als een voorwaartse simulator om de continue uitkomst van elk kandidaat-plan te voorspellen. Als de voorspelde eindtoestand binnen een tolerantiedrempel ($\tau_{verify}$) van het doel ligt, wordt het plan geaccepteerd.
• Niveau 2: Fallback voor Continue Voorwaartse Zoekopdracht
  • Als geen enkel symbolisch plan de verificatie doorstaat, roept het systeem een gewogen $A^*$ zoekopdracht aan in de continue toestandsruimte.
  • Deze zoekopdracht maakt gebruik van het Dynamisch Model voor toestandsovergangen en een heuristiek gebaseerd op de Euclidische afstand tot het doel.
  • Om uitvoerbaarheid te garanderen, maakt de zoekopdracht gebruik van heuristische actiepruning, waarbij alleen doelgerichte acties worden gegenereerd (bijv. het verplaatsen van verkeerd geplaatste objecten naar hun doelposities) in plaats van de volledige actieruimte te verkennen.

Belangrijkste Bijdragen

1. Bilevel Kader: Een innovatieve architectuur die probabilistische symbolische planning op hoog niveau integreert met continue voorwaartse zoekopdracht als fallback, waardoor de kloof tussen abstract redeneren en continue dynamiek wordt overbrugd.
2. Dubbel-Model Systeem: De introductie van twee gespecialiseerde modellen – één voor discrete symboolontdekking en een ander voor nauwkeurige voorspelling van continue effecten – wat aantoont dat een enkel model niet optimaal kan dienen voor beide doeleinden.
3. Verificatiemechanisme: Een methode die het continue dynamischemodel gebruikt om symbolische plannen te verifiëren voordat ze worden uitgevoerd, waardoor effectief plannen worden gefilterd die symbolisch geldig zijn maar dynamisch onuitvoerbaar.
4. Probabilistische Operatorlearning: Een verschuiving weg van deterministische domeinen naar het leren van operatoren met stochastische effecten, waardoor de planner minder waarschijnlijke maar potentieel succesvolle paden kan verkennen.

Experimentele Resultaten

Het kader werd geëvalueerd op taken voor manipulatie van meerdere objecten in een gesimuleerde tafelomgeving met 2 tot 4 objecten en actiesequenties van lengte 1 tot 5.

• Modelvalidatie: Het Dynamisch Model behaalde een lagere gemiddelde voorspelfout voor effecten (1,96 cm) vergeleken met het Symbolisch Model (3,33 cm), wat de noodzaak bevestigt van aparte modellen voor continue voorspelling.
• Probabilistisch versus Deterministisch: De probabilistische planner presteerde aanzienlijk beter dan de deterministische baseline (bijv. 73,0% versus 64,67% succespercentage voor 1-staps taken), wat aantoont dat het overwegen van de volledige uitkomstverdeling de robuustheid verbetert.
• Verificatieprestaties: De continue planverifier behaalde een gemiddelde nauwkeurigheid van 0,91 en een F1-score van 0,90. Geverifieerde plannen hadden een succespercentage van 94,5%, terwijl niet-geverifieerde plannen een faalpercentage van 87,3% hadden, wat de betrouwbaarheid van het mechanisme bevestigt bij het filteren van mislukte plannen.
• Algemene Prestaties: De voorgestelde Bilevel Planner behaalde planningsuccesspercentages die statistisch vergelijkbaar waren met volledige Continue Voorwaartse Zoekopdracht ($p=0,71$). Echter, het loste de meerderheid van de problemen op met efficiënt symbolisch redeneren en greep alleen terug op de computationeel dure continue zoekopdracht wanneer dit noodzakelijk was.

Betekenis

Het artikel stelt dat deze aanpak succesvol de beperkingen van puur symbolische planning (verlies van geometrische details) en puur continue planning (computationele onuitvoerbaarheid) mitigeert. Door de efficiëntie van symbolisch redeneren te combineren met de precisie van geleerde continue dynamiek, biedt het kader een robuuste oplossing voor robotmanipulatie. Het toont aan dat agenten planningsprestaties op hoog niveau kunnen behalen die vergelijkbaar zijn met exhaustieve continue zoekopdrachten, terwijl ze computationele efficiëntie behouden, mits ze symbolische plannen kunnen verifiëren tegen geleerde fysieke dynamiek. Het werk benadrukt het belang van probabilistische modellering en verificatie om geleerde symbolische abstraheringen betrouwbaar te maken voor uitvoering in de echte wereld.