Technische Samenvatting: Gezamenlijk Leren van Predicaten en Acties Maakt Zero-Shot Vaardigheidscompositie Mogelijk

1. Probleemdefinitie

Leren van Demonstratie (LfD) heeft robots in staat gesteld complexe gedragingen aan te leren, maar bestaande generatieve visuele-motorische beleidsregels falen vaak om te generaliseren naar nieuwe combinaties van bekende vaardigheden zonder hertraining. Huidige benaderingen modelleren typisch verdelingen over actie-trajecten alleen. Hoewel deze modellen effectief zijn voor het vastleggen van multi-modaal gedrag, missen ze het vermogen om te redeneren over de symbolische uitkomsten (toestandsveranderingen) die door acties worden veroorzaakt. Deze beperking creëert een kloof in taken met een lange horizon, waar verdelingsverschuivingen zich opstapelen en de ruimte van taakvariaties combinatorisch groeit.

Vorig werk dat probeerde deze kloof te overbruggen, ontkoppelde vaak componenten: het trainen van één model om acties te genereren en een apart model om predicaten te classificeren op basis van waarnemingen. Deze scheiding negeert de nauwe koppeling tussen manipulatie-acties en hun symbolische effecten. Bijgevolg kunnen inconsistenties tijdens de inferentie ontstaan waarbij de voorspelde symbolische toestand niet overeenkomt met de daadwerkelijke actiemodus, wat robuuste op planning gebaseerde compositie belemmert.

2. Methodologie: Predicaat-Actie Vaardigheden (PACTS)

De auteurs stellen Predicaat-Actie Vaardigheden (PACTS) voor, een klasse van gesloten-lus visuele-motorische beleidsregels die vaardigheden modelleren als een gezamenlijk generatief proces over actie-trajecten ($x$) en predicat-geloofstrajecten ($z$).

Kernformulering

In plaats van $p(x|o)$ en $p(z|o)$ apart te leren, leert PACTS een gekoppelde verdeling:
$$(x, z) \sim p_\theta(x, z | o)$$
waarbij:

• $x$ het actie-traject is over een horizon $H$.
• $z$ een predicat-geloofstraject is, dat een compacte trace van zachte waarheidswaarden (betrouwbaarheidsscores in $[0, 1]$) voor een reeks predicaten $J$ over de tijd vertegenwoordigt.
• $o$ de huidige waarneming is.

Door te stalen uit deze gezamenlijke verdeling, produceert het model coherente paren waarbij de toewijzing aan een specifieke actiemodus inherent de bijbehorende symbolische trace bevestigt.

Architecturale Implementatie

• Gezamenlijke Variabele: Het model definieert een gezamenlijk trajectvariabele $y \triangleq [x | z]$ en leert één enkele conditionele generatieve model $p_\theta(y | o)$.
• Doelstellingen: Het kader ondersteunt zowel Denoising Diffusion Probabilistic Modeling (DDPM) als Conditional Flow Matching (CFM).
  • DDPM: Traint een ruisvoorspellend netwerk $\epsilon_\theta$ om de gezamenlijke variabele $y$ te ontdoen van ruis.
  • CFM: Traint een vectorveld $v_\theta$ om ruis naar data te transporteren langs een optimale transportpad.
• Ruggengraat: De trajectgenerator kan worden geïnstancierd met een temporale UNet (1D-convoluties) of een Transformer (zelf-attention over tijdstappen).
• Uitvoering: PACTS werkt op een terugtrekkende-horizon manier. Bij elke regelcyclus konditioneert het op de huidige waarneming, steekt het een gezamenlijke uitrol $(x, z)$, voert het een prefix van de actie uit, en steekt het opnieuw.

Op Planning Gebaseerde Compositie

De gegenereerde predicat-geloofstraject $z$ dient als een online symbolische interface voor planning.

1. Toestandschatting: De continue geloofswaarden in $z$ worden gethreshold (bijv. $>0,5$) om discrete predicaattoestanden $\hat{p}_t$ te produceren.
2. Planningslus: Een kant-en-klaar PDDL-planner gebruikt deze voorspelde toestanden om:
   • Preconditions en effecten te controleren.
   • Vaardigheden te sequentiëren om doelen te bereiken.
   • Opnieuw te plannen te triggeren als de voorspelde effecten van een vaardigheid worden geschonden (bijv. door omgevingsverstoringen).
     Dit maakt zero-shot compositie mogelijk, waardoor robots geleerde vaardigheden kunnen sequentiëren om nieuwe doelen te bereiken zonder hertraining.

Data Tooling

Om implementatie in de echte wereld te faciliteren, introduceren de auteurs een toolkit voor vaardigheidssegmentatie en labeling. Deze tool converteert monolithische demonstratiedatasets (bijv. LeRobot-formaat) naar vaardigheidsgerichte datasets door:

• Sparse keyframes te annoteren met verankerde predicaten.
• Deze te interpoleren naar dichte labels per tijdstap.
• Episoden te segmenteren in aaneengesloten trajecten per vaardigheid op basis van doel-bereikende predicaatconfiguraties.

3. Belangrijkste Bijdragen

Het artikel levert drie primaire bijdragen:

1. Gezamenlijke Generatieve Formulering: Een vaardigheidsmodel dat actie-trajecten en predicaat-traces behandelt als een gekoppeld generatief proces, wat coherente actie-uitkomst-uitrollen binnen één enkel model produceert.
2. Op Planning Gebaseerde Compositie: Een methode voor het sequentiëren en monitoren van vaardigheden met behulp van predicat-geloofstraces als online interface, waardoor zero-shot compositie met kant-en-klare planners mogelijk wordt.
3. Open-Source Toolkit: Een toolkit voor segmentatie en labeling die monolithische demonstraties converteert naar datasets geschikt voor gezamenlijk $(x, z)$-leren.

4. Experimentele Resultaten

De auteurs evalueerden PACTS op een 2D-compositionele benchmark (PushBarrier), twee 3D RoboMimic-taken (Keuken en Koffiebereiding), en een real-world kubusverpakkingsopdracht.

Prestaties van Enkele Beleidsregels

• Actiekwaliteit: In de 2D PushBarrier-omgeving behaalde PACTS perfecte of bijna-perfecte taakbeloningen (Max Beloning $\approx 1,0$) over verschillende ruggengraten (UNet/Transformer) en doelstellingen (DDPM/CFM), presterend beter dan of gelijkend aan alleen-actie baselines. In 3D-taken bleef PACTS concurrerend met alleen-actie beleidsregels, wat aantoont dat het toevoegen van uitkomstmodelleren de controleprestaties niet verslechtert.
• Predicaatvoorspelling: PACTS presteerde consequent beter dan baselines in predicaatclassificatie (F1, Recall, Precision, Accuracy). Opmerkelijk was dat het een multi-task baseline met een gedeelde encoder maar aparte koppen overtrof, wat suggereert dat gezamenlijk stalen een sterkere inductieve bias biedt dan eenvoudige parameterdeling.

Coherentie en Compositie

• Predicaat-Actie Coherentie: Experimenten toonden aan dat de voorspelde geloofsuitrollen van PACTS sterk overeenkwamen met de daadwerkelijke uitkomsten die werden gerealiseerd door de gegenereerde acties uit te voeren (lage Cross-Brier en Cross-NLL-scores), wat bevestigt dat de symbolische trace actie-afhankelijk is en geen prior.
• Zero-Shot Compositie: In simulatie en real-world omgevingen slaagde het systeem erin geleerde sub-vaardigheden te combineren om nieuwe doelen te bereiken (bijv. alleen specifieke gekleurde kubussen verpakken) die niet end-to-end werden gedemonstreerd.
• Adversariaal Herstel: Het systeem toonde het vermogen om te detecteren wanneer de effecten van een vaardigheid werden geschonden (bijv. een deur die halverwege de uitvoering sluit) via de predicaatinterface, waardoor opnieuw plannen werd getriggerd om het taak te herstellen en te voltooien.

5. Betekenis en Claims

Het artikel betoogt dat de fundamentele beperking in huidige vaardigheidsleren de ontkoppeling van acties van hun symbolische uitkomsten is. Door vaardigheden te modelleren als gezamenlijke actie-uitkomst-uitrollen, biedt PACTS een "planner-gealigneerde" interface die van nature consistent is met het gedrag van het beleid.

De auteurs claimen dat deze benadering mogelijk maakt:

• Robuuste Generalisatie: Het vermogen om vaardigheden te sequentiëren voor ongezette taakcomposities zonder hertraining.
• Betrouwbare Monitoring: Een online symbolische interface die planners toestaat uitvoeringsvoortgang te verifiëren en fouten te detecteren.
• Inductieve Bias: Het leren van de gekoppelde verdeling moedigt het beleid aan om de specifieke relatie tussen actiemodi en symbolische overgangen te representeren, wat zowel controle als voorspelling verbetert.

Het artikel concludeert bescheiden, erkennend dat prestaties afhankelijk zijn van de kwaliteit van de predicaatset en dat de huidige benadering uitgaat van een handmatig gedefinieerd symbolisch domein. Het postuleert echter dat de gezamenlijke modellering van acties en uitkomsten een noodzakelijke stap is naar schaalbare, betrouwbare en compositabele robotvaardigheden.