Technische Samenvatting: Inverse Manipulatie door middel van Symbolische Planning en Residual Operator Learning

Probleemstelling

Het artikel behandelt de uitdaging van skill inversion (vaardigheidsinversie) in robotmanipulatie: het vermogen om een fysieke omgeving te herstellen naar de staat die voorafging aan de voorwaartse uitvoering. De auteurs stellen dat het simpelweg terugdraaien van motorische trajecten ontoereikend is voor veel taken, met name bij niet-prehensiele interacties (bijv. duwen) waarbij de robot het object niet vastgrijpt. Hoewel symbolische planning sequenties kan genereren, faalt het vaak in het volledig herstellen van continue fysieke toestanden vanwege beperkte actieprimitieven en precisievereisten. Omgekeerd is pure trajectomkering vaak fysiek onuitvoerbaar. Het kernprobleem is het overbruggen van de kloof tussen hoogwaardige symbolische hersteldoelstellingen en laagwaardige continue controle om fysiek gegronde inverse vaardigheden te bereiken.

Methodologie

Het voorgestelde framework is een hybride systeem dat symbolische planning combineert met Residual Reinforcement Learning (RL). Het proces werkt in drie hoofdfasen:

1. Symbolische Operator Extractie

Het systeem analyseert voorwaartse vaardigheidsdemonstraties om automatisch symbolische operatoren te extraheren in STRIPS-formalisme (Fikes en Nilsson 1971).

• Soft Predicates: Een vooraf gedefinieerd repertoire aan predicaten (bijv. AT POSE, GRIPPER OPEN) wordt gegrond op de scène-grafiek middels zachte, differentiabele geometrische predicaten. Dit levert continue scores $V_p(s) \in [0, 1]$ op gebaseerd op getekende marges $m_p(s)$.
• Operator Definitie: Een operator $o = \langle Pre, Add, Del \rangle$ wordt geconstrueerd door de begin- en eindtoestanden van demonstraties te analyseren. Predicaten met hoge startscores vormen de precondition set ($Pre$), terwijl veranderingen in scores de add- ($Add$) en delete-effecten ($Del$) bepalen.

2. Inverse Target Generatie en Symbolische Planning

De inverse doelstelling wordt niet gedefinieerd als een tijdsomkering, maar als een herstelprobleem. De doeltoestand $I(o)$ wordt geconstrueerd om de oorspronkelijke preconditions te voldoen, de verwijderde effecten te herstellen en de toegevoegde effecten te ontzeggen:
$$I(o) = Pre \cup Del \cup \neg Add$$
Een Breadth-First Search (BFS) planner probeert $I(o)$ te vervullen met behulp van een beperkte set gescripte actieprimitieven (bijv. PICK, PLACE).

3. Residual Operator Learning

Omdat de symbolische planner de inverse doelstelling mogelijk slechts gedeeltelijk kan vervullen, verdeelt het systeem de resterende doelstellingen:

• Fence Set ($F$): Predicaten die al door het symbolische plan ($\pi_{sym}$) zijn vervuld en die behouden moeten blijven.
• Active Residual Set ($A$): Onopgeloste predicaten die de residuele doelstelling vormen.

Een Residual RL policy ($\pi_{res}$) wordt getraind om de actieve set $A$ te vervullen terwijl de fence set $F$ behouden blijft.

• Beloningsfunctie: De beloning wordt direct afgeleid van de predicaten van de symbolische planning.
  • Voor actieve predicaten ($A$): Een getekende genormaliseerde marge met gebruik van $\tanh$ om begrensde beloningen te bieden voor herstel.
  • Voor fence predicaten ($F$): Een eenzijdige straf met gebruik van $\min(0, \cdot)$ om schendingen te bestraffen zonder "niets doen"-gedrag te belonen.
• Executie: De uiteindelijke inverse vaardigheid is de concatenatie van de symbolische sequentie $\pi_{sym}$ en de geleerde residuele policy $\pi_{res}$.

Belangrijkste Bijdragen

Het artikel beschrijft drie primaire bijdragen:

1. Hybride Formulering: Het aanpakken van skill inversion als een hybride symbolisch-continu herstelprobleem, waarbij inverse targets worden afgeleid van symbolische voorwaartse operatoren geëxtraheerd uit demonstraties in plaats van te vertrouwen op tijdsomkering.
2. Residual Operator Learning Framework: Het introduceren van een mechanisme waarbij RL alleen wordt geactiveerd wanneer de symbolische planning de inverse doelstelling niet volledig kan vervullen, waardoor het "residuele" deel van de taak effectief wordt afgehandeld.
3. Predicate-afgeleide Beloningen: Het direct afleiden van RL-beloningssignalen uit de effecten van de symbolische planning, wat handmatige beloningsengineering voor elke specifieke taak elimineert.

Experimentele Resultaten

Het framework werd geëvalueerd op de ManiSkill3 PushCube taak met een Franka Panda manipulator. De voorwaartse vaardigheid bestond uit het duwen van een kubus naar een doelpositie. De inverse taak vereiste het herstellen van de kubus naar de oorspronkelijke bronpositie.

• Prestaties: De hybride aanpak (Symbolic + RL) behaalde een succespercentage van 90% binnen een tolerantie van 1 cm, met een gemiddelde precisie van 1,4 mm.
• Vergelijkingen:
  • Alleen Symbolische Prefix: Behaalde slechts 10% succes, waarbij een gemiddelde residuele afstand van 16,6 mm overbleef.
  • Symbolisch + Random Actie: Behaalde 50% succes met een hoge variantie (18,8 mm gemiddeld), wat aangeeft dat willekeurige exploratie incidenteel slaagt door toeval maar gebrek aan betrouwbaarheid vertoont.
  • Pure Trajectomkering: Geacht onbruikbaar vanwege de niet-prehensiele aard van de voorwaartse push.
• Ablatie-studies: Experimenten bevestigden dat het gebruik van een eenzijdige $\tanh$-straf voor fence predicaten cruciaal was. Het verwijderen van de straf leidde ertoe dat de agent stilstond (verzadigde beloningen), terwijl het volledig verwijderen van de $\tanh$-functie leidde tot divergentie van de waarde-functie en grote beloningsdrifts veroorzaakte.

Betekenis en Claims

Het artikel beweert dat predicate-afgeleide residuele controle een benaderende symbolische inverse kan transformeren in een fysiek gegronde inverse vaardigheid. Door inverse vaardigheden te behandelen als afzonderlijke symbolische operatoren met hun eigen hersteldoelstellingen, vermijdt het systeem de beperkingen van de aannames van tijdsomkering die in eerder werk (bijv. Nair et al. 2020; Edwards et al. 2018) worden gevonden.

De auteurs positioneren dit werk als een stap naar het mogelijk maken van mens-robot samenwerking en assemblage-demontagelijnen waar het vermogen om taken te "ongedaan te maken" essentieel is. Ze merken op dat hoewel het systeem momenteel afhankelijk is van handmatig ontworpen predicaten en gescripte laag-niveau primitieven, de resultaten suggereren dat inverse vaardigheden effectief kunnen worden opgelost als een planningsprobleem gevolgd door een residual RL-probleem met een afgeleide beloning. Het artikel blijft bescheiden over de reikwijdte, erkent beperkingen in het ontwerp van predicaten en de afhankelijkheid van gescripte primitieven, en suggereert toekomstig werk om deze componenten te leren uit demonstraties.