Joint Discovery of Object and Action Symbols through Effect Prediction for Robotic Manipulation Planning

Technische Samenvatting: Gezamenlijke ontdekking van object- en actiesymbolen door effectvoorspelling voor robotische manipulatieplanning

Probleemstelling
Autonome robots staan voor een fundamentele uitdaging bij taken met een lange horizon: het redeneren over hoogdimensionele, continue sensorimotorische ruimtes is computationeel onbeheersbaar. Effectieve planning vereist het abstraheren van continue percepten en acties naar discrete representaties. Eerdere benaderingen hebben beperkingen: visuele categorisatie faalt in het onderscheiden van objecten die er hetzelfde uitzien maar zich anders gedragen, terwijl interactiegebaseerde methoden vaak vertrouwen op vooraf gedefinieerde acties of de temporele structuur van trajecten negeren. Bovendien vertrouwen bestaande few-shot generalisatiemethoden doorgaans op statische geometrische of visuele gelijkenis, waardoor ze de fysieke dynamica van interacties (affordances) niet kunnen vatten, wat cruciaal is voor het hanteren van nieuwe objecten. Het kernprobleem dat wordt aangepakt, is hoe men autonoom hoogwaardige object- en actiesymbolen kan ontdekken uit continue, willekeurige interactiedata om nauwkeurige, meerstapsplanning en robuuste generalisatie naar ongeziene objecten mogelijk te maken.

Methodologie
De auteurs stellen een neuro-symbolisch framework voor dat gezamenlijk object- en actiesymbolen ontdekt via een tweestaps leerproces dat is geoptimaliseerd op multi-modale effectvoorspelling.

1. Architectuur en Symboolontdekking:

   • Het systeem maakt gebruik van een encoder-decoder netwerk met een binaire bottleneck-laag.
   • Object Encoder ($\phi_o$): Een convolutioneel neuraal netwerk brengt objectdieptebeelden in kaart naar binaire symbolen ($z_o$).
   • Action Encoder ($\phi_a$): Een Transformer-architectuur brengt gewrichtshoektrajecten in kaart naar binaire symbolen ($z_a$), waarbij de temporele structuur wordt vastgelegd.
   • Binaire Activering: Beide encoders gebruiken een Gumbel-Sigmoid (GS) activeringsfunctie om discrete binaire vectoren te produceren, waardoor gradiënten tijdens de training kunnen passeren via de reparameterisatie-truc.
   • Decoder ($\psi$): Voorspelt het multi-modale effect-traject (objectpositie, krachtvectoren en contactfeedback) gegeven de geconcateneerde object- en actiesymbolen.

2. Tweestaps Trainingsprocedure:

   • Fase 1: Het model voorspelt alleen kracht- en contactfeedback-effecten met volledige objectbits en een subset van actiebits. Deze fase leert grove hoogwaardige primitieven te onderscheiden (bijv. duwen versus optillen en plaatsen) op basis van tactiele feedback, wat de vroege sensorimotorische ontwikkeling van een baby nabootst.
   • Fase 2: Het model gebruikt alle symboolbits om het volledige effect-traject te voorspellen, inclusioneel de ruimtelijke positieveranderingen. Deze fase verfijnt de actiesymbolen om directionele variaties vast te leggen (bijv. duwen naar links versus duwen naar rechts).

3. Planning Framework:

   • Een discrete effect-bibliotheek wordt geconstrueerd vanuit het geleerde model, die tuples van (object symbool, actie symbool, tijdstap) koppelt aan voorspelde positie-effecten.
   • A-zoekalgoritme:* Planning wordt uitgevoerd via een A*-zoekalgoritme over deze bibliotheek. Het algoritme maakt gebruik van partiële actie-executies, waarbij tussenliggende tijdstappen in het voorspelde traject dienen als afzonderlijke bereikbare toestanden, wat zorgt voor nauwkeurige lage-niveau controle.
   • Executie: Symbolische plannen worden omgezet in uitvoerbare gewrichtshoek-trajecten met behulp van een Symbool-geconditioneerde Lage-Niveau Controller (Conditional Neural Movement Primitives, CNMP).
   • Drift Validatie: Een herplanningsmechanisme wordt geactiveerd als de werkelijke objectpositie meer afwijkt van de voorspelde positie dan een vooraf ingestelde drempelwaarde, wat de integriteit van de uitvoering waarborgt.

4. Few-Shot Generalisatie:

   • Nieuwe objecten worden gecategoriseerd, niet op basis van visuele verschijning, maar door gedragsgelijkenis.
   • Het systeem verzamelt een klein aantal willekeurige demonstraties voor een nieuw object, extraheert actiesymbolen en voorspelt effecten voor kandidaat-objectsymbolen.
   • Het objectsymbool met de laagste gemiddelde voorspellingsfout over de demonstraties wordt toegewezen aan het nieuwe object, wat planning mogelijk maakt zonder hertraining.

Belangrijkste Bijdragen

• Gezamenlijke Symboolontdekking: Een diepe encoder-decoder netwerk met een binaire bottleneck die gezamenlijk object- en actiesymbolen ontdekt via een tweestaps leerproces, geoptimaliseerd op multi-modale (ruimtelijk-haptische) effect-trajectvoorspellingen.
• Discrete Planning met Partiële Executie: Een planning framework dat een discrete effect-bibliotheek bouwt en A*-zoekalgoritmes uitvoert met tussenliggende trajectpunten voor nauwkeurige controle, gecombineerd met symbool-geconditioneerde lage-niveau controllers en drift-gebaseerde herplanning.
• Effect-gestuurde Few-Shot Generalisatie: Een methode voor het categoriseren van nieuwe objecten op basis van gedragsgelijkenis (effect-matching) in plaats van visuele gelijkenis, wat manipulatieplanning op ongeziene objecten mogelijk maakt met minimale demonstraties.

Experimentele Resultaten
Experimenten werden uitgevoerd in een PyBullet-simulatieomgeving met een UR10e manipulator en vijf objecttypen (Bal, Kubus, Blok X, Y, Z). Het framework werd geëvalueerd tegen een Diffusion Policy baseline op twee taken: tafel-repositionering (Taak 1) en stapelen (Taak 2).

• Effectvoorspelling: De voorgestelde tweestaps Transformer-gebaseerde architectuur behaalde significant lagere positievoorspellingsfouten (1,70 cm) vergeleken met single-stage learning (1,77 cm) en volledig verbonden baselines (1,82 cm).
• Planning Prestaties (Gezien Objecten): De voorgestelde methode presteerde significant beter dan de Diffusion Policy baseline in beide taken. In Taak 1 behaalde het lagere Euclidische afstandfouten over alle objecttypen (bijv. 4,49 cm vs. 5,09 cm voor de Kubus). In Taak 2 (stapelen) behaalde het significant hogere succespercentages (bijv. 69,67% vs. 18,33% voor Blok Z), toe te schrijven aan het vermogen om grijp-affordances en tussenliggende toestanden te leren.
• Few-Shot Generalisatie (Nieuwe Objecten): Wanneer getest op vijf nieuwe objecten (Torus, T-Blok, Cilinder, U-Blok, Brede Blok) met slechts drie demonstraties per stuk, presteerde de effect-gestuurde aanpak significant beter dan de Diffusion Policy en een visuele-gebaseerde encoding baseline. Opvallend genoeg classificeerde de visuele baseline objecten foutief (bijv. een Torus categoriseren als een Bal), terwijl de effect-gebaseerde methode de gedragsgelijkenissen correct identificeerde (bijv. een Torus die zich gedraagt als een Kubus qua duif-effecten), wat leidde tot superieure planning-succes.

Significantie en Claims
Het artikel beweert dat autonome agenten representaties moeten ontdekken door interactie om effectief met nieuwe scenario's om te gaan. De significantie van dit werk ligt in het aantonen dat:

1. Interactie boven Verschijning: Het categoriseren van objecten en acties op basis van multi-modale interactie-effecten (kracht, contact, beweging) is superieur aan visuele methoden voor planning, met name voor het onderscheiden van objecten die er vergelijkbaar uitzien maar verschillende fysieke dynamica hebben.
2. Temporele Structuur: Het vastleggen van de volledige temporele dynamica van interacties, in plaats van alleen de eindresultaten, maakt nauwkeurige planning mogelijk met behulp van tussenliggende trajectpunten.
3. Efficiënte Generalisatie: Gedragsgelijkenis-matching maakt robuuste few-shot generalisatie naar nieuwe objecten mogelijk, wat beter presteert dan methoden die steunen op geometrische of visuele gelijkenis.

De auteurs erkennen beperkingen, waaronder de focus op enkelvoudige object-affordances, de reactieve aard van drift-gebaseerde herplanning (die plaatsvindt na uitvoering), en de computationele efficiëntie van A* vergeleken met PDDL-solvers. Ze suggereren toekomstig werk in inter-object relationele symbolen, verificatie vóór uitvoering, en PDDL-compatibele symbolische operatorgeneratie.