Technische Samenvatting: MoDex – Een Diffusion Policy voor Sequentiële Multi-Object Dexterous Grasping

Probleemformulering

Huidige methoden voor dexterous grasping (behendige grijpen) wijzen vaak alle beschikbare vrijheidsgraden (Degrees of Freedom, DoFs) van een hand toe aan één enkel object. Hoewel dit de stabiliteit voor dat specifieke grijpcontact maximaliseert, benut het de behendigheid van de hand ondermaat en laat het geen redundantie over voor opeenvolgende grijpbewegingen. Bovendien vertrouwen bestaande benaderingen voor multi-object grasping vaak op bekende objectmodellen, ontkoppelde grasp-generatie en -uitvoering, of vaste objectposities, wat hun toepasbaarheid in dynamische, real-world scenario's beperkt.

Dit werk adresseert de uitdaging van sequentiële multi-object grasping: de taak van het grijpen van het $i$-de doelobject, terwijl alle eerder gegrepen $i-1$ objecten stevig vastgehouden worden zonder ze los te laten. De kinematische beperkingen van de Allegro Hand die in deze studie wordt gebruikt, beperken het maximaal aantal grijpbare objecten tot drie ($I \le 3$). De kern van de moeilijkheid ligt in het aanleren van een controlebeleid (control policy) dat partiële observaties naar acties mapt, terwijl het dynamisch beheert welke subset van vingers (DoFs) actief is voor het huidige object versus welke gereserveerd zijn voor toekomstige objecten.

Methodologie: MoDex

MoDex is een Diffusion Policy (DP) die ontworpen is om de volgende gripper-pose direct uit observaties te voorspellen. Het werkt binnen een tweestaps trainingsframework: imitatie-leren (IL) pre-training gevolgd door reinforcement learning (RL) fine-tuning.

1. Policy Architectuur en Conditionering

MoDex volgt een encoder-denoiser architectuur (specifiek een 1D convolutionele U-Net) die action chunks verwerkt over een voorspellingshorizon. De policy wordt geconditioneerd op drie kerninputs:

• Partiële Point Clouds ($P_t$): Ruwe perceptie van de omgeving.
• Opposition Space (OS) Vector ($f_i$): Een binaire indicatorvector die specificeert welke vingers deelnemen aan de huidige grasp. Dit beperkt expliciet de actieve DoFs voor het huidige object en reserveert de resterende DoFs voor opeenvolgende grijpbewegingen.
• Grasp History Context ($h_{i-1}$): Een vector die de OS-vectoren van alle voorgaande grijpbewegingen concateneert. Dit informeert de policy welke vingers al bezet zijn, waardoor het hergebruik van actieve DoFs voor nieuwe objecten wordt voorkomen.

De OS en de historie worden bij elke denoising-stap geconcateneerd met de ruisige action chunk, waardoor de policy kan redeneren over kinematische redundantie en vingerallocatie.

2. Trainingspipeline

• Fase 1: Imitation Learning (Pre-training): MoDex wordt voorgetraind op een dataset van expert sequentiële grasping-trajecten gegenereerd in een simulatie (Robosuite). Een heuristische pose-generator en een operational space controller (OSC) produceren deze demonstraties. De policy wordt getraind met de behavior cloning objective om action chunks te denoisen.
• Fase 2: Reinforcement Learning Fine-tuning: Om robuustheid te verbeteren en out-of-distribution staten te kunnen afhandelen, wordt de voorgetrainde policy gefinetuned met behulp van Diffusion Policy Policy Optimization (DPPO). Dit behandelt het denoising-proces als een geneste Markov Decision Process (MDP).
  • Beloningsfunctie (Reward Function): Een dense, taakspecifieke beloning ($r_{base}$) wordt gebruikt, bestaande uit:
    • $r_{succ}$: Een grote constante beloning voor het succesvol optillen van het doelobject terwijl alle vorige objecten worden vastgehouden.
    • $r_{grasp}$: Stimuleert actieve vingers om contact te maken met het doelobject.
    • $r_{maintain}$: Beloont het veilig en stationair houden van eerder gegrepen objecten.
    • $r_{avoid}$: Bestraft botsingen met de tafel of onnodige contacten door inactieve vingers.
    • $r_{ina}$: Een straf om te voorkomen dat inactieve vingers gaan trillen of driften, wat cruciaal is voor het behoud van stabiliteit tijdens opeenvolgende grijpbewegingen.

Belangrijkste Bijdragen

1. MoDex: De eerste Diffusion Policy voor sequentiële multi-object grasping die direct ruwe observaties naar grasp-acties mapt terwijl kinematische redundantie behouden blijft.
2. Conditioneringsmechanismen: De introductie van Opposition Space (OS) en Grasp History Context als expliciete conditioneringssignalen, wat één enkele policy in staat stelt complexe, meerfasige grasp-taken te beheren zonder vastgehouden objecten los te laten.
3. Data Collectie Algoritme: Een nieuw algoritme voor het verzamelen van stage-indexed expert trajecten die objecten systematisch koppelen aan geldige OS-configuraties, wat zorgt voor diverse en geldige trainingsdata.
4. Uitgebreide Evaluatie: Een uitgebreide benchmarking van MoDex tegen representatieve Imitation Learning (BC-RNN, MoDex-BC) en Reinforcement Learning (PPO, SeqDiffuser) baselines in zowel simulatie als real-world hardware.

Experimentele Resultaten

De auteurs evalueerden MoDex op een Franka Emika Panda arm uitgerust met een Allegro Hand over 15 objecten met variërende geometrieën (sferen, cilinders, dozen).

• Simulatieprestaties: MoDex behaalde de hoogste succespercentages over alle grasp-stadia (1, 2 en 3).
  • Stage 1: 75,00% (vs. 57,08% voor MoDex-BC).
  • Stage 2: 49,58% (vs. 50,00% voor MoDex-BC, maar aanzienlijk beter dan baselines zoals PPO die 0% behaalden).
  • Stage 3: 45,00% (vs. 42,08% voor MoDex-BC).
  • Algehele Verbetering: MoDex verbeterde de prestaties met 2,92–17,92% ten opzichte van de beste learning-based baselines in simulatie.
• Real-World Transfer: MoDex werd ingezet op echte hardware met zero-shot transfer naar ongeziene objecten.
  • Het behaalde succespercentages van 57,78% (Stage 1), 26,67% (Stage 2) en 20,00% (Stage 3).
  • Dit vertegenwoordigt een verbetering van 6,67–17,78% ten opzichte van de MoDex-BC baseline (alleen voorgetraind, geen RL fine-tuning), wat de cruciale rol van DPPO fine-tuning aantoont bij het overbruggen van de sim-to-real kloof.
• Ablatie-studies: Het verwijderen van de OS-conditionering of de Grasp History Context veroorzaakte significante prestatiedalingen in Stage 2 en 3, wat bevestigt dat expliciete vingerallocatie-signalen essentieel zijn voor sequentiële grasping. Eveneens resulteerde het verwijderen van de DPPO fine-tuning in lagere succespercentages, met name in de real-world omgeving.

Betekenis en Beperkingen

Het paper stelt dat huidige methoden het potentieel van dexterous hands mogelijk onderbenutten door het niet te beheren van DoF-allocatie over sequentiële taken. MoDex demonstreert dat een enkele diffusion policy, geconditioneerd op opposition space en grasp history, dit probleem effectief kan oplossen, waarbij het superieur is aan methoden die vertrouwen op ontkoppelde planning of standaard RL vanaf nul.

Beperkingen:
De auteurs erkennen dat MoDex nog steeds menselijke behendigheid mist op twee specifieke gebieden:

1. In-hand Regrasping: De policy committeert zich aan een enkele Opposition Space per object en kan geen in-hand manipulatie uitvoeren (bijv. het overbrengen van een object van een pinch naar een power grasp).
2. Taakplanning: MoDex gaat ervan uit dat de OS-toewijzing en de volgorde van het oppakken van objecten als input worden geleverd; het redeneert niet autonoom over de optimale OS of de volgorde van het oppakken.

Het werk concludeert dat hoewel MoDex het probleem van sequentiële grasping succesvol adresseert, toekomstig werk zich moet richten op het integreren van in-hand manipulatie en autonome taakplanning.