Technische Samenvatting: orca – Een platform voor open-source onderzoek naar behendigheid

Probleemstelling

Onderzoek naar robotmanipulatie heeft zich grotendeels geconcentreerd op tweevingerige parallelle grijpers vanwege hun betrouwbaarheid, mechanische eenvoud en gemak bij teleoperatie. Hoewel effectief voor veel taken, missen deze grijpers de vrijheidsgraden en de rijkdom aan contactpunten die nodig zijn voor menselijke behendigheid, zoals in-hand reoriëntatie. Antropomorfe handen bieden een natuurlijker platform voor het leren van behendigheid en kunnen direct gebruikmaken van menselijke videodata; ze blijven echter onderbenut in onderzoek vanwege de hoge kosten en aanzienlijke integratieproblemen.

Momenteel is het software-ecosysteem voor behendige handen gefragmenteerd. Onderzoekers moeten op maat gemaakte stacks samenstellen uit geïsoleerde componenten, waaronder leveranciersspecifieke SDK's, aangepaste retargeting-scripts en niet-interoperabele teleoperatie-pipelines. Deze fragmentatie belemmert reproduceerbaarheid en verhoogt de drempel voor instap. Bovendien richten bestaande open-source robotleerframeworks (bijv. lerobot) zich primair op grijper-gebaseerde armen en missen zij de natuurlijke ondersteuning voor de complexe controle, simulatie en retargeting die vereist zijn voor behendige handen.

Methodologie

De auteurs introduceren orca, een open-source, end-to-end research stack die ontworpen is om onderzoek naar behendige manipulatie te verenigen. Het systeem is gebouwd rond de Orcahand, een goedkope (~$3k), volledig 3D-afdrukbare, peesgestuurde antropomorfe hand met 17 vrijheidsgraden (DoF). De hardware ondersteunt diverse configuraties, inclusief tactiele sensoren en geminiaturiseerde encoders, en is compatibel met zowel onderzoeks-waardige (Dynamixel) als kosteneffectieve (Feetech) actuatoren.

De orca software stack is modulair en bestaat uit vier interopererende pakketten die een enkele dataformat en controle-abstractie delen:

1. orca_core: Biedt een hoogwaardige, sterk getypeerde API voor hardwarecontrole, waarbij actuatie, kalibratie en staatsschatting worden geabstraheerd. Het legt joint-level positie- en stroomcontrole bloot, en reconstrueert volledige joint-toestanden (inclusief tactiele data) tegen een vaste controlesnelheid die geschikt is voor closed-loop policies.
2. orca_sim: Breidt de core-interface uit naar simulatieomgevingen (MuJoCo en URDF/MJCF). Het gebruikt dezelfde beschrijvingsbestanden als de fysieke hand, waardoor policies die in simulatie zijn getraind naadloos overgaan naar de hardware. Het ondersteunt single-hand en full-arm opstellingen (bijv. Franka Panda, OpenArm).
3. orca_arm: Faciliteert de integratie van de Orcahand met manipulatorarmen, wat bimanuele en single-arm behendige taken mogelijk maakt.
4. orca_teleop: Stroomlijnt teleoperatie door heterogene inputstromen (MediaPipe, Meta Quest 3, Manus handschoenen) te verwerken en menselijke beweging te retargeten naar de robot. Het maakt gebruik van een optimalisatieprocedure met een Huber-loss op sleutelvectoren (palm pose, fingertip posities, richtingen, pinch relaties) om ruis en morfologische mismatches op te vangen. De pipeline genereert gestandaardiseerde hand landmarks die compatibel zijn met zowel echte als gesimuleerde sinks.

Een cruciale architecturale beslissing is de natuurlijke integratie met lerobot, een populair robotleerframework. Dit stelt onderzoekers naar behendige handen in staat om gebruik te maken van dezelfde dataverzameling, trainings- en evaluatiepipelines die worden gebruikt voor grijper-gebaseerde robots.

Belangrijkste Bijdragen

• De orca Learning Stack: Een volledig open-source (MIT-licentie) research stack die controle, simulatie, teleoperatie en mens-naar-robot retargeting verenigt achter een enkele interface. Het transformeert de Orcahand tot een eersteklas robotleerplatform.
• Integratie met lerobot: De stack brengt onderzoek naar behendigheid naar het lerobot ecosysteem, waardoor het mogelijk wordt om behendige policies te trainen en te evalueren met gevestigde tools en abstracties (bijv. ACT, Diffusion Policy).
• Verenigde Real-Sim Interface: Door beschrijvingsbestanden en low-level API's te delen tussen fysieke en gesimuleerde handen, minimaliseert de stack de sim-to-real gap en maakt het snelle prototyping mogelijk zonder directe toegang tot hardware.
• Modulaire Teleoperatie: Een composabele teleoperatie-pipeline die diverse consumenten-grade inputapparaten ondersteunt en deze normaliseert naar een standaardformaat voor retargeting en policy training.

Resultaten

De auteurs demonstreren een volledige end-to-end workflow om de stack te valideren:

1. Hardware Duurzaamheid: Een cyclische stress-test bestaande uit 3.500 open-sluit cycli over 5 uur toonde geen thermische afkapwaarden of actuatorfouten, wat de duurzaamheid van het platform onder constante belasting bevestigt.
2. Teleoperatie en Imitation Learning: Het team verzamelde 10 expert demonstraties van een in-hand cube reorientation taak met behulp van een Meta Quest 3 headset en orca_teleop. Deze demonstraties werden opgenomen in het LeRobotDataset formaat.
3. Policy Training: Een behavioral cloning policy (gebaseerd op ACT, 50M parameters) werd getraind op deze kleine dataset met behulp van lerobot met standaardconfiguraties.
4. Evaluatie: De geleerde policy, die gebruikmaakt van visuo-motorische inputs (proprioceptie, pols en top-down camera's), behaalde een succespercentage van 9/10 in test-rollouts binnen dezelfde gesimuleerde omgeving. Dit bevestigt dat de stack hoogwaardige data produceert die voldoende is voor het leren van closed-loop policies.

Betekenis en Claims

Het artikel claimt dat orca de drempel voor onderzoek naar behendige manipulatie aanzienlijk verlaagt. Door een betaalbaar hardwareplatform en een verenigde, open-source software stack te bieden, beoogt het de behendigheidsresearch te democratiseren en te verschuiven van een niche, hoge-kosten onderneming naar een standaard domein dat toegankelijk is voor de bredere gemeenschap.

De auteurs benadrukken dat door de research naar behendige handen af te stemmen op het bestaande lerobot ecosysteem, zij onderzoekers in staat stellen om dezelfde data, training en evaluatiepipelines te gebruiken als bij niet-behendige robots. Deze integratie is bedoeld om vooruitgang in het veld te versnellen door de frictie te verminderen die gepaard gaat met het bouwen van op maat gemaakte softwarestacks.

Erkende Beperkingen:
De auteurs noemen enkele beperkingen:

• Packaging: De beslissing om de stack op te splitsen in vier subpackages (in plaats van een monolithisch geheel) kan de toegankelijkheid voor sommige gebruikers aanvankelijk bemoeilijken, hoewel het de iteratie door de community bevordert.
• Simulatiegetrouwheid: Het simuleren van peesgestuurde, contactrijke interacties blijft een uitdaging; de huidige simulatie biedt een grove benadering van fysieke interacties.
• Teleoperatie Diversiteit: De huidige teleoperatie-pipeline zou uitgebreid kunnen worden met meer diverse input-publishers.
• Design Trade-offs: Het behandelen van simulatie als een eersteklas domein om de toegankelijkheid te verbeteren, kan resulteren in een suboptimaal ontwerp voor specifieke real-world use cases, wat wijst op een behoefte aan toekomstige co-design inspanningen.