Technische Samenvatting: SEED-UMI

Probleemstelling

Behendige handmanipulatie blijft een belangrijke flessenhals in robotleren, voornamelijk door de moeilijkheid van het verzamelen van hoogwaardige, contactrijke demonstraties die getrouw overdragen van mens naar robot. Bestaande benaderingen kampen met inherente afruilverschillen:

• Visuele tracking maakt ongekende beweging mogelijk, maar lijdt onder occlusie en jitter tijdens contact.
• Handschoen-gebaseerde systemen (inertie-/flexsensoren) bieden betrouwbare bewegingsgegevens, maar introduceren huidbewegingsartefacten en vereisen complexe, vaak onnauwkeurige correspondentie-mapping tussen menselijke en robotgewrichten.
• Exoskelet-gebaseerde systemen bieden consistente mechanische metingen, maar offeren doorgaans operatorcomfort en doorvoersnelheid op vanwege de omvangrijke hardware.

Cruciaal is dat huidige pipelines menselijke demonstratie en robotexecutie behandelen als aparte domeinen die verbonden zijn door open-loop retargeting-modellen. Deze modellen worden vaak gekalibreerd in de vrije ruimte en presteren aanzienlijk slechter tijdens contactrijke interacties door wrijving, externe belastingen en gewrichtskoppelingseffecten. Bov�ariële visuele discrepanties tussen menselijke en robotobservaties vereisen vaak generatieve beeldtranslatie of segmentatie, wat kritieke contactpixels kan maskeren.

Methodologie: SEED-UMI

De auteurs stellen SEED-UMI voor (Sharing the Exoskeleton between human and robot for onE-to-one Dexterous demonstration), een framework gebouwd op het concept van gedeelde fysieke meting. In plaats van een mapping te leren tussen verschillende menselijke en robotische belichamingen, maakt SEED-UMI gebruik van één enkel, kinematisch isomorf exoskelet dat door zowel de menselijke operator als de doelrobot-hand gedragen wordt.

1. Hardware: Het gedeelde exoskelet

De kerninnovatie is een op maat ontworpen exoskelet dat samen met een specifieke volledig aangedreven behendige hand (Wuji hand) is ontwikkeld.

• Kinematische Isomorfie: De verbindingslengtes, gewrichtsassen en bewegingsbereiken van het exoskelet zijn mechanisch identiek aan de kinematische boom van de robot. Dit garandeert een strikte 1:1 gewrichtscorrespondentie (20 vrijheidsgraden) en identieke contactgeometrie aan zowel de menselijke als de robotzijde.
• Mechanismeontwerp: Om de palmale contactoppervlakte niet te blokkeren en binnen de laterale vrijheidsmarges te passen, maakt het ontwerp gebruik van een parallelle vierstangenmechanisme. Dit leidt de rotatie van de gewrichtsas naar een dorsaal gemonteerde, contactloze magnetische encoder, waardoor het onbelemmerde contactoppervlak dat nodig is voor fijne manipulatie behouden blijft.
• Sensorintegratie: Het exoskeletframe bevat vast gemonteerd:
  • Contactloze magnetische rotatie-encoders bij elk gewricht (die een gedeelde encodervector $e_t \in \mathbb{R}^{20}$ leveren).
  • Een dorsale Intel RealSense T265 voor 6-DoF polstracking.
  • Een ventrale fisheye-camera (150° FoV) voor observatie van de werkruimte.
    Omdat de sensoren op het exoskelet zijn gemonteerd, blijven de camera-intrinsics en -extrinsics ten opzichte van het encoderframe identiek, ongeacht of de mens of de robot het apparaat draagt.

2. Software: Twee-fasen Cross-Embodiment Mapping

Het framework ontkoppelt datacollectie van real-time teleoperatie via een tweefasenproces om de encoder-naar-commando mapping ($e_t \to q_t$) te leren:

• Fase 1: Motor Babbling (Vrije Ruimte): De robot draagt het exoskelet en voert gestructureerde exploratie uit (enkele gewrichtssweeps, gekoppelde bewegingen). Dit traint een initiële mapping $f_{\theta_0}$ van encoder-aflezingen naar robotgewrichtscommando's. Hoewel dit basiskinematica vastlegt, is het gevoelig voor drift onder contactbelastingen.
• Fase 2: Gepaard Replay en Fine-Tuning:
  1. Een menselijke operator voert demonstraties uit terwijl hij het exoskelet draagt, waarbij contactrijke encoder-trajecten $\{e^{(h)}_t\}$ worden opgenomen.
  2. Deze trajecten worden op de robot afgespeeld met behulp van de initiële mapping $f_{\theta_0}$.
  3. Het systeem registreert de resulterende encoder-responsen aan de robotzijde $\{e^{(r)}_t\}$ en de gewrichtscommando's $\{q^{(r)}_t\}$.
  4. Een gepaarde dataset wordt gevormd waarbij de discrepantie tussen het menselijke encoder-spoor en de robotische encoder-respons dient als een supervisiesignaal.
  5. De mapping wordt verfijnd door een verliesfunctie te minimaliseren die de voorspelde encoder-waarden aan de robotzijde uitlijnt met het menselijke spoor, de commando's regulariseert richting de gepaarde replay, en temporele sprongen bestraft. Dit corrigeert de mapping voor contactafhankelijke effecten (wrijving, compliantie) zonder handmatige herkalibratie of simulatie.

3. Policy Learning

Policies worden direct getraind op ruwe, exoskelet-gecentreerde polsbeelden en de gedeelde encodervector. Omdat de visuele observatie (camera gemonteerd op het gedeelde exoskelet) en de fysieke interface identiek zijn tijdens zowel de menselijke datacollectie als de robotuitrol, elimineert het framework de noodzaak voor:

• Handsegmentatie.
• Generatieve beeldtranslatie (inpainting).
• Simulatie of Reinforcement Learning (RL).
  De auteurs maken gebruik van standaard architecturen zoals ACT, Diffusion Policy en $\pi0.5$, waarbij ruwe observaties en encoder-inputs worden gebruikt om action chunks te voorspellen.

Belangrijkste Bijdragen

1. Gedeelde Fysieke Meetinterface: Een nieuw hardwareontwerp waarbij hetzelfde exoskelet door zowel de mens als de robot wordt gedragen, waardoor retargeting verandert in een gepaard cross-embodiment supervisieprobleem in plaats van een open-loop mapping.
2. Contactrijke Datacollectie: Het systeem maakt de collectie van natuurlijke, contactrijke demonstraties mogelijk die direct overdraagbaar zijn naar de robot, waardoor de degradatie van open-loop mappings onder belasting wordt vermeden.
3. Efficiënte Learning Pipeline: Door het verwijderen van de noodzaak voor generatieve visuele uitlijning en simulatie, stelt het framework policies in staat om op ruwe data te trainen met standaard augmentaties, wat de leerpipeline aanzienlijk vereenvoudigt.
4. Gepaarde Fine-Tuning: Een datagedreven methode om encoder-naar-commando mappings te verfijnen met behulp van gepaarde mens-robot encoder-sporen, wat effectief corrigeert voor contactdynamica zonder handmatige interventie.

Experimentele Resultaten

Het framework werd geëvalueerd op vijf contactrijke dexterous manipulatietaken: schroevendraaien, AirPods-doosje invoegen, balmand werpen, tafel schoonmaken en luchtverfrisser sprayen.

• Succespercentages:

  • SEED-UMI met gepaarde fine-tuning ($P+$): Behaalde een gemiddeld succespercentage van 70,0% over alle taken.
  • Teleoperatie Baseline ($T$): Behaalde 71,7%.
  • SEED-UMI zonder fine-tuning ($P-$): Behaalde 57,3%.
  • Opvallend genoeg presteerde $P+$ beter dan teleoperatie bij zeer precieze en dynamische taken zoals AirPods-doosje invoegen (73,3% vs. 65,0%) en Balmand werpen (68,3% vs. 60,0%), waarbij real-time teleoperatie-loops moeite hebben met latentie en timing.

• Efficiëntie van Datacollectie:

  • SEED-UMI demonstreerde een 3,0× verbetering in de doorvoersnelheid van datacollectie vergeleken met exoskelet-gebaseerde teleoperatie.
  • In een venster van 30 minuten verzamelde een operator 52 succesvolle demonstraties via SEED-UMI tegenover 18 via teleoperatie.
  • De succes-genormaliseerde winst aan nuttige trainingsdata per minuut bleef ongeveer 2,9×.

Betekenis en Claims

Het artikel betoogt dat het overwinnen van de flessenhals in behendige manipulatie vereist dat men de interface tussen menselijke en robotische belichamingen heroverweegt, in plaats van enkel de retargeting-algoritmen te verbeteren. Door retargeting en visuomotorische policy learning te transformeren tot een vorm van gepaarde cross-embodiment supervisie, biedt SEED-UMI een schaalbaar en efficiënt pad naar behendig robotleren.

De auteurs beweren dat hun aanpak:

• De menselijke demonstratiecollectie ontkoppelt van real-time robotteleoperatie, simulatie of RL.
• De natuurlijkheid van menselijke contactrijke interacties behoudt terwijl een getrouwe transfer naar de robot wordt gegarandeerd.
• Een veelbelovende richting biedt voor het verzamelen van real-world behendige handdata op een schaal die voorheen onbereikbaar was met traditionele teleoperatie, zonder in te boeten op datakwaliteit.

Het werk erkent beperkingen, waarbij wordt opgemerkt dat het huidige systeem technische keuzes vereist voor verschillende handgeometrieën en dat de draagbaarheid voor de operator een factor blijft bij taken met een lange duur. Toekomstig werk is gericht op het automatiseren van cross-hand ontwerp en het verbeteren van de draagervaring.