Technische Samenvatting: Het Overdragen van Contact, Niet Alleen Beweging

Probleemstelling

Dextere manipulatie vereist meer dan alleen het voorspellen van vingerbewegingen; het vereist de actieve regulatie van contactkrachten om glijden, vervorming en zelf-occlusie te beheersen. Bestaande cross-embodiment policies verenigen bewegingsintentie succesvol via geretargette poses of latente actieruimtes, maar ze falen in het overdragen van contactfeedback. Force feedback blijft gekoppeld aan handspecifieke sensoren en actuatie (bijv. ruwe inspanningssignalen of tactiele proxies), waardoor het onmogelijk is om belasting te vergelijken tussen heterogene robotische handen. Bijgevolg kunnen policies die op de ene hand zijn getraind, niet generaliseren naar een andere wanneer visuele aanwijzingen worden geoccludeerd of wanneer precieze krachtregulatie vereist is voor fragiele objecten.

Methodologie

1. Uniforme Force-Position Interface

De kernbijdrage is een overdraagbare interface die bewegingsintentie ontkoppelt van contactbelasting, waarbij beide worden uitgedrukt in fysieke, vergelijkbare eenheden.

• Gedeelde Bewegingsintentie: De handpose wordt gerepresenteerd in een gedeelde MANO-pose latent ($\psi \in \mathbb{R}^{15}$). Deze laagdimensionale vector wordt eenmalig geleerd van menselijke handschoendata en gemapt naar de specifieke configuratie van de gewrichten van een hand ($q^{(h)}$) via een handspecifieke retargeting-map ($R_h$) die optimaliseert voor vingertoppositie en vingervorm.
• Gecalibreerd Contactkanaal: In plaats van ruwe inspanning te gebruiken, voert het systeem systeemidentificatie uit om handspecifieke inspanningsproxies te mappen naar fysieke gewrichtstorsies ($\tau^{(h)}$ in N·m). Uit deze torsies afleidt het systeem:
  • Vingertopkrachten ($f_t$): Berekend via de kleinste-kwadraten inverse van de translationele Jacobiaan.
  • Ruimtelijke Torsie-beschrijvers ($\gamma_t$): Een compacte set van drie scalairen ($c, \rho, \ell$) die de contactlocatie langs de vinger, de distributie van de belasting over de gewrichten en het laterale aandeel van de kracht coderen.
    Dit stelt de policy in staat om te observeren "waar de hand moet bewegen" en "hoe het object wordt belast" in een uniform coördinatenstelsel, ongeacht de specifieke hand-embodiment.

2. MARC: Mask-Aware Reactive Compliant Policy

De auteurs introduceren MARC, een flow-matching policy gebaseerd op een Diffusion Transformer (DiT) architectuur.

• Inputs: De policy wordt geconditioneerd op een uniforme state-tuple $s_t$ die end-effector pose, vingertopposities, gekalibreerde krachten ($f_t$), ruimtelijke torsie-beschrijvers ($\gamma_t$) en de gedeelde pose latent ($\psi_t$) bevat.
• Gestructureerde Visuele Masking: Tijdens de training worden visuele tokens (patches of volledige camerastreams) willekeurig vervangen door geleerde mask-embeddings. Dit dwingt de policy om te vertrouwen op kracht en proprioceptie wanneer visueel bewijs ontbreend of onbetrouwbaar is (bijv. tijdens zelf-occlusie), in plaats van te leren om krachtdata te negeren.
• Trainingsdoel: De policy voorspelt snelheidvectoren om een Gaussische ruisbron te transporteren naar een target action chunk, waarbij de flow-matching loss wordt geminimaliseerd.

3. Hybride Executie Pipeline

Het systeem vertrouwt niet op een enkele end-to-end policy voor taken met een lange horizon. In plaats daarvan combineert het geleerde primitives met model-gebaseerde controllers:

• Reach-and-Lift: Wordt uitgevoerd door MARC, waarbij de contactgevoelige fase van grijpen en het initiële tillen wordt afgehandeld.
• Transport: Wordt beheerd door een steady-grasp regulator die een hybride force-position controller gebruikt. Deze behoudt een minimale stabiele grip en verstevigt zichzelf op basis van gekalibreerde torsie-feedback als transport de belasting van het object vergroot.
• Handover: Wordt aangestuurd door een end-effector admittance controller die meegeeft aan de arm en de hand opent in verhouding tot externe wrenches.
• Controller Logica: De low-level controller volgt een gecommandeerde pose, maar past een "éénzijdige terugtrekcorrectie" toe op basis van gekalibreerde torsie. Als de contacttorsie een doelwaarde overschrijdt, opent de controller het gewricht; anders volgt hij de pose-opdracht. Dit zorgt voor compliantie zonder de hand dieper in het object te drijven.

Belangrijkste Bijdragen

1. Overdraagbare Contactrepresentatie: Een methode om handspecifieke inspanningssignalen om te zetten in gekalibreerde gewrichtstorsies, vingertopkrachten en compacte last-beschrijvers, waardoor contactfeedback fysiek vergelijkbaar wordt tussen verschillende dexterous handen.
2. Uniforme Force-Position Interface: Een framework dat gedeelde hand-pose intentie combineert met gekalibreerde contactfeedback, wat compliantie-controle transfer mogelijk maakt over heterogene embodiments.
3. MARC Policy en Pipeline: Een mask-aware flow-matching policy getraind op visie, proprioceptie en gekalibreerd contact, geïntegreerd met model-gebaseerde primitives voor manipulatie met een lange horizon (reach, transport, handover) zonder taakspecifieke hertraining.

Experimentele Resultaten

Het systeem werd geëvalueerd op een Unitree G1 humanoïde uitgerust met drie structureel verschillende handen (Wuji, Wuji12 en Inspire) over tien taken met rigide en compliant/vervormbare objecten (bijv. eieren, briochebroodjes, gestapelde bekers).

• Prestatiewinst: MARC verbeterde de gemiddelde reach-and-lift succesratio van 0,44 (baseline sDiT) naar 0,71 over alle handen en taken.
• Specifieke Verbeteringen:
  • Inspire: 0,54 $\to$ 0,84
  • Wuji: 0,48 $\to$ 0,79
  • Wuji12: 0,29 $\to$ 0,51
  • Kritieke Casussen: De meest significante winsten werden waargenomen bij de "Marker" taak (glibberig, geoccludeerd), waar de succesratio's sprongen van 0,2/0,1 naar 1,0/0,9 voor Inspire en Wuji respectievelijk.
• Ablatie: Het verwijderen van het gekalibreerde contactkanaal deed de prestaties op rigide objecten terugvallen naar de baseline (0,48), wat bevestigt dat de winst wordt gedreven door het krachtkanaal, en niet enkel door de architectuur of masking.
• Zero-Shot Generalisatie: De policy slaagde erin om succesvol te transfereren naar een onbekende Wuji15 configuratie (15-DoF) zonder hertraining, waarbij succesratio's binnen 0,1 van de in-distributie Wuji resultaten bleven.

Betekenis en Claims

Het artikel claimt dat contact zelf overdraagbaar is wanneer het wordt uitgedrukt in fysieke eenheden (torsie en kracht) in plaats van handspecifieke proxies. Door de bewegingsintentie en contactbelasting te verenigen in een gedeelde interface, maakt het systeem dexterous manipulatieskills overdraagbaar over structureel verschillende handen. De auteurs benadrukken dat deze aanpak stabiele, compliant interactie mogelijk maakt over taken met een lange horizon, met name in scenario's waar visuele feedback onvoldoende is door occlusie of objectvervorming. Het werk demonstreert dat een enkele policy, getraind op gekalibreerd contact, heterogene hardware kan aansturen zonder dat hiervoor per hand een modeltraining of taakspecifieke fine-tuning nodig is.