Technische Samenvatting: Translatie als een Brugfunctie

Probleemstelling

Het artikel behandelt de uitdaging van het overdragen van nieuwe manipulatievaardigheden van menselijke data naar bi-manuele robots uitgerust met parallelle grijpers. Hoewel menselijke actiedata overvloedig, divers en kosteneffectief zijn voor het schalen van robotleren, wordt directe transfer gehinderd door twee primaire problemen:

1. Ruizige Schatting: Menselijke acties worden doorgaans afgeleid van hand-pose estimators, die significante ruis introduceren, met name in rotatieschattingen.
2. Embodiment Mismatch: De contactpatronen van menselijke vingers verschillen fundamenteel van die van parallelle robotgrijpers. Bijgevolg zijn polsrotaties (6DoF) die uit menselijke data worden geëxtraheerd, vaak semantisch niet afgestemd op de fysieke beperkingen van een robotgrijper, wat leidt tot verstoord gedrag wanneer ze direct worden afgespeeld.

Eerdere benaderingen behandelen mensen vaak simpelweg als een andere bi-manuele 6DoF embodiment, waarbij leerprocessen gericht zijn op rotatie-inclusieve actiesignalen. De auteurs stellen dat dit suboptimaal is voor robots met parallelle grijpers.

Methodologie

1. Brug-actierepresentatie

In plaats van volledige 6DoF polsposes te leren, stellen de auteurs een brug-actierepresentatie voor die uitsluitend gebaseerd is op relatieve polstranslaties ($a_{3D-wrist}$).

• Definitie: De actie wordt gedefinieerd als de relatieve translatie van de pols binnen het initiële hoofd-cameraframe. Dit frame wordt gedeeld door zowel mensen (die hoofdcamera's dragen) als robots (uitgerust met hoofdcamera's).
• Rationale: Omdat zowel mensen als robots handelen op basis van wat zij waarnemen, is relatieve translatie in het observatieframe fysiek betekenisvol, robuust tegen ruizige rotatieschattingen en embodiment-agnostisch.
• Formulering: Voor een tijdstap $t$ en een toekomstig venster $k$, wordt de actie berekend als:
  $$a_{3D-wrist}^{t+i} = \Delta W^{3D} = \text{trans}((T_{w \leftarrow c}^t)^{-1} W_w^{t+i}) - \text{trans}((T_{w \leftarrow c}^t)^{-1} W_w^t)$$
  waarbij $W$ de polspose representeert en $T$ de camerapose.

2. Uniforme Modelarchitectuur

De auteurs bouwen voort op een $\pi_0$-achtige Vision-Language-Action (VLA) model met flow matching. Om heterogene databronnen (mens versus robot) met verschillende beschikbare actiecomponenten te verwerken, introduceren zij een interleaved actiesequentie:

• Sequentievolgorde: $a_{3D-wrist} \rightarrow a_{6D-eef} \rightarrow a_{gripper}$.
• Omgaan met ontbrekende data: Het model gebruikt attention masking om variabele lengtes van inputs te verwerken. Voor menselijke data kunnen 6DoF end-effector ($a_{6D-eef}$) en gripper-signalen ontbreken of gemaskeerd zijn; voor robotdata zijn alle componenten aanwezig.
• Trainingsdoelstellingen:
  • Flow Matching: Gebruikt voor het genereren van actiechunks. De loss wordt alleen berekend op de beschikbare actiecomponenten voor een specifieke databron.
  • Interleaved Supervision: Cruciaal is dat het model tijdens mens-robot co-training wordt getraind om $a_{3D-wrist}$ te voorspellen zelfs wanneer de grondwaarheid $a_{6D-eef}$ is (en vice versa). Deze "binding"-strategie koppelt de brug-representatie expliciet aan uitvoerbare robotacties.

3. Driefasige Trainingsstrategie

1. Fase I (Pre-training): Het model wordt voorgetraind op ~600 uur grootschalige menselijke actiedata (EgoDex + externe + in-lab data). Alleen het brug-signaal ($a_{3D-wrist}$) wordt gesuperviseerd, aange omdat rotatie en contactpatronen op deze schaal onbetrouwbaar zijn.
2. Fase II (Co-training): Het model wordt co-getraind op gegeneraliseerde robot pick-and-place data (72 uur) en taakspecifieke in-lab menselijke data (3 uur/taak). Alle actiecomponenten ($a_{3D-wrist}$, $a_{6D-eef}$, $a_{gripper}$) zijn actief, met willekeurige substitutie van $a_{6D-eef}$ door $a_{3D-wrist}$ om de brugverbinding af te dwingen.
3. Fase III (Few-shot Post-training): Het model wordt gefinetuned op een kleine set echte robotdemonstraties (10 trajecten/taak) om de efficiëntie van data en de uiteindelijke prestaties te verbeteren.

Belangrijkste Resultaten

De methode werd geëvalueerd op 15 nieuwe bi-manuele manipulatietaken (bijv. magnetrons openen, oppervlakken afvegen, bekers stapelen) met behulp van de ByteMini robot.

• Skill Transfer: Alleen trainen op robot pick-and-place data faalde in het generaliseren naar complexe taken. Echter, co-training met menselijke data via de brug-actie verbeterde zowel de taakprogressie als de succesratio's aanzienlijk.
• Translatie versus 6DoF: Co-training met 6DoF menselijke acties resulteerde in ruizig, verstoord gedrag. De translatie-alleen brug-actie leverde stabiele, natuurlijke poses op die aansluiten bij de taaleisen (bijv. uitlijning met magnetronhandgrepen).
• Schaalbaarheid: Grootschalige mens-alleen pre-training (Fase I) verbeterde de downstream prestaties substantieel, wat de schaalbaarheid van de brug-representatie bevestigt.
• Data-efficiëntie: Modellen die zijn voorgetraind op menselijke data hadden minder robotdemonstraties (few-shot) nodig om een hoge prestatie te bereiken vergeleken met modellen die vanaf nul zijn getraind.
• Alignment: De trainingsloss voor de brug-actie ($a_{3D-wrist}$) stemde nauw overeen met de loss voor uitvoerbare 6DoF acties ($a_{6D-eef}$) tijdens co-training, wat wijst op een gedeelde doelstelling-landschap.
• Upper Bound: Wanneer de embodiment-kloof werd weggenomen (door robotdata te behandelen als menselijke data met translatie-alleen supervisie), verbeterde de prestatie verder, wat aangeeft dat de brug-representatie zelf zeer effectief is en dat de resterende kloof grotendeels te wijten is aan visuele/embodiment verschillen en ruis.

Beperkingen en Falende Casussen

De auteurs merken op dat de translatie-alleen benadering de transfer beperkt in taken die precieze rotatie-aanpassingen vereisen tijdens contact-rijke manipulatie (bijv. een rietje in een beker steken of een lade openen). In deze gevallen vertoont de robot vaak de juiste intentie, maar faalt hij bij de laatste contactstap door het gebrek aan rotatie-supervisie. Daarnaast blijft het oppakken van dunne objecten een uitdaging, wat wordt toegeschreven aan observatiegaten en menselijke actieruis.

Betekenis en Claims

Het artikel claimt aan te tonen dat:

1. Robuuste Transfer: Een translatie-gebaseerde brug-actie een superieur medium is voor het overdragen van manipulatiekennis van mensen naar parallel-grijper robots vergeleken met ruizige 6DoF pose-schattingen.
2. Schaalbaarheid: Deze representatie maakt het effectief gebruik van grootschalige, diverse menselijke data om policies voor te trainen, waardoor de afhankelijkheid van dure robot-dataverzameling wordt verminderd.
3. Uniform Leren: Een interleaved actiesequentie met attention masking maakt het mogelijk voor één enkel model om te leren van heterogene databronnen met ontbrekende actiecomponenten, wat efficiënte mens-robot co-training faciliteert.

Het werk suggereert dat door de focus te leggen op het gedeelde perceptuele-motorische signaal (relatieve translatie) in plaats van de specifieke details van de embodiment (vingergewrichten of volledige 6DoF poses), robotleren effectiever kan worden geschaald met behulp van overvloedige menselijke data.