Technische Samenvatting: Wat doet er toe bij het co-trainen van robotmanipulatiebeleid op alledaagse menselijke video's?

Probleemstelling

Het bouwen van generieke robotische fundatiemodellen wordt momenteel gehinderd door een tekort aan data. Hoewel teleoperatie-demonstraties duur en traag zijn om te verzamelen, en reinforcement learning problemen kent met het ontwerpen van beloningen en de sim-to-real transfer, bieden internetvideo's van dagelijkse menselijke activiteiten een potentieel schaalbare bron van fysieke intelligentie. Het benutten van deze video's voor robotmanipulatie is echter niet triviaal. Eerdere werken leunen ofwel op modulaire pipelines die beleid ontleden in tussenliggende componenten (bijv. 3D-poses, affordances), of maken gebruik van end-to-end co-training die sterk gecureerde, uitgelijnde data vereist waarbij menselijke bewegingen zijn afgestemd op robotkinematica, camera's identiek zijn en gespecialiseerde hardware nauwkeurige 3D-handposes vastlegt.

De openstaande vraag die dit werk adresseert is: Welke factoren maken de transfer van manipulatiebeleid van ongecontroleerde, alledaagse internetvideo's naar robots mogelijk? Specifiek onderzoeken de auteurs de impact van twee primaire bronnen van moeilijkheid: (1) de kwaliteit van 3D-handpose-labels en (2) de "actiekloof" veroorzaakt door natuurlijke menselijke beweging en taakverschillen ten opzichte van robotgedrag.

Methodologie

1. De TriHands Dataset

Om de impact van de kwaliteit van handlabels zonder de ruis die inherent is aan monoculaire schatting grondig te bestuderen, hebben de auteurs een nieuwe dataset geconstrueerd, TriHands.

• Bron: 532 kookvideo's uit de EgoExo4D-dataset.
• Annotatie: In plaats van te vertrouwen op monoculaire estimators, gebruikten de auteurs een multi-view pipeline om 3D-handposes te trianguleren. Ze gebruikten extrinsieke camera's naast het egocentrische perspectief om hoogwaardige 3D-labels te genereren.
• Verfijning: De pipeline omvatte het finetunen van een 3D-handpose estimator (WiLoR) met behulp van reprojectiefout op partiële 2D-labels geleverd door EgoExo4D. Ze gebruikten Direct Linear Transformation (DLT) met niet-lineaire verfijning, waarbij cameraselecties werden gekozen die het aantal camera's maximaliseren terwijl ze voldoen aan de drempelwaarden voor reprojectiefout.
• Schaal: De resulterende dataset bevat meer dan 28 uur aan hoogwaardige data met natuurlijke beweging met 3.042.406 rechterhandframes op 30 fps.

2. Framework en Architectuur

De auteurs stellen een co-training framework voor dat de afstemming van observaties/acties over verschillende belichamingen (embodiments) balanceert, terwijl het netwerk de ruimte krijgt om te specialiseren in de specifieke kinematische en sensorische verschillen tussen mensen en robots.

• Afstemming van de schaal in de beeldruimte: Een cruciale, voorheen over het hoofd geziene stap betreft het afstemmen van de schaal van objecten in de beeldruimte. Omdat menselijke en robotcamera's vaak verschillende brandpuntsafstanden en gezichtsvelden (FOV) hebben, ontdistorten de auteurs de menselijke fisheye-beelden en passen ze de extrinsieke parameters van de robotcamera (rotatie en dieptevertaling) aan om overeen te komen met de verticale 3D-omvang van de menselijke scène. Dit zorgt ervoor dat objecten op een vergelijkbare schaal verschijnen in de input van het netwerk.
• Afstemming van de actieruimte: Menselijke 3D-handposes worden in kaart gebracht naar de robotactieruimte (TCP-pose en grijpcommando). Om de multimodaliteit die wordt geïntroduceerd door hoofdbewegingen te verwerken, worden camera-frame poses per tijdstap gestabiliseerd door ze te transformeren naar het huidige hoofdframe. Actiechunks worden gemiddeld gecentreerd en geschaald naar $\pm 1$ om distributiebiases op te lossen.
• Architectuur (Transfusion-geïnspireerd): Het model gebruikt een conditional flow-matching architectuur.
  • Token-niveau Fusie: In tegen tegenstelling tot eerdere werken die gebruikmaken van beeldbottlenecks (CLS-tokens), behoudt deze architectuur volledige ViT-beeldtokens en concateneert deze met ruizige actietokens via gedeelde aandacht (shared attention).
  • Belichaming-specialisatie: Het netwerk maakt gebruik van aparte FFN-experts voor visuele en actietokens. Cruciaal is dat het belichaming-specifieke actie-encoders en -decoders gebruikt (aparte MLP's voor mens en robot) in plaats van gedeelde gewichten. Dit stelt het model in staat om invariante visuele representaties te leren terwijl de afzonderlijke bewegingsdynamica van elke belichaming wordt ge accommodated.
• Co-training Algoritme: Om te voorkomen dat de grote hoeveelheid menselijke data de kleinere robotdataset overstemt, bemonsteren de auteurs een gelijk aantal batches uit elke belichaming per stap. Dit is wiskundig equivalent aan het verhogen van het gewicht van de robotverliesfunctie (robot loss), wat garandeert dat het beleid geworteld blijft in de robotkinematica.

Belangrijkste Bijdragen

1. TriHands Dataset: Een grootschalige dataset van alledaagse menselijke video's met nauwkeurige, getrianguleerde 3D-handlabels. De auteurs laten zien dat deze dataset een betere transferprestatie oplevert voor robotica dan grootschalige lab-datasets (bijv. EgoDex), ondanks dat het 5 keer minder uren aan data bevat, wat het belang van scène-diversiteit boven pure schaal benadrukt.
2. Impact van Handkwaliteit: De studie toont aan dat kwalitatief betere 3D-handlabels de transfer aanzienlijk verbeteren. Hoewel state-of-the-art monoculaire estimators (HaWoR) nog steeds enige voordelen bieden ten opzichte van alleen robot-training, is er een substantieel prestatieverschil tussen monoculaire schattingen en getrianguleerde handen, vooral bij complexe taken.
3. Afstemming van de Schaal in de Beeldruimte: De auteurs identificeren en demonstreren de noodzaak om de schaal in de beeldruimte af te stemmen bij het co-trainen over verschillende datasets met verschillende camera's. Eenvoudige geometrische aanpassingen aan de virtuele positie van de robotcamera verbeteren de transfer aanzienlijk, een factor die momenteel niet wordt meegenomen in leidende Vision-Language-Action (VLA) modellen.
4. Architectuur voor Natuurlijke Beweging: Het artikel stelt dat standaard co-training recepten ontworpen voor lab-data (bijv. gedeelde actie-encoders, beeldbottlenecks) niet effectief transfereren naar natuurlijke bewegingsdata. In plaats daarvan is belichaming-specifieke specialisatie (token-niveau fusie en aparte encoders/decoders) noodzakelijk om de grote bewegingskloof te overbruggen die inherent is aan ongecontroleerde menselijke video's.

Resultaten

De auteurs evalueerden hun aanpak op zes real-world manipulatietaken (Pick, Stack, Reorient, Pull, Book, Pour) met behulp van een 6-DOF AgileX Piper arm. Ze trainden op 532 menselijke video's en variërende hoeveelheden robotdata (3, 5 of 10 omgevingen).

• Prestatiewinst: Het voorgestelde co-training recept leverde consistente verbeteringen op in alle robotdata-regimes. In het regime met weinig robotdata (3 omgevingen) behaalde de methode een absolute winst in succespercentage van 29,7% (41,7% vs. 12,0% voor alleen robot-training) over zes taken.
• Schaalgedrag: Hoewel het relatieve voordeel van menselijke data afneemt naarmate de hoeveelheid taakspecifieke robotdata toeneemt (een bekend fenomeen in cross-task co-training), blijven de absolute winsten aanzienlijk in scenario's met weinig data.
• Ablatie-studies:
  • Architectuur: Het verwijderen van token-niveau fusie (gebruik van CLS-tokens) of het delen van actie-encoders/decoders resulteerde in significante prestatieverliezen, wat de noodzaak van specialisatie bevestigt.
  • Schaalafstemming: Het gebruik van een "sterk misafgestemd" pinhole-cameramodel (zonder correctie van de schaal) resulteerde in prestaties die vergelijkbaar waren met alleen robot-training, terwijl afstemming op basis van de omvang (extent-matched alignment) de prestaties verdubbelde.
  • Handkwaliteit: Het toevoegen van Gaussische ruis aan getrianguleerde handen om monoculaire schattingsfouten te simuleren, veroorzaakte een monotone degradatie in prestaties, wat bevestigt dat de nauwkeurigheid van de handpose een beperkende factor is.

Betekenis en Claims

Het artikel beweert een pad uit te zetten naar robot co-training op internetvideo door de specifieke knelpunten te identificeren en aan te pakken die dergelijke data onderscheiden van gecureerde lab-demonstraties. De auteurs stellen dat:

• Natuurlijke beweging is een tweesnijdend zwaard: Hoewel het schaalbaarheid biedt, vereist de inherente bewegingskloof architecturale specialisatie (belichaming-specifieke encoders/decoders) in plaats van eenvoudige afstemming.
• Datakwaliteit is belangrijker dan schaal: Scène-diversiteit in natuurlijke video's (TriHands) presteerde beter dan grotere, meer gecontroleerde lab-datasets (EgoDex).
• Toekomstige richtingen: Het werk suggereert dat toekomstige verbeteringen in handpose-estimatie (die dichter bij de kwaliteit van getrianguleerde labels komen) de transfercapaciteiten nog verder zullen ontsluiten. De auteurs merken op dat hun huidige afhankelijkheid van kinematische retargeting de effectiviteit op de meest complexe taken (bijv. "Pour") kan beperken, waardoor verder onderzoek naar representatieve afstemming en actie-retargeting een onderwerp voor toekomstig werk blijft.

De studie concludeert dat hoewel er uitdagingen blijven bestaan, een combinatie van hoogwaardige handlabels, zorgvuldige afstemming van de beeldruimte en belichaming-gespecialiseerde architecturen het co-trainen op alledaagse menselijke video's een levensvatbare en effectieve strategie maakt om robotmanipulatie te verbeteren, met name in scenario's met een tekort aan data.