Technische Samenvatting: Imagine2Real

Probleemstelling

Interactie tussen mensachtige robots en objecten (Whole-body Humanoid-Object Interaction, HOI) wordt momenteel beperkt door het gebrek aan hoogwaardige 3D-interactiedata. Hoewel video-generatieve modellen een veelbelovend alternatief bieden voor het leveren van visuele en fysieke prioren, staan bestaande methoden die proberen deze te benutten voor HOI voor twee kritieke uitdagingen:

1. Representatiemisalignatie: Het extraheren van 3D-beweging uit 2D-video's is doorgaans afhankelijk van sterke geometrische prioren (bijvoorbeeld expliciete CAD-modellen), die in realistische omgevingen zelden beschikbaar zijn. Bovendien schatten bestaande benaderingen vaak robot- en objectbewegingen onafhankelijk van elkaar in met behulp van aparte tools, wat leidt tot ruimtelijke en dieptediscrepanties die resulteren in bewegingen van lage kwaliteit en trackingfalen.
2. Retargeting-complexiteit: Traditionele bewegingstracking vereist dichte, laag-niveau signalen (bijvoorbeeld gewrichtsposities) die expliciet moeten worden geretarget naar een specifiek mensachtig lichaam. In HOI-scenario's is dit proces uiterst complex; het vereist intensieve vervorming om de mesh van de robot en die van het object op elkaar af te stemmen, wat inherent de schattingsfouten uit de video-bron versterkt. Omgekeerd falen methoden die spaarzame sleutelpunten volgen vaak om natuurlijke gangen te produceren vanwege het gebrek aan informatie op gewrichtsniveau.

Methodologie

De auteurs stellen Imagine2Real voor, een zero-shot HOI-framework dat is ontworpen om flexibele, geometrie-vrije interactie te bereiken door robot- en objectbewegingen te verenigen en gebruik te maken van een Behavior Foundation Model (BFM). Het framework werkt via een "video-naar-beweging-naar-realiteit"-pijplijn die drie kerncomponenten omvat:

1. Gecombineerde 4D-punttrajectrepresentatie

Om representatiemisalignatie op te lossen, vermijdt het framework het vertrouwen op geometrische prioren. In plaats daarvan behandelt het zowel robot- als objectbewegingen als een gecombineerde 4D-punttraject.

• Videosynthese: Gegeven een initiële afbeelding en een tekstinstructie, synthetiseert een video-generatief model een interactievideo.
• Extractie: Met behulp van segmentatie (SAM3) en punttracking (SpaTrackerV2) extrahert het systeem 4D-punttrajecten voor spaarzame kritieke regio's: de basis van de robot, de handen en het doelobject.
• Alignatie: Door beide entiteiten als punttrajecten binnen een gemeenschappelijk frame te representeren, zorgt de methode voor ruimtelijke alignatie zonder dat expliciete CAD-modellen of onafhankelijke schattingspijplijnen nodig zijn.

2. Op BFM gebaseerde Keypoints Tracker

Om de complexiteit van retargeting te overwinnen en natuurlijke gangen te behouden met spaarzame signalen, maakt het framework gebruik van een Keypoints Tracker die is gebouwd op een vooraf getraind BFM.

• BFM-ruggengraat: Een BFM wordt eerst vooraf getraind op grote schaal proprioceptieve bewegingsdata (~68,5 uur) om een compacte latente bewegingsruimte te construeren. Dit model internaliseert voorwaartse dynamica en natuurlijke bewegingsovergangen.
• Spaarzame tracking: De tracker leert geen volledige lichaamscontroller opnieuw. In plaats daarvan baseert het zich op een spaarzaam referentiebeweging (basis, handen, object) en past het een latente residual planner toe bovenop de bevroren BFM-ruggengraat.
• Mechanisme: De bevroren predictor genereert een latente prior op basis van proprioceptieve geschiedenis om natuurlijke locomotie en balans te waarborgen. De planner geeft vervolgens een laag-dimensionale latente residual uit om de robot te sturen naar de spaarzame trackingdoelen. Hierdoor kan het systeem het foutversterkende retargeting-proces omzeilen terwijl fysieke stabiliteit behouden blijft.

3. Progressieve trainingsstrategie

Om het gebrek aan data aan te pakken, hanteert het framework een drie-traps progressieve trainingsstrategie:

1. BFM-ruggengraat: Getraind op diverse hele-lichaamsbewegingen om een robuuste bewegingsprior te vestigen.
2. Keypoints Tracker: Getraind op loco-manipulatie-data (~8,86 uur) om het volgen van spaarzame punten te leren terwijl balans wordt behouden.
3. Interactie-adapter: Fijngetuned op specifieke HOI-data (~0,43 uur) om residual acties op gewrichtsniveau te leren voor objectmanipulatie. Deze adapter overbrugt de kloof tussen kinematische tracking en fysiek contact, waardoor precieze manipulatie mogelijk wordt zonder complexe beloningstechniek.

4. Implementatiepijplijn in de echte wereld

De implementatielus omvat:

• Videogeneratie: Het synthetiseren van een interactievideo op basis van een tekstconditie.
• Trajectextractie: Het omzetten van videopixels in stabiele 4D-punttrajecten.
• Mocap-calibratie: Het gebruik van een motion capture (mocap)-systeem om schaalambiguïteit op te lossen die inherent is aan monocular videogeneratie. Het systeem vangt initiële globale posities in om de geëxtraheerde trajecten te schalen en te kalibreren naar werkelijke afmetingen voordat het beleid wordt uitgevoerd op een Unitree G1 mensachtige robot.

Belangrijkste bijdragen

1. Gecombineerde 4D-punttrajectrepresentatie: Een nieuwe representatie voor HOI die de afhankelijkheid van geometrische prioren wegneemt en bewegingsmisalignatie tussen robots en objecten oplost.
2. Op BFM gebaseerde Keypoints Tracker: Een trackingmechanisme dat zich uitsluitend richt op interactie-kritieke spaarzame punten (basis, handen, object). Door gebruik te maken van de latente ruimte van het BFM als zoekdomein, maakt het flexibele interactie mogelijk terwijl stabiele, natuurlijke gangen worden gewaarborgd zonder complexe retargeting.
3. Progressief trainingsframework: Een strategie die effectief gebruik maakt van multi-schaal datasets (van grote schaal niet-interactieve data tot specifieke HOI-data) om robuuste zero-shot HOI te bereiken, waardoor de noodzaak van handmatig ontworpen mechanismen zoals complexe contactbeloningen of fysieke stateninitialisatie wordt geëlimineerd.

Experimentele resultaten

De auteurs hebben het framework geëvalueerd via Sim2Sim en zero-shot-implementaties in de echte wereld:

• Natuurlijkheid van beweging: In ablatiestudies presteerde de op BFM gebaseerde aanpak significant beter dan directe tracking in de gewrichtsruimte en DAgger-baselines op het gebied van actiegladheid en natuurlijkheid van de gang (lagere $E_{mpjae}$, $A_{rate}$ en $A_{smooth}$). Dit bewijst dat het doorzoeken van de latente ruimte fysiek plausiblere bewegingen oplevert.
• Taaksucces: Het framework behaalde hoge successpercentages bij hele-lichaam HOI-taken:
  • Dozen dragen: 82,65% successpercentage met de Interactie-adapter (tegenover 0% zonder).
  • Dozen duwen: 64,91% successpercentage met de Adapter (tegenover 29,82% zonder).
  • Trackingfouten voor handen, basis en objecten bleven binnen centimeter-nauwkeurigheid.
• Zero-shot-implementatie: Het systeem slaagde erin diverse fysieke taken uit te voeren op een echte Unitree G1-robot, waaronder het tillen van verschillende dozen en het uitvoeren van semantisch rijke interacties (bijvoorbeeld het raken van een "Iron Man"-pilaar), wat de effectiviteit van de video-naar-beweging-naar-realiteit-pijplijn aantoont.

Betekenis en beperkingen

Het artikel stelt dat Imagine2Real een belangrijke stap voorwaarts is naar generaliseerbare mensachtige besturing door interactie-lering te ontkoppelen van de behoefte aan enorme, taakspecifieke 3D-datasets. Door gebruik te maken van prioren uit video-generatieve modellen en een gecombineerde puntrepresentatie, stelt het framework robots in staat om complexe interacties te leren uit spaarzame visuele aanwijzingen terwijl fysieke stabiliteit wordt behouden.

Echter, de auteurs erkennen huidige beperkingen:

• Afhankelijkheid van Mocap: De implementatie in de echte wereld is momenteel afhankelijk van externe motion capture-systemen, die gevoelig zijn voor markerocclusie tijdens taken met nauwe contacten.
• Open-lus pijplijn: Het huidige systeem is open-lus. Hoewel het iteratief vragen aan het videomodel een pseudo-gesloten-lus benadering biedt, vereist een echt gesloten-lus systeem gezamenlijke fijnafstelling van de videogenerator en de bewegingstracker met behulp van fysieke feedback. Dit blijft een uitdaging vanwege de gesloten-bron aard van toonaangevende videomodellen en het gebrek aan fysieke consistentie in open-source alternatieven.