Technische Samenvatting: MotionForesight

Probleemdefinitie

Het artikel behandelt de uitdaging van toekomstige 3D-scene-flow voorspelling voor gemanipuleerde objecten vanuit causale, monoculaire mens-object interactievideo's. In tegenstelling tot traditionele benaderingen die toekomstige rigide 6-DoF poses voorspellen (die falen bij gearticuleerde of vervormbare objecten) of toekomstige 2D-beeldtracks (die een gebrek hebben aan metrische diepte), streeft MotionForesight naar het voorspellen van dichte, referentie-geankerde 3D-trajecten voor punten op een object.

De kernmoeilijkheid ligt in het leren van deze anticipatie vanuit "passieve" observatie zonder expliciete taalinstructies, actielabels of kennis van de fysieke eigenschappen van het object. Het doel is om de fysieke gevolgen van een interactie af te leiden (bijv. hoe een kopje wordt opgetild of een lade naar buiten schuift) op basis van enkel een korte geobserveerde videoprefix.

Methodologie

Kerninzicht

De auteurs stellen voor dat moderne videomodellen, getraind op grote corpora, al rijke priors bevatten over temporele regelmatigheden, contact, affordances en plausibele dynamiek. In plaats van een model te trainen om toekomstige RGB-pixels te genereren (wat computationeel duur is en vaak geometrische getrouwheid verliest), stuurt MotionForesight deze video-priors om naar het voorspellen van expliciete toekomstige 3D-bewegingsvelden.

Architectuur en Adaptatie

MotionForesight is gebouwd op TrackCraft3R [11], een dichte 3D-tracker geconstrueerd bovenop een vooraf getrainde video Diffusion Transformer (DiT) (specifiek Wan2.1 [12]). De methode hergebruikt deze retrospectieve tracker tot een forward predictor door middel van de volgende aanpassingen:

1. Input Representatie:

   • Geobserveerde Context: Voor de eerste $T_1$ frames ontvangt het model RGB-frames en geschatte puntkaarten (afgeleid van monoculaire diepte-inschatting).
   • Toekomstige Context: Voor de toekomstige $T_2$ stappen zijn werkelijke RGB- en puntkaartgegevens niet beschikbaar. Deze slots worden vervangen door geleerde masker-latents ($m_{rgb}, m_{pm}$). Deze maskers geven "niet-geobserveerde" tijdstappen aan zonder specifieke toekomstige verschijningsvormen te coderen.
   • Query Stream: Een referentiekader-query latent (afgeleid van de objectmasker in het eerste frame) wordt herhaald over alle tijdstippen ($T_1 + T_2$), waarbij het model wordt gevraagd: "Waar is dit referentiepunt op tijdstip $t$?"

2. Trainingsstrategie:

   • Pseudo-Ground Truth: De auteurs hebben een dataset samengesteld van ~40K mens-object interactievideo's (uit Something-Something V2). Ze draaien de volledige TrackCraft3R-tracker offline op volledige clips om dichte 3D-trajecten te genereren, die dienen als pseudo-ground-truth targets.
   • Masking tijdens Training: Tijdens de training krijgt het model alleen de geobserveerde prefix ($T_1$) en de gemaskeerde toekomstige slots gevoerd. Het moet de residuele track-latents voor de toekomstige stappen voorspellen.
   • Parameter Efficiëntie: De grote video-backbone (DiT), de originele tracking-adapter en de VAE-encoders/decoders zijn bevroren. Alleen een lichtgewicht, low-rank adapter (LoRA), predictiekop en de masker-latents worden getraind.

3. Doelfunctie:
   Het model wordt getraind met behulp van een gedecodeerde coördinatieruimte-loss ($L_{dec}$) die de Euclidische afstand tussen voorspelde en pseudo-ground-truth 3D-coördinaten minimaliseert. De loss wordt gewogen om toekomstige voorspelling ($\lambda_{fut}$) prioriteit te geven boven reconstructie van geobserveerde frames ($\lambda_{obs}$), wat ervoor zorgt dat het model leert om beweging te extrapoleren in plaats van enkel het verleden te memoriseren.

Belangrijkste Bijdragen

1. Formalisering van de Taak: Het artikel formaliseert de taak van toekomstige 3D-scene-flow voorspelling vanuit causale RGB-video's als een referentie-geankerde tracking-pointmap forecasting taak, waarbij wordt afgezien van specifieke objectcategorieën of rigid-body aannames.
2. Data Curatie Pipeline: Een nieuwe pipeline die ongestructureerde menselijke video's omzet in pseudo-ground-truth 3D-trajecten met behulp van dichte 3D-tracking en objectmaskers, wat supervisie mogelijk maakt zonder metrische 3D-sensoren.
3. Efficiënte Model Hergebruik: Een minimale modificatie van TrackCraft3R die een retrospectieve tracker transformeert in een forward predictor. Deze benadering toont aan dat het bevriezen van de zware video- en trackingcomponenten terwijl een kleine adapter wordt getraind, voldoende is om geometrische forecasting te leren.

Experimentele Resultaten

Het model werd getraind op 40.000 mens-object interactievideo's uit SSv2 en geëvalueerd op uit de dataset gehouden SSv2-clips en Out-of-Distribution (OOD) telefoonovideo's met onbekende objecten en omgevingen.

• Prestaties vs. Baselines: MotionForesight presteert significant beter dan veel grotere modellen, waaronder MolmoMotion (getraind op 1.16M video's) en video-generatie pipelines gevolgd door tracking.
  • Op OOD telefoonovideo's behaalde MotionForesight een Average Displacement Error (ADE) van 9.31 cm, vergeleken met 9.50 cm voor MolmoMotion (zonder taal) en 13.82 cm voor video-generatie baselines.
  • Cruciaal is dat MotionForesight dit bereikt zonder enige taal- of actielabels, terwijl MolmoMotion vertrouwt op taal-geconditioneerde inputs.
• Schaalbaarheid: Experimenten toonden aan dat het vergroten van de trainingsdata van 1K naar 40K video's de bekwaamheid van het model verbeterde om te generaliseren naar diverse, onbekende scenario's, met name wat betreft de Percentage of Predictions within a Threshold (PWT).
• Kwalitatieve Resultaten: Het model voorspelt succesvol diverse bewegingen, waaronder tillen, rotatie, beperkt schuiven en niet-rigide vervormingen, waarbij de ruimtelijke coherentie behouden blijft, zelfs bij langdurige voorspellingen (long-horizon).

Betekenis en Claims

Het artikel beweert dat het efficiënt hergebruiken van video-priors een levensvatbaar pad is naar belichaamde intelligentie (embodied intelligence). Door de generatie van toekomstige pixels over te slaan en direct metrische 3D-beweging te voorspellen, biedt de methode een acteerbare representatie met een lagere computationele overhead.

De auteurs benadrukken dat:

• Geometrische Gronding essentieel is: Sterke geometrische priors geleerd van tracking zijn effectiever voor metrische bewegingsvoorspelling dan generatieve priors die gericht zijn op pixel-verschijning.
• Passief Leren Voldoende is: Complexe interactiedynamiek kan worden geleerd van passieve, ongelabelde menselijke video's zonder de noodzaak voor dure 3D-sensoren of taalannotaties.
• Generalisatie: De aanpak generaliseert goed naar out-of-distribution objecten, omgevingen en standpunten, wat suggereert dat de geleerde bewegingspriors fundamentele fysieke interacties vastleggen in plaats van dataset-specifieke artefacten.

Het werk concludeert dat het mogelijk is om retrospectief video-begrip te transformeren naar forward-looking geometrische redenering, wat een compacte interface biedt voor downstream planning en belichaamde redeneersystemen.