Technische Samenvatting: DriftWorld: Snelle Wereldmodellering door Drifting

Probleemstelling

Predictieve wereldmodellen zijn essentieel voor robotleren, omdat ze agenten in staat stellen te plannen door de uitkomsten van acties te visualiseren zonder uitvoering in de echte wereld. Hoewel recente vooruitgang in actie-geconditioneerde videogeneratie de getrouwheid van deze simulaties heeft verbeterd, wordt hun praktische bruikbaarheid voor besturing ernstig beperkt door de inferentiesnelheid. State-of-the-art modellen vertrouwen op diffusieprocessen, die iteratieve, meerstaps denoising vereisen om toekomstige frames te genereren. Deze meerstaps sampling is computationeel duur en verbruikt vaak 90–95% van de runtime in generatieve predictieve controlesystemen. Dit maakt het onpraktisch om de honderden rollouts te simuleren die nodig zijn om optimale actiekandidaten te identificeren tijdens realtime planning, wat zowel online beleidsverbetering als offline beleidsevaluatie beperkt.

Methodologie

De auteurs introduceren DriftWorld, een actie-geconditioneerd wereldmodel dat iteratieve diffusie-sampling vervangt door een éénstap generatieproces gebaseerd op drifting generatieve modellen. In plaats van iteratief te denoisen tijdens de inferentie, leert DriftWorld een actie-geconditioneerd driftveld tijdens de training dat een ruis-prior direct naar de datadistributie mapt.

Kernarchitectuur en Training

• Éénstap Generatie: Het model $f_\theta$ genereert toekomstige videoframes $x$ vanuit een ruis-prior $\epsilon$ en conditionering $c$ (historische observaties en toekomstige acties) in één enkele forward pass.
• Drifting Loss: De trainingsdoelstelling maakt gebruik van een drifting veld $V_{p,q}(x)$ dat de gegenereerde distributie $q$ naar de ware datadistributie $p$ leidt. De drift wordt gedefinieerd als het verschil tussen de mean-shift vectoren van positieve (grondwaarheid) en negatieve (gegenereerde) samples:
  $$V_{p,q}(x) = V^+_p(x) - V^-_q(x)$$
  Het model wordt geoptimaliseerd via fixed-point iteratie om de afstand te minimaliseren tussen de voorspelling en een doel dat door dit drifting veld is verschoven.
• Actie-accentueerde Drifting: Om ervoor te zorgen dat het model strikt de actie-inputs volgt, wordt de negatieve sample-distributie aangepast door een mengeling van gegenereerde samples en echte samples die een "geen-actie" staat weergeven toe te voegen. Dit voorkomt dat het model een actie-agnostische identiteitsmapping leert.
• Feature Space Drifting: Voor complexe, hoog-resolutie real-world datasets (bijv. Bridge-V2, RT-1) wordt de drifting loss berekend in een feature space met behulp van DINOv2/v3 encoders in plaats van in de ruwe pixelruimte. Dit behoudt de visuele scherpte en biedt semantisch betekenisvolle afstandscriteria.
• Bewegingsweging: Om te voorkomen dat het model de actie-conditionering negeert door de achtergrond-reconstructiefout te minimaliseren, wordt de loss gewogen op basis van de bewegingsgrootte. Ruimtelijke locaties met hogere beweging (bijv. robotgrippers) ontvangen hogere gewichten, waardoor het model wordt gedwongen om dynamische veranderingen nauwkeurig te voorspellen.
• Architectuur: De generator is een U-Net geconditioneerd op historische frames en actiesequenties via FiLM (Feature-wise Linear Modulation), wat garandeert dat elk toekomstig frame precies geconditioneerd is op de bijbehorende actie.

Belangrijkste Bijdragen

1. DriftWorld Model: De introductie van een éénstap, actie-geconditioneerd wereldmodel dat rollouts genereert in een enkele forward pass, waarbij een gemiddelde 17× versnelling wordt bereikt ten opzichte van diffusie-gebaseerde baselines, terwijl de hoge visuele kwaliteit behouden blijft.
2. Adaptatie van Drifting voor Robotica: De eerste adaptatie van drifting generatieve modellen voor conditionele videovoorspelling. Dit omvat het innovatieve gebruik van een actie-accentueerd drifting veld, feature-space drifting (gebruikmakend van DINOv2/v3), en frame-wise actie-conditionering binnen een U-Net architectuur.
3. Experimentele Validatie: Uitgebreide evaluatie over vijf benchmarks (Bridge-V2, RT-1, Language Table, Push-T, en Robomimic) die aantoont dat DriftWorld de rollout-kwaliteit van diffusie-baselines evenaart of overtreft (gemeten via SSIM, PSNR, LPIPS, FID en FVD), terwijl de inferentietijd aanzienlijk wordt verminderd.

Resultaten

• Snelheid: DriftWorld bereikt generatiesnelheden van 30+ fps in diverse omgevingen. In tegenstelling hiertoe opereren diffusie-gebaseerde baselines (bijv. GPC, Ctrl-World) op aanzienlijk lagere framerates (bijv. 0.3–3.5 fps), waardoor DriftWorld gemiddeld ongeveer 17× sneller is.
• Visuele Kwaliteit: Op de Push-T benchmark presteert DriftWorld beter dan diffusie-baselines en een MSE-getrainde éénstap baseline in visuele metrieken (bijv. SSло SSIM van 0.9925 vs. 0.9717 voor GPC). Het simuleert succesvol fijnmazige interacties, zoals contact tussen gripper en object, die andere modellen vaak niet accuraat kunnen renderen in lange rollouts.
• Beleidsverbetering (Online Control): Wanneer gebruikt om actievoorstellen te rangschikken voor het GPC-RANK algoritme, verbetert DriftWorld de beleidsprestaties aanzienlijk. Zo verhoogde het de Intersection over Union (IoU) score op Push-T van 0.635 (base policy) naar 0.781, waarmee het de GPC diffusie wereldmodel (0.698) overtreft, terwijl de zoekopdracht in een fractie van de tijd werd uitgevoerd.
• Offline Beleidsevaluatie: DriftWorld dient als een zeer nauwkeurige offline simulator. De voorspelde succespercentages en IoU-scores van beleidsregels die in DriftWorld worden gerold, correleren sterk met de grondwaarheid van de simulatorprestaties, met Pearson correlatiecoëfficiënten van 0.9916 (Robomimic Lift), 0.9250 (Robomimic Can), en 0.9515 (Push-T). Deze correlaties overtreffen die van baseline modellen zoals Ctrl-World en GPC.

Betekenis en Claims

Het artikel stelt dat drifting modellen een sterke match zijn voor robot wereldmodellering, waarbij ze het kritieke compromis tussen generatiesnelheid en kwaliteit aanpakken. Door het mogelijk te maken van snelle, hoogwaardige "verbeelding", ondersteunt DriftWorld direct:

1. Efficiënte Planning: Het evalueren van honderden actiekandidaten binnen een enkele controle-loop, wat voorheen onhaalbaar was met diffusiemodellen.
2. Betrouwbare Beleidsevaluatie: Het bieden van een simulator waar rollout-scores hoog correleren met real-world prestaties, wat de noodzaak voor kostbare hardware-rollouts tijdens beleidsrangschikking vermindert.

De auteurs concluderen dat DriftWorld een nieuw fundament legt voor robot wereldmodellering, waarbij de snelheid van verbeelding niet langer een bottleneck vormt voor planning en beleidsevaluatie.