How Can Driving World Models Do Counterfactual Prediction?

Technische Samenvatting: Counterfactual Voorspelling in Driving World Models

Probleemdefinitie en Causale Kloof
Het artikel behandelt een fundamentele mismatch tussen de beoogde capaciteit van driving world models (counterfactual voorspelling) en hun standaardimplementatie (directe actie-geconditioneerde voorspelling). Bij autonoom rijden vraagt counterfactual voorspelling: "Gegeven een feitelijk rijlogboek waarin een gebeurtenis plaatsvond (bijv. een auto die binnensnijdt), wat zou de camera hebben geregistreerd als het ego-voertuig een andere actie had ondernomen (bijv. remmen in plaats van accelereren)?"

De auteurs identificeren dat huidige "directe voorspellingen" alleen geconditioneerd zijn op de gedeelde historie ($H$) en de alternatieve actie ($a'$). Deze aanpak faalt omdat het de feitelijke voortzetting ($F^+$) — het geobserveerde bewijs van wat er daadwerkelijk gebeurde na de gedeelde historie — niet incorporeert. Volgens de "ladder van causaliteit" van Pearl vereist een echte counterfactual (Rung 3) abductie: het afleiden van de specifieke staat van de wereld ($w$) die de geobserveerde feitelijke uitkomst genereerde, om vervolgens te interveniëren met de nieuwe actie. Directe voorspelling, door $F^+$ te negeren, middelt effectief over alle mogelijke werelden die consistent zijn met de historie ($p(w|H)$), in plaats van de specifieke wereld die in de episode werd gerealiseerd ($p(w|H, F^+)$). Gevolgelijk genereren directe modellen vaak vloeiende video's die consistent zijn met de nieuwe actie, maar laten ze specifieke gebeurtenissen (zoals een auto die tevoorschijn komt) weg die wel aanwezig waren in de episode.

Methodologie: Een Training-vrije Pipeline
Om deze kloof te overbruggen zonder bestaande modellen opnieuw te trainen, stellen de auteurs een eenvoudige, tijdens de inferentie werkende pipeline voor die gebaseerd is op het causale recept van Abductie, Actie en Voorspelling. De methode werkt op een bevroren (frozen) world model en bestaat uit vier stadia:

1. Abduce (Reconstructie): Een bevroren diepteschattingsmodel verwerkt de feitelijke voortzetting ($F^+$) om metrische diepte te schatten. Dit tilt de 2D RGB-frames naar een 3D puntenwolk, waardoor de geobserveerde oppervlakken van de gerealiseerde wereld worden gereconstrueerd.
2. Transport (Interventie): Het systeem past de alternatieve ego-trajectorie ($a'$) toe op de camerapoza, terwijl de gereconstrueerde 3D-wereld vast blijft staan. Met behulp van forward splatting en een depth buffer worden de geobserveerde 3D-punten geprojecteerd naar het counterfactual camerabeeld. Dit genereert een gewarpte bewijsafbeelding ($E_t$) en een support-masker ($M_t$) dat aangeeft welke pixels worden bepaald door de feitelijke observatie.
3. Complete (Voorspelling): Het bevroren world model krijgt de taak om alleen de niet-ondersteunde regio's te genereren (gebieden die niet zichtbaar zijn in de feitelijke log of geoccludeerd zijn).
   • Voor diffusiemodellen is de input een ruizige codering van de feitelijke bewijslast, gemaskeerd door $M_t$. Tijdens het denoising-proces worden de bewijsregio's in elke stap hersteld om de generatie te beperken.
   • Voor autoregressieve modellen worden tokens die overeenkomen met de bewijs-masker vastgezet op de inputwaarden, terwijl het model tokens genereert voor de resterende regio's.
4. Combine (Verfijning): De output van het world model wordt samengevoegd met de getransporteerde bewijslast. Een weegfunctie ($\alpha_t$) zorgt ervoor dat betrouwbare getransporteerde pixels letterlijk behouden blijven, terwijl grenzen worden gladgestreken om kleuren te harmoniseren en naden (seams) te verminderen.

Benchmark en Evaluatie
Omdat real-world data geen counterfactual grondwaarheid kan bieden (men kan niet twee toekomsten observeren vanuit één verleden), hebben de auteurs een gecontroleerde benchmark geconstrueerd met behulp van de CARLA simulator.

• Setup: Ze simuleren een wereld met een vooraf gedefinieerde gebeurtenis (bijv. een auto die uit een zijstraat komt). Ze draaien drie scenario's: (1) Feitelijke uitvoering ($F, a_{obs}$), (2) Counterfactual uitvoering ($P, a'$), en (3) Null-uitvoering waarbij de gebeurtenis wordt onderdrukt ($U, a'$).
• Metrieken:
  • Recovered Fraction ($Rec$): Meet hoeveel de voorspelling lijkt op de counterfactual grondwaarheid ($P$) versus de null-referentie ($U$) met behulp van embedding-gelijkenis (DINOv2 en CLIP). Een score van 1 duidt op perfecte reconstructie van de gebeurtenis; 0 op volledige weglating.
  • Perceptual Fidelity: Meet de LPIPS-afstand tot de counterfactual grondwaarheid om de visuele kwaliteit te beoordelen.

Belangrijkste Resultaten
Experimenten op twee representatieve world models (een diffusie-gebaseerd model en een autoregressief model) leverden de volgende bevindingen op:

• Falen van Directe Voorspelling: Standaard directe actie-geconditioneerde voorspellingen faalden consequent in het behouden van de specifieke gebeurtenissen die aanwezig waren in de feitelijke voortzetting. Hun "recovered fraction"-scores waren laag, wat aangeeft dat ze plausibele maar incorrecte toekomsten genereerden waarin de gebeurtenis (bijv. de verschijnende auto) niet plaatsvond.
• Effectiviteit van de Methode: De voorgestelde training-vrije pipeline verbeterde de prestaties aanzienlijk. Het verhoogde de recovered fraction substantieel en slaagde erin het signaal van de gebeurtenis te behouden dat bij directe voorspelling verloren ging.
• Visuele Kwaliteit: De methode verminderde de perceptuele afstand (LPIPS) tot de counterfactual grondwaarheid, wat resulteerde in outputs die zowel semantisch correct (bevatten de gebeurtenis) als visueel coherent waren.

Betekenis en Claims
Het artikel beweert niet dat het de counterfactual voorspelling voor alle rijscenario's heeft opgelost of een nieuwe leerarchitectuur heeft geïntroduceerd. De betekenis ligt in:

1. Diagnose: Het leveren van een precieze causale verklaring voor waarom huidige world models falen bij counterfactual taken (het weglaten van abductie/bewijs uit de feitelijke voortzetting).
2. Benchmarking: Het vaststellen van de eerste gecontroleerde benchmark met passende counterfactual grondwaarheden om deze specifieke foutmodus kwantitatief te meten.
3. Constructieve Baseline: Het demonstreren dat een eenvoudige, training-vrije geometrische interventie de "ontbrekende bewijslast" kan herstellen en de counterfactual getrouwheid aanzienlijk kan verbeteren. Dit dient als referentiepunt voor toekomstige methoden, en suggereert dat betere counterfactual voorspelling mogelijk vereist dat geobserveerd bewijs expliciet in het generatieproces wordt geïntegreerd in plaats van enkel te vertrouwen op actie-conditionering.

De auteurs concluderen dat dit werk bedoeld is om de aandacht te vestigen op de kloof tussen directe voorspelling en echte counterfactual redenering, en daarmee de ontwikkeling van methoden te stimuleren die de causale structuur van specifieke rij-episoden respecteren.