DrivingGen: A Comprehensive Benchmark for Generative Video World Models in Autonomous Driving

Dit paper introduceert DrivingGen, het eerste uitgebreide benchmarkkader voor generatieve wereldmodellen in autonoom rijden, dat een diverse dataset en nieuwe meetmaten combineert om de prestaties van bestaande modellen op het gebied van visuele realisme, trajectplausibiliteit, temporele coherentie en controleerbaarheid te evalueren.

De kern

DrivingGen: De "Rijexamen" voor AI die Droomt over de Toekomst

Stel je voor dat je een kunstenaar hebt die zo goed is dat hij niet alleen prachtige schilderijen maakt, maar ook films kan draaien die eruitzien alsof ze echt zijn. Maar nu willen we dat deze kunstenaar iets veel gevaarlijkers doet: autonome auto's leren rijden.

Om dat te doen, laten we de AI een "wereldmodel" bouwen. Dit is een digitale droommachine die kan voorspellen wat er gebeurt als je het stuur naar links draait, of wat er gebeurt als er plotseling een kind het trottoir op rent. De AI moet kunnen "dromen" van de toekomst, zodat ze veilig kan oefenen zonder echt iemand in gevaar te brengen.

Het probleem? Tot nu toe hadden we geen goede manier om te controleren of deze dromen wel echt en veilig waren. Het was alsof je iemand een rijexamen liet afleggen, maar je keek alleen of de auto er mooi uitzag op de foto, en niet of de remmen wel werkten.

Hier komt DrivingGen om de hoek kijken. Dit is een nieuw, supergrondig "rijexamen" voor deze AI-modellen.

1. De Probleemstelling: Waarom de oude tests faalden

Vroeger keken wetenschappers naar de AI-filmpjes en zeiden: "Kijk, die auto's lijken wel echt!" Maar dat was gevaarlijk misleidend.

• De "Magische" Auto: Een AI kon een auto laten rijden die er prachtig uitzag, maar die door de muur vloog of plotseling verdween. In de echte wereld zou dat een crash betekenen, maar in de oude tests werd dat genegeerd.
• De Eenzame Zon: De oude tests deden alsof het altijd zonnig was, overdag, in een rustige stad. Maar wat gebeurt er als het regent, sneeuwt, of 's nachts is? De AI wist dat niet.
• De Vergeten Voetganger: Als een voetganger in de film ineens verdwijnt zonder reden, is dat voor een auto dodelijk. Oude tests zagen dit niet.

2. DrivingGen: Het Nieuwe Rijexamen

DrivingGen is als een strenge, eerlijke rijinstructeur die je op alle mogelijke manieren test. Ze heeft twee belangrijke dingen ontwikkeld:

A. Een Divers "Testcircuit" (De Dataset)

Stel je voor dat je rijles krijgt, maar je mag alleen oefenen op een lege parkeerplaats op een zonnige dag. Dat is niet genoeg. DrivingGen heeft een testcircuit gebouwd dat alles bevat:

• Weer: Van stralende zon tot zware sneeuwstormen, mist en zelfs overstromingen.
• Tijd: Dageraad, volle dag, en diepe nacht.
• Locatie: Van de straten van New York tot de smalle weggetjes in Japan en de drukke verkeersknooppunten in Europa.
• Actie: Auto's die plotseling afslaan, voetgangers die wachten, en dichte files.

Ze hebben 400 van deze "testscenario's" verzameld. Het is als een verzameling van de meest moeilijke situaties die je maar kunt bedenken, zodat je weet of de AI echt klaar is voor de weg.

B. De "Vier-Dimensionale" Scorekaart (De Metrieken)

In plaats van één cijfer te geven, kijkt DrivingGen naar vier verschillende dingen, alsof je een auto test op vier verschillende vlakken:

1. De Uiterlijke Sfeer (Visuele Realisme): Ziet het eruit als een echte film? Zijn de kleuren goed? Maar belangrijker: zijn er geen rare artefacten (zoals trillende lichten) die de camera van de auto zouden kunnen verwarren?
2. De Fysica van de Droom (Traject Plausibiliteit): Dit is het belangrijkste. Als de AI een auto ziet rijden, moet die auto zich gedragen alsof hij zwaar is en wrijving heeft. Hij mag niet door de lucht vliegen of plotseling van richting veranderen alsof hij op ijs rijdt. DrivingGen meet of de bewegingen fysiek mogelijk zijn.
3. De Continuïteit van het Verhaal (Temporele Consistentie): Als een auto in de film voorbijrijdt, moet hij er morgen nog steeds hetzelfde uitzien. Hij mag niet van kleur veranderen of plotseling verdwijnen. DrivingGen controleert of alle personages (auto's, mensen) consequent blijven.
4. De Gehoorzaamheid (Controleerbaarheid): Als je tegen de AI zegt: "Rij naar links", doet hij dat dan? Soms maken AI's mooie films, maar als je ze een route geeft, slaan ze de verkeerde afslag. DrivingGen meet hoe goed de AI luistert naar jouw instructies.

3. Wat hebben ze ontdekt? (De Resultaten)

Toen ze 14 verschillende AI-modellen op dit examen zetten, zagen ze een interessant patroon:

• De "Kunstenaars": Sommige modellen (vaak de grote, bekende video-AI's) maken films die er prachtig uitzien, maar ze breken de wetten van de fysica. Hun auto's rijden alsof ze zweven.
• De "Ingenieurs": Andere modellen (specifiek voor auto's gemaakt) rijden perfect volgens de regels en de fysica, maar hun films zien er soms wat saai of wazig uit.
• De Conclusie: Er is nog geen enkele AI die zowel een Oscar-winnende film maakt als een perfecte, veilige chauffeur is. DrivingGen laat zien waar de gaten zitten.

Waarom is dit belangrijk?

Dit is een stap voorwaarts voor de veiligheid. Door deze strenge tests te hebben, kunnen onderzoekers nu precies zien waar hun AI's falen. Het is alsof je een vliegtuigbouwer een test geeft waarbij je niet alleen kijkt of het vliegtuig mooi is, maar ook of het echt kan vliegen in een storm.

DrivingGen is dus de sleutel om ervoor te zorgen dat de autonome auto's van de toekomst niet alleen slim dromen, maar ook veilig rijden in onze echte, chaotische wereld. Het is de brug tussen "mooie video's maken" en "levens redden".

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het paper "DrivingGen: A Comprehensive Benchmark for Generative Video World Models in Autonomous Driving", vertaald en samengevat in het Nederlands.

Probleemstelling

Generatieve videomodellen, die fungeren als "wereldmodellen", beloven agenten in staat te stellen de toekomst te simuleren door de temporele evolutie van complexe scènes te modelleren. In de autonome driving zijn dit "driving world models" die toekomstige scenario's van het eigen voertuig (ego) en omringende agenten voorspellen. Dit is cruciaal voor schaalbare simulatie, veilig testen van uitzonderlijke situaties (corner cases) en het genereren van synthetische data.

Echter, ondanks de snelle groei in onderzoek, ontbreekt er een rigoureus benchmark om vooruitgang te meten en prioriteiten te stellen. Bestaande evaluaties hebben ernstige tekortkomingen:

1. Onvoldoende veiligheidsfocus: Algemene videometrieken (zoals FVD) negeren veiligheidskritische beeldfactoren (bijv. sensorartefacten, verblinding).
2. Gebrek aan haalbaarheid: De plausibiliteit van trajecten wordt zelden kwantitatief gemeten.
3. Inconsistentie: Temporele consistentie en consistentie op agent-niveau (bijv. plotselinge verdwijningen) worden genegeerd.
4. Beperkte controleerbaarheid: Of gegenereerde bewegingen trouw volgen aan de input-condities (ego-trajecten) wordt vaak genegeerd.
5. Data-tekort: Bestaande datasets (zoals nuScenes) zijn sterk bevooroordeeld naar zonnige, dagelijkse stadsomstandigheden en missen diversiteit in weer, tijdstip en geografie.

Methodologie: DrivingGen Benchmark

DrivingGen is het eerste uitgebreide benchmark voor generatieve driving world models. Het bestaat uit twee hoofdcomponenten: een diverse evaluatiedataset en een nieuwe suite van metrieken.

1. Diverse Evaluatiedataset

De dataset bevat 400 zorgvuldig geselecteerde samples (200 per track) om efficiëntie te balanceren met betekenisvolle evaluatie.

• Open-Domain Track: Beoordeelt generalisatie naar onbekende scenario's. Gebruikt internet-gebaseerde data met diverse weersomstandigheden (regen, sneeuw, mist, overstromingen, zandstormen), tijdstippen (dageraad, dag, nacht) en geografische regio's (Noord-Amerika, Europa, Azië, Afrika, etc.).
• Ego-Conditioned Track: Beoordeelt controleerbaarheid. Hierbij wordt een specifiek ego-traject als input gegeven om te testen of het gegenereerde video dit traject volgt. Data komt uit vijf open-source datasets (Zod, DrivingDojo, COVLA, nuPlan, WOMD) die verschillende rijstijlen en locaties vertegenwoordigen.

2. Evaluatiemetrieken (4 Dimensies)

DrivingGen introduceert een multifaceted metricsuite die zowel een visueel als een robotisch perspectief combineert:

• A. Distributie (Distribution):
  • FVD (Fréchet Video Distance): Meet de visuele realisme van de gegenereerde video's.
  • FTD (Fréchet Trajectory Distance): Een nieuwe metriek die de distributie van gegenereerde trajecten vergelijkt met realiteit, gebruikmakend van een encoder uit het domein van bewegingsvoorspelling (MTR).
• B. Kwaliteit (Quality):
  • Subjectieve Kwaliteit: Gebruikt CLIP-IQA+ voor menselijke perceptie.
  • Objectieve Kwaliteit (Driving-specifiek): Gebruikt MMP (Modulation Mitigation Probability) om PWM-gerelateerde flicker te detecteren, wat cruciaal is voor sensorprestaties.
  • Trajectkwaliteit: Een samengestelde score voor kinematische haalbaarheid (comfort, beweging, kromming) om te voorkomen dat statische of onnatuurlijke bewegingen worden beloond.
• C. Temporele Consistentie (Temporal Consistency):
  • Video Consistentie: Past optische flow toe om consistentie te meten op basis van daadwerkelijke beweging (voorkomt dat statische video's hoge scores krijgen).
  • Agent Consistentie: Controleert of objecten hun uiterlijk behouden (geen kleur/tekstuur-drift).
  • Agent Verdwijning: Gebruikt een Vision-Language Model (VLM) om te beoordelen of verdwijningen van agenten natuurlijk zijn (bijv. door obstructie) of onnatuurlijk (plotseling uit het niets verdwijnen).
  • Traject Consistentie: Meet de stabiliteit van snelheid en versnelling over tijd.
• D. Traject-Alignement (Trajectory Alignment):
  • ADE (Average Displacement Error): Gemiddelde afstand tussen gegenereerd en opgegeven traject.
  • DTW (Dynamic Time Warping): Meet de vorm en contour van het traject, ongeacht tijdsverschillen.

Belangrijkste Resultaten

De auteurs hebben 14 state-of-the-art modellen getest, waaronder gesloten bronmodellen (Gen-3, Kling), open-source generatieve modellen (Wan, CogVideoX), fysieke wereldmodellen (Cosmos) en driving-specifieke modellen (Vista, DrivingDojo).

Kernbevindingen:

1. Trade-off tussen Realisme en Fysica: Er is een duidelijke tegenstelling. Gesloten bronmodellen en algemene generatieve modellen presteren uitstekend op visuele kwaliteit en distributie, maar breken vaak de fysica (onrealistische bewegingen, inconsistentie). Driving-specifieke modellen volgen trajecten beter, maar lijden onder lagere visuele kwaliteit en artefacten.
2. Geen "Perfect" Model: Geen enkel model excelleert momenteel zowel in fotorealisme als in fysiek consistente beweging.
3. Beperkte Controleerbaarheid: Zelfs bij modellen die zijn getraind op trajectcondities, zijn de fouten (ADE/DTW) significant. Dit komt door artefacten in de gegenereerde video's die de SLAM-herconstructie verstoren, en door imperfecte bewegingsgeneratie.
4. Verborgen Fouten: Bestaande benchmarks (die vaak alleen FVD gebruiken) missen kritieke fouten zoals "stop-and-go" trillingen, identiteitsdrift van agenten en onnatuurlijke verdwijningen. DrivingGen blootlegt deze fouten door de combinatie van metrieken.

Bijdragen en Significantie

• Eerste Uitgebreide Benchmark: DrivingGen is de eerste benchmark die specifiek is ontworpen voor generatieve wereldmodellen in de autonome driving, met een focus op zowel visuele als robotische eisen.
• Universeel Evaluatiekader: Het biedt een gestandaardiseerde manier om modellen te vergelijken op realisme, fysieke haalbaarheid, temporele coherentie en controleerbaarheid.
• Open Source: De dataset, evaluatiecode en benchmarks zijn publiek beschikbaar gesteld om reproduceerbaar onderzoek te stimuleren.
• Toekomstgerichte Richting: De resultaten wijzen op de noodzaak van modellen die visuele kwaliteit en fysieke consistentie kunnen combineren. Het benchmark legt de basis voor betrouwbaardere, veilige en schaalbare simulaties voor de ontwikkeling van autonome voertuigen.

Kortom, DrivingGen vult een cruciale leemte in het onderzoeksveld door te laten zien dat "mooie video's" niet genoeg zijn voor autonoom rijden; de onderliggende fysica en controleerbaarheid zijn even belangrijk, en deze aspecten worden nu voor het eerst systematisch gemeten.