💻 computer science

ConsisDrive: Identity-Preserving Driving World Models for Video Generation by Instance Mask

ConsisDrive is een nieuw wereldmodel voor autonoom rijden dat door middel van instance-masker-gebaseerde aandacht en verliesfuncties de visuele consistentie van objecten in gegenereerde video's waarborgt.

Oorspronkelijke auteurs: Zhuoran Yang, Yanyong Zhang

Gepubliceerd 2026-02-11

📖 3 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Zhuoran Yang, Yanyong Zhang

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een filmregisseur bent die een film wil maken over een drukke stad. Je hebt een magische camera die alles kan verzinnen wat je maar wilt: auto's, voetgangers, gebouwen. Maar er is één groot probleem met deze magische camera: hij heeft een heel slecht geheugen.

In de ene scène rijdt er een rode Ferrari voorbij. In de volgende scène, een seconde later, is diezelfde auto opeens een blauwe vrachtwagen geworden. Of de kleur van de auto verandert constant, alsof de auto een onzichtbare kleurstof heeft die steeds wegspoelt. Voor een gewone kijker is dat een grappige fout, maar voor een zelfrijdende auto is dit levensgevaarlijk. Een zelfrijdende auto moet namelijk zeker weten dat die rode auto uit de vorige seconde nog steeds diezelfde rode auto is.

Dit is precies het probleem waar onderzoekers van de University of Science and Technology of China naar hebben gekeken, en zij hebben de oplossing bedacht: ConsisDrive.

Wat is ConsisDrive?

ConsisDrive is een soort "super-geheugen" voor AI-modellen die video's van het verkeer maken. In plaats van alleen maar naar een plaatje te kijken, begrijpt ConsisDrive dat objecten in de wereld een eigen "identiteit" hebben.

Om dit te bereiken, gebruiken ze twee slimme trucjes:

1. De "VIP-Lijst" voor de aandacht (Instance-Masked Attention)

Stel je voor dat je op een druk feestje bent. Normaal gesproken luistert iedereen naar iedereen tegelijk, wat een enorme chaos van stemmen oplevert. De AI raakt daardoor in de war en denkt dat de stem van de ober bij de gasten hoort.

ConsisDrive introduceert een soort VIP-lijst. Als de AI naar een specifieke rode auto kijkt, zegt het systeem: "Hé, focus je alleen op de eigenschappen van déze specifieke auto (rood, sportief, nummerplaat X). Negeer de vrachtwagen ernaast en de boom op de achtergrond." Hierdoor kan de AI de auto van frame naar frame volgen zonder dat de kleur of het type verandert. Het is alsof de AI een onzichtbaar touwtje tussen de auto's in de verschillende beelden spant, zodat ze niet kunnen weglopen of veranderen.

2. De "Zaklamp" tijdens het leren (Instance-Masked Loss)

Wanneer de AI leert hoe de wereld eruitziet, kijkt hij naar een hele video. Maar in een video is de lucht of de weg vaak veel groter dan een klein voetganger op de stoep. De AI is een beetje lui: hij denkt: "Als ik de lucht en de weg perfect nadoet, heb ik al 95% van het werk gedaan!" Daardoor vergeet hij de details van die kleine voetganger, waardoor die in de video opeens een wazige vlek wordt.

ConsisDrive gebruikt een zaklamp. Tijdens het trainen schijnt de AI een felle lichtstraal op de belangrijkste dingen: de auto's, de fietsers en de voetgangers. De achtergrond krijgt minder aandacht, en de belangrijke objecten krijgen alle focus. Hierdoor leert de AI om die kleine details (zoals de kleur van een jas of de vorm van een auto) haarscherp te onthouden.

Waarom is dit belangrijk?

Dit gaat niet alleen over mooie filmpjes maken. Het doel is om betere zelfrijdende auto's te bouwen.

Door met ConsisDrive extreem realistische en constante video's te maken, kunnen we zelfrijdende auto's trainen in een soort "virtuele droomwereld" die bijna niet van echt te onderscheiden is. Omdat de objecten in die droomwereld zich netjes aan hun identiteit houden (de rode auto blijft een rode auto), leert de echte auto in de praktijk veel beter om verkeerssituaties in te schatten en veilig te rijden.

Kortom: ConsisDrive geeft de AI een bril met een perfect geheugen, zodat de virtuele wereld net zo betrouwbaar wordt als de echte wereld.

Technische Samenvatting: ConsisDrive

1. Het Probleem: Identity Drift in Driving World Models

Bij het trainen van autonome voertuigen is hoogwaardige, grootschalige multi-view video-data essentieel. "World models" (generatieve videomodellen) bieden een kosteneffectieve oplossing om deze data te synthetiseren. Echter, huidige modellen lijden aan identity drift: het fenomeen waarbij objecten (zoals auto's of bussen) gedurende de video van uiterlijk of categorie veranderen (bijv. een rode auto die langzaam zwart wordt, of een bus die verandert in een vrachtwagen).

De auteurs identificeren drie hoofdoorzaken voor dit probleem:

Gebrek aan expliciete identiteitscondities: Modellen hebben geen sterke verankering van de specifieke eigenschappen van een object over een lange tijdlijn.
Niet-instantiële Attention-mechanismen: Standaard attention (zoals in Diffusion Transformers) zorgt voor "informatielekkage" tussen verschillende objecten, waardoor kleuren of vormen van het ene object naar het andere kunnen "bloeden".
Supervisie-dilutie: Bij standaard training wordt de fout (loss) gelijkmatig over het hele frame berekend. Omdat de achtergrond (lucht, gebouwen) het grootste deel van de pixels beslaat, krijgen kleine, kritieke objecten op de voorgrond (zoals voetgangers) onvoldoende aandacht tijdens het leerproces.

2. Methodologie: ConsisDrive Framework

ConsisDrive introduceert een framework dat "instantiatie-bewustzijn" (instance awareness) integreert in zowel het aandachtmechanisme als de trainingsdoelstelling. Het model is gebouwd op de architectuur van OpenSora V2.0 en maakt gebruik van een MMDiT-backbone.

De kernoplossingen zijn:

A. Instance-Masked Attention (IMA):
Dit moduleert het aandachtsproces met behulp van twee soorten maskers, afgeleid van 3D bounding boxes:

Instance Identity Mask: Dit zorgt ervoor dat visuele tokens alleen kunnen "kijken" naar de specifieke identiteits-embeddings (categorie, grootte, tracking ID) van het object waar ze bij horen. Dit voorkomt dat een object van categorie verandert.
Instance Trajectory Mask: Dit beperkt de interactie tussen tokens over verschillende frames. Tokens van hetzelfde object kunnen alleen aandacht besteden aan andere tokens van datzelfde object langs zijn traject. Dit voorkomt dat kleuren of texturen tussen verschillende voertuigen uitwisselen.

B. Instance-Masked Loss (IML):
Om het probleem van supervisie-dilutie aan te pakken, introduceert het model een nieuwe trainingsmethode:

Er wordt een binaire maskering toegepast op de loss function, waardoor de focus tijdens de training wordt verlegd naar de voorgrond (de objecten).
Probabilistische Dynamische Maskering: Om te voorkomen dat het model de achtergrond verwaarloost, wordt de maskering stochastisch toegepast. Met een bepaalde waarschijnlijkheid ( $\alpha$ ) wordt de focus op de voorgrond gelegd, en met de rest van de tijd wordt de standaard globale reconstructie-loss gebruikt. Dit behoudt de balans tussen realistische objecten en een natuurlijke achtergrond.

3. Belangrijkste Bijdragen

Nieuw Attention-mechanisme: De introductie van IMA die zowel ruimtelijke als temporele consistentie op objectniveau afdwingt.
Verbeterde Trainingsobjectieven: De introductie van IML die de precisie van kleine en dynamische objecten in de voorgrond verhoogt.
End-to-end Framework: Een efficiënt systeem dat complexe 3D-condities (bounding boxes, road maps) vertaalt naar consistente video-generatie.

4. Resultaten

Het model is uitgebreid getest op de nuScenes dataset en presteert superieur op verschillende vlakken:

Video-kwaliteit: ConsisDrive bereikt State-of-the-Art (SOTA) scores op FID (visual realism) en FVD (temporele getrouwheid), waarbij het de huidige benchmarks overtreft.
Perceptie-taken (Downstream tasks): De gegenereerde video's zijn zo accuraat dat ze gebruikt kunnen worden om andere modellen te trainen. Het trainen van een detectiemodel (StreamPETR) met ConsisDrive-data leidt tot significante verbeteringen in de nuScenes Detection Score (NDS) en mAP.
Tracking (MOT): Door de verbeterde temporele consistentie vertoont het model veel minder "Identity Switches" (IDS) in multi-object tracking taken, wat bewijst dat objecten hun identiteit over de tijd behouden.

5. Betekenis en Impact

ConsisDrive is een belangrijke stap voor de ontwikkeling van autonome voertuigen. Het bewijst dat synthetische data, mits gegenereerd met strikte instantiatie-controles, een betrouwbaar en hoogwaardig alternatief kan zijn voor dure, handmatig gelabelde real-world data. Het lost een fundamenteel probleem op in de generatieve AI voor robotica: het behouden van de fysieke en semantische integriteit van objecten in een dynamische omgeving.