💻 computer science

DriveWeaver: Point-Conditioned Video Inpainting for Controllable Vehicle Insertion in Autonomous Driving Simulation

DriveWeaver is een nieuw framework voor autonome rij-simulatie dat gebruikmaakt van op punten geconditioneerde video-inpainting en een globale-naar-lokale hiërarchische strategie om hoogwaardige, temporeel consistente en geometrisch nauwkeurige voertuigplaatsingen met naadloze lichtintegratie te genereren, waardoor schaalbare scène-augmentatie mogelijk wordt zonder afhankelijk te zijn van vooraf gereconstrueerde 3D-assets.

Oorspronkelijke auteurs: Junzhe Jiang, Zipei Ma, Zijie Pan, Li Zhang

Gepubliceerd 2026-07-01

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Junzhe Jiang, Zipei Ma, Zijie Pan, Li Zhang

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een regisseur bent die een film maakt over zelfrijdende auto's. Om de AI van de auto te testen, moet je lastige situaties creëren—zoals een auto die plotseling de weg op zwiept of rijdt in een hevige regenbui. Traditioneel moesten regisseurs dergelijke scènes bouwen met dure, vooraf gemaakte 3D-modellen (zoals digitale LEGO-blokjes). Maar deze modellen zagen er vaak nep uit omdat de belichting niet overeenkwam met de echte achtergrond, en als je een nieuw type auto wilde, moest je eerst een nieuw 3D-model zoeken of bouwen.

DriveWeaver is een nieuwe "digitale toverstaf" die deze problemen oplost. Zo werkt het, onderverdeeld in eenvoudige concepten:

1. De "Geest-schets" (Point-Conditioned Inpainting)

In plaats van de computer te vragen om een auto vanaf nul op te bouwen, gebruikt DriveWeaver een point cloud. Denk aan een point cloud als een "geest-schets" gemaakt van duizenden kleine puntjes die precies laten zien waar een auto is en hoe deze gevormd is, maar zonder kleur of textuur.

De Analogie: Stel je voor dat je een leeg canvas hebt met een gat erin (de lege weg). Je geeft de kunstenaar een transparant vel met een gestippelde omtrek van een auto. De kunstenaar hoeft niet te weten hoe een auto lijkt; de kunstenaar hoeft alleen de puntjes in te vullen met realistische verf, schaduwen en reflecties die passen bij de zonnige of regenachtige dag in de achtergrond.
Het Resultaat: DriveWeaver neemt deze "geest-schetsen" en vult de ontbrekende delen aan met een realistische auto die perfect past bij de belichting en stijl van de scène. Het is alsoals een videobewerker die een auto naadloos in een video kan plakken, waardoor het lijkt alsof de auto er altijd al was.

2. Het "Lange Film"-probleem (Global-to-Local Strategy)

Het maken van een korte videoclip is makkelijk, maar het maken van een lange video waarin de auto een minuut lang rijdt zonder te glitchen, is moeilijk. Oude methoden zouden de auto langzaam van vorm laten veranderen of laten afdrijven van zijn pad, zoals een personage in een videogame dat er vreemd uit gaat zien nadat het te lang heeft gerend.

De Analogie: Stel je voor dat je een lang verhaal schrijft. Als je het zin voor zin schrijft zonder een plan, kan het hoofdpersonage halverwege zijn naam vergeten of van persoonlijkheid veranderen.
De Oplossing: DriveWeaver gebruikt een tweestapsstrategie:
1. Global Anchoring: Eerst schrijft het een ruwe schets van het hele verhaal (het pad van de auto) op een lage snelheid om ervoor te zorgen dat het personage van begin tot eind hetzelfde blijft.
2. Local Interpolation: Daarna vult het de snelle details in tussen die schetspunten.
Het Resultaat: De auto ziet er de hele duur exact hetzelfde uit en volgt het exacte pad, ongeacht hoe lang de video duurt.

3. De "Instant Replay" (3D Gaussian Distillation)

De video die DriveWeaver maakt is prachtig, maar het duurt lang om te genereren (zoals het renderen van een hoogwaardige film). Zelfrijdende auto's moeten dingen echter direct zien, in real-time.

De Analogie: Denk aan DriveWeaver als een meesterkok die een gastronomisch maaltijd (de video) bereidt in een trage keuken. Zodra de maaltijd is bereid, maakt hij een foto van het gerecht en verandert dit in een "kant-en-klare" diepvriesmaaltijd die direct opgewarmd kan worden.
De Oplossing: DriveWeer neemt de hoogwaardige video die het zojuist heeft gemaakt en zet deze om in een 3D Gaussian representatie. Dit is een speciaal, lichtgewicht 3D-formaat dat computers super snel kunnen renderen.
Het Resultaat: Je krijgt de hoogwaardige look van de trage video, maar het draait snel genoeg zodat een zelfrijdende auto het in real-time kan gebruiken voor een simulatie.

Waarom is dit een grote zaak?

Geen "Uncanny Valley" meer: Omdat DriveWeaver de auto direct op de video schildert op basis van de belichting van de omgeving, ziet de auto er niet uit als een plastic speeltje dat erop is geplakt. Het ziet er echt uit.
Eindeloze Variëteit: Je hebt geen bibliotheek van 3D-modellen nodig. Je kunt point cloud-data van elke bron gebruiken (zelfs verschillende datasets) om een auto te genereren. Het is als een universele vertaler voor auto-vormen.
Schaalbaar: Het kan automatisch duizenden van deze "corner cases" (zeldzame, gevaarlijke scenario's) creëren om zelfrijdende auto's te trainen om veiliger te worden, zonder dat mensen handmatig voor elk 3D-model een model hoeven te bouwen.

Kortom, DriveWeaver is een hulpmiddel waarmee ingenieurs auto's in rijvideo's kunnen "tekenen" met behulp van eenvoudige punt-schetsen, waarbij wordt gegarandeerd dat die auto's er echt uitzien, consistent blijven over tijd, en direct gebruikt kunnen worden om te testen hoe goed zelfrijdende auto's omgaan met lastige situaties.

Technische Samenvatting: DriveWeaver

Probleemstelling

Autonome rijsimulatie vereist het invoegen van voertuigen op de voorgrond met vooraf gedefinieerde trajecten om de scènevariëteit te vergroten en corner cases te genereren voor testen. Huidige benaderingen kampen met twee primaire beperkingen:

Inconsistentie in Verlichting en Stijl: Methoden die vertrouwen op vooraf gereconstrueerde 3D-assets (bijv. CAD-modellen of mesh-bibliotheken) hebben vaak moeite om de ingevoegde voorgrond te harmoniseren met de complexe verlichting en stijl van de achtergrond, wat leidt tot een hardnekkige "domain gap".
Schaalbaarheid en Generalisatie: Bestaande pipelines zijn sterk afhankelijk van arbeidsintensieve processen, zoals handmatige pose-kalibratie, heuristische assetselectie en de acquisitie van hoogwaardige 3D-meshes. Deze afhankelijkheid belemmert grootschalige uitrol en beperkt de generalisatie over diverse real-world scenario's.
Temporele Instabiliteit: Hoewel er generatieve benaderingen bestaan, lijden deze vaak aan foutaccumulatie en semantische drift tijdens langdurige generatie, wat de strikte 3D-consistentie die vereist is voor rij-simulatie schendt. Bovendien zijn puur generatieve videomodellen computationeel te kostbaar voor real-time closed-loop simulatie.

Methodologie

DriveWeaver is een nieuw framework ontworpen voor controleerbare voertuiginsertie met behulp van een point-conditioned video inpainting diffusion model. De pipeline bestaat uit vier kerncomponenten:

1. Point-Conditioned Video Inpainting

De kern van DriveWeaver is gebouwd op de Wan2.1 VACE-14B video diffusion backbone, die gebruikmaakt van een flow matching framework.

Input Condities: In plaats van te vertrouwen op 3D-meshes of referentiebeelden, gebruikt het model gerenderde puntenwolkkaarten als pixel-niveau geometrische condities. LiDAR-punten worden geprojecteerd op camerabeelden, gekleurd en gerasterd met een vaste radius om dichte geometrische begeleidingskaarten ( $I_{pc}$ ) en maskers ( $M_{pc}$ ) te creëren.
PointAdapter: Om deze condities te integreren zonder de massieve backbone te hertrainen, is een lichtgewicht PointAdapter geïntroduceerd. Deze adapter bestaat uit een aparte DiT-branch die de geconcateneerde puntenwolkkaarten, achtergrondmaskers en inactieve regio RGB-beelden verwerkt. De output van de adapter wordt geprojecteerd en geïnjecteerd als een residuele modulatie in specifieke lagen van de bevroren Wan-DiT backbone. Dit stelt het model in staat om de generatieve priors van het grootschalige videomodel te benutten terwijl het strikt voldoet aan de geometrische restricties die door de puntenwolken worden geboden.
Inference: Het model maakt gebruik van Classifier-Free Guidance (CFG) om realisme te verbeteren, waarbij de puntenwolkcondities naar nul worden gezet tijdens onvoorwaardelijke sampling-stappen.

2. Global-to-Local Hierarchical Inpainting

Om de uitdaging van langdurige generatie (over honderden frames) aan te pakken zonder temporele drift:

Global Anchoring Stage: Het model verwerkt eerst een temporeel gesubsampleerde, sequentie met een lage framerate in een enkele forward pass. Dit vestigt een consistente globale identiteit, geometrie en belichtingsanker voor het gehele traject.
Local Interpolation Stage: De originele high-frame-rate tijdlijn wordt opgedeeld in segmenten. De ijle anchor frames gegenereerd in de eerste fase dienen als dichte begeleiding om de ijle puntenwolkcondities te vervangen. Het model voert vervolgens conditionele generatie uit om de high-frame-rate lokale segmenten te synthetiseren, wat strikte 3D en temporele consistentie waarborgt.
Trainingsstrategie: Het model wordt getraind in twee complementaire modi: GT-Free (genereren vanuit alleen ijle condities) voor de globale stage, en GT-Aware (gebruikmakend van ground truth frames als supervisie) voor de lokale interpolatie stage.

3. 3D Gaussian Distillation

Om real-time rendering voor simulatie mogelijk te maken, wordt de gegenereerde 2D-video gedistilleerd in een expliciete 3D-representatie:

De hoogwaardige, temporeel consistente video-output wordt verwerkt door OmniRe, een 3D Gaussian Splatting (3DGS) stedelijk reconstructieframework.
De pipeline ontkoppelt de ingevoegde voertuiginstantie expliciet van de achtergrondscène. Dit maakt het mogelijk dat de geëxtraheerde 3D Gaussian assets de complexe verlichting, schaduwen en stilistische eigenschappen bevatten die door het diffusion model zijn gegenereerd.
Deze gedistilleerde 3D-assets kunnen vervolgens worden geïntegreerd in standaard 3DGS rasterisatie-pipelines, waardoor de computationeel dure diffusion model tijdens de simulatiefase wordt omzeild.

4. Implementatiedetails

Datasets: Training maakt gebruik van de Waymo Open Dataset en PandaSet, gecureerd in ongeveer 10.000 samples.
Architectuur: Gebaseerd op Wan2.1 VACE-14B met een 3B parameter PointAdapter die elke 5e block wordt ingevoegd.
Training: De backbone is bevroren; alleen de PointAdapter wordt bijgewerkt. De training draait 20.000 iteraties op 8 NVIDIA H200 GPU's.
Distillatiekosten: Hoewel volledige reconstructie tijd kost, convergeert het optimaliseren van enkel de ingevoegde voorgrondvoertuig tegen een vooraf getraind achtergrond 3DGS-model in ongeveer 10 minuten per instantie.

Belangrijkste Bijdragen

Nieuw Framework: Stelt DriveWeaver voor, een point-conditioned video inpainting diffusion model dat schaalbare en generaliseerbare insertie van voertuigen op de voorgrond bereikt met kosteneffectieve puntenwolkdata in plaats van dure 3D-assets.
Hiërarchische Strategie: Introduceert een global-to-local hiërarchische inpainting strategie die langdurige temporele consistentie garandeert en semantische drift in uitgebreide sequenties voorkomt, een cruciale vereiste voor autonome rij-simulatie.
Real-Time Rendering Pipeline: Demonstreert het vermogen om gegenereerde 2D-video's te distilleren in expliciete 3D Gaussian representaties, wat real-time rendering faciliteert voor downstream modeltraining en evaluatie.
Prestaties: Uitgebreide experimenten op Waymo en PandaSet datasets tonen aan dat DriveWeaver bestaande state-of-the-art methoden overtreft in visueel realisme (FID, FVD, LPIPS) en geometrische consistentie (PSNR, SSIM).

Resultaten

Visueel Realisme: DriveWeaver presteert significant beter dan de baselines (HUGSIM, StreetCrafter, Wan2.1 VACE-14B) op het gebied van visuele realisme-metrieken. Op Waymo bereikt het een FID van 15,50 (Short-term) en 17,50 (Long-term), vergeleken met respectievelijk 49,06 en 56,99 voor HUGSIM.
Geometrische Consistentie: De methode behoudt een hoge geometrische consistentie, wat succesvolle 3D-reconstructie mogelijk maakt. Op Waymo bereikt DriveWeaver een PSNR van 34,69 (Short-term) en 32,23 (Long-term), waarmee het StreetCrafter overtreft dat lijdt onder catastrofale reconstructiefouten door temporele inconsistentie.
Distillatie: De gedistilleerde 3D Gaussian representatie (DriveWeaver-D) vertoont slechts marginale degradatie in visueel realisme vergeleken met de ruwe video-generatie, terwijl het real-time rendering mogelijkheden mogelijk maakt.
Ablatie-studies: Experimenten bevestigen dat het verwijderen van de PointAdapter leidt tot catastrofaal vergeten (FVD verdubbelt), naïeve puntenprojectie resulteert in wazige outputs, en het terugkeren naar autoregressieve generatie zorgt voor significante temporele drift.

Betekenis

Het artikel beweert dat DriveWeaver een robuust hulpmiddel biedt voor schaalbare augmentatie van autonome rij-scenario's. Door arbeidsintensieve 3D-asset pipelines te vervangen door toegankelijke puntenwolkcondities en gebruik te maken van generatieve priors voor naadloze omgevingsharmonie, pakt de methode de kritieke bottleneck aan bij het creëren van diverse, hoogwaardige corner cases. Het vermogen om lange, consistente video's te genereren en deze te distilleren naar real-time renderbare 3D-assets overbrugt de kloof tussen hoogwaardige offline generatie en de vereisten van online, closed-loop autonome rij-simulatie.