💻 computer science

DriveWeaver: Point-Conditioned Video Inpainting for Controllable Vehicle Insertion in Autonomous Driving Simulation

DriveWeaver ist ein neuartiges Framework für die autonome Fahrsimulation, das punktkonditionierte Video-Inpainting und eine globale-zu-lokale hierarchische Strategie nutzt, um hochwertige, zeitlich konsistente und geometrisch akkurate Fahrzeuginsertionen mit nahtloser Lichtintegration zu generieren und dadurch eine skalierbare Szenenaugmentation ohne Abhängigkeit von vorrekonstruierten 3D-Assets zu ermöglichen.

Ursprüngliche Autoren: Junzhe Jiang, Zipei Ma, Zijie Pan, Li Zhang

Veröffentlicht 2026-07-01

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Junzhe Jiang, Zipei Ma, Zijie Pan, Li Zhang

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie sind ein Regisseur, der einen Film über selbstfahrende Autos dreht. Um die KI des Autos zu testen, müssen Sie knifflige Situationen erschaffen – wie etwa ein Auto, das plötzlich auf die Straße ausweicht, oder das Fahren in einem heftigen Regensturm. Traditionell mussten Regisseure solche Szenen mit teuren, vorgefertigten 3D-Modellen (wie digitale LEGO-Steine) erstellen. Aber diese Modelle sahen oft künstlich aus, weil die Beleuchtung nicht zum echten Hintergrund passte, und wenn man eine neue Art von Auto wollte, musste man erst ein neues 3D-Modell suchen oder bauen.

DriveWeaver ist ein neuer „digitaler Zauberstab“, der diese Probleme löst. So funktioniert es, unterteilt in einfache Konzepte:

1. Die „Geister-Skizze“ (Point-Conditioned Inpainting)

Anstatt den Computer zu bitten, ein Auto von Grund auf neu zu bauen, verwendet DriveWeaver eine Punktwolke. Stellen Sie sich eine Punktwolke als eine „Geister-Skizze“ vor, die aus tausenden winzigen Punkten besteht, die genau zeigen, wo ein Auto ist und wie es geformt ist, aber ohne Farbe oder Textur zu besitzen.

Die Analogie: Stellen Sie sich vor, Sie haben eine leere Leinwand mit einer Lücke darin (die leere Straße). Sie überreichen dem Künstler eine transparente Folie, auf der die gestrichelte Außenlinie eines Autos gezeichnet ist. Der Künstler muss nicht wissen, wie ein Auto aussieht; er muss nur die Punkte mit realistischer Farbe, Schatten und Reflexionen füllen, die zum sonnigen oder regnerischen Tag im Hintergrund passen.
Das Ergebnis: DriveWeaver nimmt diese „Geister-Skizzen“ und füllt die fehlenden Teile mit einem realistischen Auto auf, das perfekt zur Beleuchtung und zum Stil der Szene passt. Es ist wie ein Videoeditor, der ein Auto nahtlos in ein Video einfügen kann, sodass es aussieht, als wäre es schon immer dort gewesen.

2. Das „Lange-Film“-Problem (Global-to-Local Strategy)

Es ist einfach, einen kurzen Videoclip zu erstellen, aber es ist schwer, ein langes Video zu erstellen, in dem das Auto eine Minute lang fährt, ohne dass Fehler auftreten. Alte Methoden würden dazu führen, dass das Auto langsam die Form verändert oder von seinem Pfad abdriftet, wie ein Charakter in einem Videospiel, der seltsam aussert aussieht, nachdem er zu lange gelaufen ist.

Die Analogie: Stellen Sie sich vor, Sie schreiben eine lange Geschichte. Wenn Sie sie Satz für Satz schreiben, ohne einen Plan zu haben, könnte der Hauptcharakter halbwegs vergessen, wie er heißt, oder mitten im Buch seine Persönlichkeit ändern.
Die Lösung: DriveWeaver verwendet eine Zweistufen-Strategie:
1. Globale Verankerung (Global Anchoring): Zuerst schreibt es einen groben Entwurf der gesamten Geschichte (den Pfad des Autos) mit geringer Geschwindigkeit, um sicherzustellen, dass die Figur von Anfang bis Ende dieselbe bleibt.
2. Lokale Interpolation (Local Interpolation): Dann füllt es die schnellen Details zwischen diesen Umrisspunkten aus.
Das Ergebnis: Das Auto sieht die gesamte Dauer über exakt gleich aus und folgt dem exakten Pfad, egal wie lang das Video ist.

3. Die „Sofortige Wiedergabe“ (3D Gaussian Distillation)

Das Video, das DriveWeaver erstellt, ist wunderschön, aber die Erstellung dauert lange (wie das Rendern eines hochwertigen Films). Selbstfahrende Autos müssen Dinge jedoch sofort sehen, also in Echtzeit.

Die Analogie: Denken Sie an DriveWeaver als einen Spitzenkoch, der ein Gourmet-Menü (das Video) in einer langsamen Küche zubereitet. Sobald das Menü gekocht ist, macht er ein Foto davon und verwandelt dieses Foto in eine „fertig zu genießende“ Tiefkühlmahlzeit, die sofort aufgewärmt werden kann.
Die Lösung: DriveWeer nimmt das hochwertige Video, das es gerade erstellt hat, und wandelt es in eine 3D-Gaussian-Repräsentation um. Dies ist ein spezielles, leichtgewichtiges 3D-Format, das Computer extrem schnell rendern können.
Das Ergebnis: Sie erhalten das hochwertige Aussehen des langsamen Videos, aber es läuft schnell genug, damit ein selbstfahrendes Auto es in einer Echtzeit-Simulation nutzen kann.

Warum ist das eine große Sache?

Kein „Uncanny Valley“ mehr: Da DriveWeer das Auto direkt basierend auf der Umgebungslicht direkt in das Video malt, sieht das Auto nicht wie ein Plastikspielzeug aus, das oben draufgeklebt wurde. Es sieht echt aus.
Endlose Vielfalt: Sie benötigen keine Bibliothek von 3D-Modellen. Sie können Punktwolken-Daten aus jeder Quelle (sogar von unterschiedlichen Datensätzen) verwenden, um ein Auto zu generieren. Es ist wie ein universeller Übersetzer für Autoformen.
Skalierbar: Es kann automatisch Tausende dieser „Corner Cases“ (seltene, gefährliche Szenarien) erstellen, um selbstfahrende Autos zu trainieren, damit sie schwierige Situationen sicherer bewältigen können, ohne dass Menschen für jedes einzelne Testmodell manuell 3D-Modelle bauen müssen.

Kurz gesagt: DriveWeaver ist ein Werkzeug, mit dem Ingenieure Autos mithilfe einfacher Punkt-Skizzen in Fahrvideos „zeichnen“ können, wobei sichergestellt wird, dass diese Autos echt aussehen, über die Zeit konsistent bleiben und sofort verwendet werden können, um zu testen, wie gut selbstfahrende Autos mit schwierigen Situationen umgehen können.

Technisches Resümee: DriveWeaver

Problemstellung

Die Simulation des autonomen Fahrens erfordert das Einfügen von Vordergrundfahrzeugen mit vordefinierten Trajektorien, um die Szenendiversität zu erhöhen und Corner Cases für Tests zu generieren. Aktuelle Ansätze stehen vor zwei primären Einschränkungen:

Inkonsistenz von Beleuchtung und Stil: Methoden, die auf vorab rekonstruierten 3D-Assets basieren (z. B. CAD-Modelle oder Mesh-Bibliotheken), haben oft Schwierigkeiten, den eingefügten Vordergrund mit der komplexen Beleuchtung und dem Stil des Hintergrunds zu harmonisieren, was zu einer beständigen „Domänenlücke“ führt.
Skalierbarkeit und Generalisierung: Bestehende Pipelines hängen stark von arbeitsintensiven Prozessen ab, wie etwa manueller Pose-Kalibrierung, heuristischer Asset-Auswahl und der Akquisition hochwertiger 3D-Meshes. Diese Abhängigkeit behindert den großflächigen Einsatz und begrenzt die Generalisierung über diverse reale Szenarien hinweg.
Temporale Instabilität: Während einige generative Ansätze existieren, leiden diese oft unter Fehlerakkumulation und semantischem Drift während der langfristigen Generierung, was die für die Fahrsimulation erforderliche strikte 3D-Konsistenz verletzt. Zudem sind rein generative Videomodelle für die Echtzeit-Closed-Loop-Simulation rechentechnisch zu aufwendig.

Methodik

DriveWeaver ist ein neuartiges Framework für die kontrollierbare Fahrzeuginsertion mittels eines punkt-konditionierten Video-Inpainting-Diffusionsmodells. Die Pipeline besteht aus vier Kernkomponenten:

1. Punkt-konditioniertes Video-Inpainting

Das Herzstück von DriveWeaver basiert auf dem Wan2.1 VACE-14B Video-Diffusions-Backbone, welches ein Flow-Matching-Framework nutzt.

Input-Bedingungen: Anstatt sich auf 3D-Meshes oder Referenzbilder zu verlassen, verwendet das Modell gerenderte Punktwolken-Karten als pixelgenaue geometrische Bedingungen. LiDAR-Punkte werden auf Kamerabilder projiziert, farblich kodiert und mit einem festen Radius rasterisiert, um dichte geometrische Leitkarten ( $I_{pc}$ ) und Masken ( $M_{pc}$ ) zu erstellen.
PointAdapter: Um diese Bedingungen ohne Retraining des massiven Backbones zu integrieren, wird ein leichtgewichtiger PointAdapter eingeführt. Dieser Adapter besteht aus einem separaten DiT-Zweig, der die konkatenierten Punktwolken-Karten, Hintergrundmasken und inaktiven RGB-Bildbereiche verarbeitet. Der Output des Adapters wird projiziert und als Residuen-Modulation in spezifische Schichten des eingefrorenen Wan-DiT-Backbones injiziert. Dies ermöglicht es dem Modell, die generativen Priors des großskaligen Videomodells zu nutzen und gleichzeitig strikt den geometrischen Beschränkungen der Punktwolken zu folgen.
Inferenz: Das Modell verwendet Classifier-Free Guidance (CFG), um den Realismus zu erhöhen, indem die Punktwolken-Bedingungen während unkonditionierter Sampling-Schritte auf Null gesetzt werden.

2. Hierarchisches Inpainting von Global zu Lokal

Um die Herausforderung der langfristigen Generierung (über hunderte Frames hinweg) ohne temporalen Drift zu bewältigen:

Global Anchoring Stage: Das Modell verarbeitet zuerst eine zeitlich subsampelte Sequenz mit niedriger Bildrate in einem einzigen Vorwärtsdurchlauf. Dies etabliert eine konsistente globale Identität, Geometrie und Beleuchtungs-Anker für die gesamte Trajektorie.
Local Interpolation Stage: Die ursprüngliche Hochfrequenz-Timeline wird in Segmente unterteilt. Die in der ersten Stufe generierten spärlichen Anker-Frames dienen als dichte Führung, um die spärlichen Punktwolken-Bedingungen zu ersetzen. Das Modell führt dann eine konditionale Generierung durch, um die hochfrequenten lokalen Segmente zu synthetisieren, wodurch eine strikte 3D- und temporale Konsistenz gewährleistet wird.
Trainingsstrategie: Das Modell wird in zwei komplementären Modi trainiert: GT-Free (Generierung aus nur spärlichen Bedingungen) für die globale Stufe und GT-Aware (unter Verwendung von Ground-Truth-Frames als Supervision) für die lokale Interpolationsstufe.

3. 3D-Gaussian-Distillation

Um ein Echtzeit-Rendering für die Simulation zu ermöglichen, wird das generierte 2D-Video in eine explizite 3D-Repräsentation destilliert:

Das hochfrequente, temporal konsistente Video-Output wird durch OmniRe verarbeitet, ein 3D-Gaussian-Splatting (3DGS) Urban-Rekonstruktions-Framework.
Die Pipeline entkoppelt das eingefügte Fahrzeug-Instanz explizit vom Hintergrundszenen-Modell. Dies ermöglicht es den extrahierten 3D-Gaussian-Assets, die komplexe Beleuchtung, Schatten und stilistischen Eigenschaften zu kapseln, die durch das Diffusionsmodell generiert wurden.
Diese destillierten 3D-Assets können dann in Standard-3DGS-Rasterisierungs-Pipelines integriert werden, wodurch das rechenintensive Diffusionsmodell während der Simulationsphase umgangen wird.

4. Implementierungsdetails

Datensätze: Das Training nutzt den Waymo Open Dataset und PandaSet, kuratiert in etwa 10.000 Samples.
Architektur: Basierend auf Wan2.1 VACE-14B mit einem 3B Parameter PointAdapter, der alle 5 Blöcke eingefügt ist.
Training: Das Backbone ist eingefroren; nur der PointAdapter wird aktualisiert. Das Training läuft über 20.000 Iterationen auf 8 NVIDIA H200 GPUs.
Distillationskosten: Während die vollständige Rekonstruktion Zeit benötigt, konvergiert die Optimierung des nur eingefügten Vordergrund-Fahrzeugs gegen ein vortrainiertes Hintergrund-3DGS-Modell in etwa 10 Minuten pro Instanz.

Zentrale Beiträge

Neuartiges Framework: Schlägt DriveWeaver vor, ein punkt-konditioniertes Video-Inpainting-Diffusionsmodell, das eine skalierbare und generalisierbare Insertion von Vordergrundfahrzeugen unter Verwendung kosteneffizienter Punktwolken-Daten statt teurer 3D-Assets erreicht.
Hierarchische Strategie: Führt eine Global-to-Local Hierarchical Inpainting-Strategie ein, die eine langfristige temporale Konsistenz sicherstellt und semantischen Drift in erweiterten Sequenzen verhindert – eine kritische Anforderung für die autonome Fahrsimulation.
Echtzeit-Rendering-Pipeline: Demonstriert die Fähigkeit, generierte 2D-Videos in explizite 3D-Gaussian-Repräsentationen zu destillieren, was ein Echtzeit-Rendering für nachgelagerte Modelltrainings und Evaluationen ermöglicht.
Leistung: Umfangreiche Experimente auf Waymo- und PandaSet-Datensätzen zeigen, dass DriveWeaver bestehende State-of-the-Art-Methoden in Bezug auf visuelle Realität (FID, FVD, LPIPS) und geometrische Konsistenz (PSNR, SSIM) übertrifft.

Ergebnisse

Visueller Realismus: DriveWeaver übertrifft Baselines (HUGSIM, StreetCrafter, Wan2.1 VACE-14B) signifikant bei Metriken des visuellen Realismus. Auf Waymo erreicht es ein FID von 15,50 (Kurzzeit) und 17,50 (Langzeit), verglichen mit 49,06 bzw. 56,99 bei HUGSIM.
Geometrische Konsistenz: Die Methode bewahrt eine hohe geometrische Konsistenz, was eine erfolgreiche 3D-Rekonstruktion ermöglicht. Auf Waymo erreicht DriveWeaver einen PSNR von 34,69 (Kurzzeit) und 32,23 (Langzeit, was StreetCrafter übertrifft, das aufgrund temporaler Inkonsistenz unter katastrophalen Rekonstruktionsfehlern leidet).
Distillation: Die destillierte 3D-Gaussian-Repräsentation (DriveWeaver-D) weist nur eine marginale Verschlechterung des visuellen Realismus im Vergleich zur rohen Videogenerierung auf, ermöglicht aber gleichzeitig Echtzeit-Rendering-Fähigkeiten.
Ablationsstudien: Experimente bestätigen, dass das Entfernen des PointAdapters zu katastrophalem Vergessen führt (FVD verdoppelt sich), naive Punktprojektion zu unscharfen Outputs führt und die Rückkehr zur autoregressiven Generierung signifikanten temporalen Drift verursacht.

Bedeutung

Das Paper behauptet, dass DriveWeaver ein robustes Werkzeug für die skalierbare Augmentierung von autonomen Fahr-Szenen bietet. Durch den Ersatz arbeitsintensiver 3D-Asset-Pipelines durch zugängliche Punktwolken-Bedingungen und die Nutzung generativer Priors für eine nahtlose Umgebungsharmonie adressiert die Methode den kritischen Engpass bei der Erstellung diverser, hochqualitativer Corner Cases. Die Fähigkeit, lange, konsistente Videos zu generieren und diese in Echtzeit renderbare 3D-Assets zu destillieren, schließt die Lücke zwischen hochqualitativer Offline-Generierung und den Anforderungen der Online-Closed-Loop-Simulation des autonomen Fahrens.