HorizonForge: Driving Scene Editing with Any Trajectories and Any Vehicles

HorizonForge ist ein einheitliches Framework, das fotorealistische und präzise steuerbare Szenen für das autonome Fahren durch die Kombination von bearbeitbaren Gaussian Splats und Meshes mit einem rauschbewussten Video-Diffusionsprozess ermöglicht und dabei sowohl beliebige Trajektorien als auch Fahrzeuge integriert.

Das Wesentliche

🚗 HorizonForge: Der „Magische Bildbearbeiter" für Autonomes Fahren

Stell dir vor, du hast ein Video von einer Autofahrt. Normalerweise ist das wie ein fertiger Film: Was passiert ist, ist passiert. Du kannst den Film nicht einfach umschneiden, ohne dass es hässlich aussieht oder die Autos durch die Wand fahren.

HorizonForge ist wie ein super-intelligenter Filmregisseur und ein digitaler Handwerker in einem. Es nimmt dieses fertige Video, versteht die 3D-Welt darin und erlaubt dir, alles zu ändern – ohne dass der Film kaputtgeht.

Hier ist, wie es funktioniert, aufgeteilt in drei einfache Schritte:

1. Der „Kleber", der alles zusammenhält (3D-Modelle)

Früher haben Computer versucht, Videos einfach Pixel für Pixel zu bearbeiten. Das war wie ein Kind, das versucht, ein Mosaik neu zu legen, indem es Steine einfach verschiebt – das Ergebnis war oft unscharf oder verzerrt.

HorizonForge macht etwas Cleveres: Es baut aus dem Video erst eine 3D-Welt nach.

• Die Analogie: Stell dir vor, das Video ist ein riesiges, komplexes Puzzle. HorizonForge nimmt dieses Puzzle auseinander und baut daraus ein plastisches Modell (wie eine Spielzeugstadt aus Lego und Glasperlen).
• Der Trick: Es nutzt zwei Dinge:
  1. Glasperlen (Gaussian Splats): Das sind winzige, glänzende Punkte, die das Aussehen (Farben, Licht, Reflexionen) perfekt einfangen.
  2. Lego-Steine (Meshes): Das sind die festen Formen der Autos und Gebäude.

Dadurch hat der Computer eine echte, greifbare 3D-Version der Szene, die er bewegen kann, ohne dass das Bild zerfällt.

2. Der „Zauberstab" für neue Autos (Beliebige Trajektorien & Fahrzeuge)

Jetzt kommt der spannende Teil: Du kannst dem System sagen: „Hey, lass das rote Auto schneller fahren!" oder „Füge einen grauen Lieferwagen an dieser Stelle hinzu!" oder „Lass das Ego-Auto (das eigene Auto) links abbiegen."

• Die Analogie: Stell dir vor, du hast eine Puppe in einer Spielwelt. Du kannst sie einfach nehmen und woanders hinstellen. Aber normalerweise sieht das dann aus wie ein Kleber-Fleck.
• Die Lösung von HorizonForge: Da das System die Welt als 3D-Modell kennt, kann es das Auto einfach an die neue Position schieben. Wenn du sagst „Füge ein graues Auto hinzu", sucht das System nach einem passenden 3D-Modell (oder baut eines aus Text-Beschreibungen) und setzt es genau dort ein, wo es physikalisch Sinn ergibt. Es ist, als würdest du ein neues Auto in dein Spielzeug-Set stellen, und es sieht sofort so aus, als wäre es schon immer da gewesen.

3. Der „Film-Editor", der alles glättet (Video-Diffusion)

Wenn man ein 3D-Modell einfach nur neu rendert (also in ein 2D-Bild umwandelt), sieht es oft etwas „künstlich" oder flackert.

Hier kommt der letzte Schritt ins Spiel: Ein KI-Modell, das wie ein extrem talentierter Film-Editor arbeitet.

• Die Analogie: Stell dir vor, du hast ein rohes, etwas körniges Video. Dieser Editor nimmt es und poliert es auf, bis es aussieht wie ein Hollywood-Film. Er sorgt dafür, dass die Schatten stimmen, dass das Licht auf dem neuen Auto glänzt und dass sich alles flüssig bewegt, ohne zu flackern.
• Der Clou: Er lernt aus vielen Videos, wie sich Dinge in der echten Welt bewegen. Deshalb sieht das Ergebnis nicht wie ein Video-Game aus, sondern wie echtes Leben.

Warum ist das so wichtig? (Der „Warum"-Teil)

Autonome Autos müssen trainieren, um sicher zu sein. Aber im echten Leben passieren gefährliche Dinge (wie ein Auto, das plötzlich die Spur wechselt) nur sehr selten. Man kann nicht einfach warten, bis das passiert, um es zu üben.

• Das Problem: Frühere Methoden konnten entweder keine neuen Autos hinzufügen oder die Ergebnisse sahen nicht echt genug aus.
• Die Lösung mit HorizonForge: Forscher können jetzt beliebige Szenarien erstellen. „Was passiert, wenn hier ein LKW die Sicht versperrt?" oder „Was, wenn das eigene Auto bei Regen rutscht?" Sie können diese Szenen in Sekunden aus echten Videos generieren.

Das Ergebnis: Ein neuer Standard

Das Team hat einen neuen Test namens HorizonSuite erstellt, um zu prüfen, wie gut verschiedene Methoden funktionieren.

• Das Ergebnis: HorizonForge war deutlich besser als alle anderen. Die Menschen, die die Videos gesehen haben, haben es fast immer (zu 91 %) als das beste und realistischste ausgewählt.
• Der Vergleich: Es ist wie der Unterschied zwischen einem groben Skizzenblock und einem fertigen Ölgemälde.

Zusammenfassung in einem Satz

HorizonForge ist wie ein magischer Werkzeugkasten, der echte Autofahrvideos in eine bearbeitbare 3D-Welt verwandelt, damit man dort beliebige Autos hinzufügen oder bewegen kann, und dann alles wieder in einen perfekten, realistischen Film zurückverwandelt – alles, um autonome Autos sicherer zu machen.

Technische Zusammenfassung

1. Problemstellung

Die Evaluierung von autonomen Fahrsystemen erfordert realistische Simulationen von seltenen, aber sicherheitskritischen Szenarien (Long-Tail-Events), die in realen Fahrdaten schwer zu erfassen sind. Bestehende Ansätze zur Generierung und Bearbeitung von Fahrszenen stehen vor einem fundamentalen Dilemma:

• Rekonstruktionsbasierte Methoden bieten zwar geometrische Genauigkeit, generalisieren aber schlecht auf neue Bereiche oder Trajektorien und ermöglichen keine einfache Hinzufügung neuer Objekte.
• Generative Methoden (z. B. auf Diffusionsmodellen basierend) können neue Inhalte erzeugen, leiden jedoch oft unter inkonsistenter Szenestruktur, fehlender physikalischer Plausibilität und mangelnder zeitlicher Kohärenz.
• Hybride Ansätze versuchen dies zu vereinen, sind jedoch oft komplex, erfordern eine teure Optimierung pro Trajektorie und skalieren schlecht.

Das Ziel ist es, ein Framework zu schaffen, das photorealistische, physikalisch konsistente und präzise kontrollierbare Fahrszenen ermöglicht, bei denen sowohl die Trajektorien aller Fahrzeuge als auch das Hinzufügen beliebiger neuer Fahrzeuge (via Text) möglich sind, ohne pro Szenario neu optimieren zu müssen.

2. Methodik: HorizonForge

HorizonForge ist ein einheitliches Framework, das die Vorteile von 3D-Rekonstruktion und generativer Videodiffusion kombiniert. Der Prozess läuft in zwei Hauptphasen ab:

A. Harvesting von 3D-Assets (3D Assets Harvesting)

Das System wandelt Eingabe-Videos in bearbeitbare 3D-Repräsentationen um:

1. Gaussian Splatting (3DGS): Zur Wiedergabe der bestehenden Szene werden hochwertige 3D-Gaussian-Splat-Repräsentationen extrahiert (basierend auf OmniRe). Diese bieten im Vergleich zu LiDAR-Punktwolken oder 3D-Bounding-Boxen deutlich reichhaltigere visuelle Details und ermöglichen eine flexible Manipulation im 3D-Raum.
2. Mesh-Erstellung: Um neue Fahrzeuge einzufügen, werden 3D-Meshes extrahiert oder generiert.
   • Harvesting: Aus dem Waymo-Dataset werden Meshes basierend auf Ground-Truth-Bounding-Boxen und LiDAR-Punkten extrahiert, mit SAM segmentiert, mittels Pix2Gestalt für Okklusionen repariert (Amodal Inpainting) und durch Hunyuan3D in Meshes umgewandelt.
   • Alignment: Die generierten Meshes werden mittels eines GPT-basierten Reasoning-Moduls und einer Optimierung (basierend auf Tiefe und IoU) an die physikalischen Abmessungen und die Ausrichtung der realen Szene angepasst.
   • Inference-Time Insertion: Neue Fahrzeuge können über Textprompts generiert werden (Hunyuan3D), wobei ein Vision-Language-Modell die korrekte Rotation und Skalierung bestimmt, um Kollisionen zu vermeiden.

B. Video Rendering (Video Rendering)

Nachdem die 3D-Assets entsprechend den Ziel-Trajektorien neu positioniert wurden, werden sie in 2D-Videos gerendert. Da reine 3D-Rendern oft Artefakte aufweisen, wird ein Video-Diffusionsmodell (VDM) eingesetzt, um diese zu korrigieren:

• Trainingsdaten-Paare: Es werden Paare aus „rauen" 3D-Rendern (mit Artefakten) und den korrespondierenden „sauberen" Originalvideos (oder synthetischen Paaren) erstellt.
• Diffusionsziel: Ein auf CogVideoX basierendes Diffusionsmodell lernt, die imperfekten 3D-Rendern in photorealistische, zeitlich konsistente Videos zu überführen.
• Vorteil: Im Gegensatz zu Bild-Diffusionsmodellen nutzt das VDM zeitliche Priors, was zu stabileren Bewegungen und weniger Flackern führt.

3. Schlüsselbeiträge

1. Einheitliches Framework (HorizonForge): Ein einfacher, aber leistungsfähiger Ansatz, der 3D-Gaussian-Splats und Meshes mit einem Video-Diffusionsmodell kombiniert, um sowohl 3D-Bearbeitung als auch textgesteuerte Objekteinfügung zu ermöglichen.
2. Pipeline für Mesh-Ernte und -Einfügung: Ein Verfahren, das es erlaubt, beliebige Fahrzeuge nur mittels Textprompts in eine Szene zu integrieren, während die geometrische Konsistenz gewahrt bleibt.
3. Benchmark (HorizonSuite): Ein umfassender Benchmark für die kontrollierte Fahrsimulation, der Aufgaben auf Ebene des Ego-Fahrzeugs (Spurwechsel, Richtungsänderung) und anderer Agenten (Beschleunigung, Einfügen, Entfernen) abdeckt.
4. Design-Erkenntnisse:
   • 3D-Repräsentation ist entscheidend: Gaussian Splats liefern deutlich bessere Ergebnisse als Punktwolken oder Bounding-Boxen aufgrund ihrer reichhaltigeren visuellen Informationen.
   • Zeitliche Priors sind essenziell: Video-Diffusionsmodelle übertreffen Bild-Diffusionsmodelle deutlich in der zeitlichen Kohärenz und Stabilität.

4. Ergebnisse

Die Evaluation erfolgte auf dem HorizonSuite-Benchmark im Vergleich zu State-of-the-Art-Methoden wie StreetCrafter, Difix3D und OmniRe.

• Quantitative Metriken: HorizonForge erzielt in allen Kategorien (FID, FVD, Vehicle Identity Matching Score, Background Alignment Score) die besten Ergebnisse.
  • Verbesserung gegenüber der zweitbesten Methode: +25,19% FID-Verbesserung.
  • Bei der Einfügung/Entfernung von Objekten (OSR - Operation Success Rate) erreicht das System einen Score von 7,00 (vs. 6,89 bei Difix3D).
• Benutzerstudie: In einer Studie mit 501 Vergleichen bevorzugten Nutzer die Ergebnisse von HorizonForge in 91,02% der Fälle (vs. 7,78% für OmniRe). Die Nutzer bewerteten die Outputs als realistischer, visuell stabiler und physikalisch konsistenter.
• Downstream-Aufgaben: Die mit HorizonForge generierten Daten verbesserten die Leistung eines 3D-Objektdetektors (BEVFormer) auf dem Waymo-Dataset signifikant (z. B. +10,9% AP@0.3 bei Einfügungsszenarien), was die Nützlichkeit für das Training autonomer Systeme unterstreicht.

5. Bedeutung und Fazit

HorizonForge stellt einen Paradigmenwechsel in der Simulation autonomer Fahrzeuge dar. Es überwindet die Grenzen zwischen reiner Rekonstruktion und generativer KI, indem es eine physikalisch fundierte, aber dennoch flexible Bearbeitung von Fahrszenen ermöglicht.

Die Arbeit zeigt, dass die Kombination aus expliziten 3D-Repräsentationen (Gaussian Splats/Meshes) für die Struktur und zeitlichen Diffusionsmodellen für die Textur und Konsistenz einen optimalen Weg für die Erzeugung von Trainingsdaten für seltene und kritische Fahrszenen bietet. Dies ermöglicht die Skalierung von Sicherheitsbewertungen ohne die hohen Kosten realer Datenerfassung.