ShareVerse: Multi-Agent Consistent Video Generation for Shared World Modeling

Die Arbeit stellt ShareVerse vor, ein Multi-Agenten-Video-Generierungsframework, das durch ein neuartiges CARLA-Datenset, eine räumliche Verkettungsstrategie für Vier-Sicht-Videos und integrierte Cross-Agenten-Aufmerksamkeitsblöcke konsistente gemeinsame Weltmodelle mit multi-agenten Interaktion ermöglicht.

Das Wesentliche

Stell dir vor, du und ein Freund spielt ein Videospiel, aber ihr seid nicht auf demselben Bildschirm. Du siehst die Welt aus deiner Perspektive, er aus seiner. Das Problem bei den meisten aktuellen KI-Systemen ist: Wenn du einen Baum siehst, weiß der Computer deines Freundes nicht unbedingt, dass dieser Baum auch in seiner Welt existiert. Jeder hat seine eigene, getrennte Realität.

Das Papier „ShareVerse" möchte das ändern. Es ist wie ein Zaubertrick, der zwei getrennte Welten zu einer einzigen, gemeinsamen Realität verschmilzt. Hier ist die Erklärung, wie das funktioniert, ganz einfach und mit ein paar bildhaften Vergleichen:

1. Der große Datensatz: Ein riesiges Filmstudio (CARLA)

Um eine KI zu lehren, wie eine gemeinsame Welt funktioniert, braucht man unzählige Beispiele. In der echten Welt zwei Autos zu filmen, die sich perfekt synchron bewegen, wäre extrem teuer und chaotisch.

Die Forscher haben stattdessen ein digitales Filmstudio (eine Simulation namens CARLA) gebaut.

• Das Szenario: Sie haben zwei „KI-Autos" (Agenten) in eine virtuelle Stadt gesetzt.
• Die Kameras: Jedes Auto hat vier Kameras (vorne, hinten, links, rechts), wie ein Panoramafoto.
• Die Aktion: Die Autos fahren durch verschiedene Szenen (Regen, Sonne, Kreuzungen) und interagieren miteinander.
• Das Ergebnis: Sie haben 55.000 Paare von Videosequenzen gesammelt. Es ist wie ein riesiges Drehbuch, in dem genau festgehalten ist, was Auto A sieht, während Auto B genau das Gleiche aus einer anderen Perspektive sieht.

2. Die Technik: Der „Spiegel-Effekt" und das „Telefon-Spiel"

Die KI nutzt ein bestehendes Video-Modell (ein sehr kluger Künstler, der Videos malen kann), aber sie hat zwei neue Werkzeuge bekommen:

A. Der „Riesen-Panoramafoto"-Trick (Räumliche Verkettung)

Stell dir vor, du willst einem Maler beschreiben, wie ein Auto aussieht. Wenn du ihm nur ein Foto von der Front zeigst, weiß er nicht, wie die Rückseite aussieht.

• Die Lösung: ShareVerse nimmt die vier Kameras eines Autos und klebt sie zu einem einzigen, riesigen Panoramabild zusammen.
• Der Vorteil: Die KI sieht sofort das ganze Auto und seine Umgebung auf einmal. Das sorgt dafür, dass die KI nicht vergisst, dass die linke Seite des Autos auch existiert, wenn sie die rechte Seite malt. Es ist wie ein 360-Grad-Spiegel, der die KI daran erinnert, dass die Welt rundum zusammenhängt.

B. Der „Gedankenübertragung"-Modul (Cross-Agent Attention)

Das ist der magischste Teil. Normalerweise malt jede KI nur für sich. ShareVerse fügt eine Art Gedankenübertragung zwischen den beiden Autos ein.

• Wie es funktioniert: Während das erste Auto eine Szene malt, schickt es sofort Informationen an das zweite Auto: „Hey, ich sehe gerade einen roten Bus!"
• Das Ergebnis: Das zweite Auto malt dann auch den roten Bus in seine eigene Szene, genau an der richtigen Stelle und in der richtigen Größe.
• Das Ziel: Wenn sich die Sichtfelder der beiden Autos überschneiden (sie sehen denselben Ort), müssen sie exakt dasselbe sehen. Wenn sie in verschiedene Richtungen schauen, füllt die KI den Rest der Welt logisch auf, basierend auf dem, was sie bereits wissen.

3. Das Ergebnis: Eine Welt, die für alle gleich ist

Am Ende passiert Folgendes:

• Konsistenz: Wenn Auto A einen Baum links sieht, sieht Auto B denselben Baum rechts, wenn es sich dreht. Es gibt keine „Geister-Bäume", die nur für ein Auto existieren.
• Dynamik: Die KI kann nicht nur statische Bilder malen, sondern versteht, wie sich Dinge bewegen. Wenn sich Auto A bewegt, passt sich die Welt für Auto B automatisch an.
• Länge: Sie können ganze Videosequenzen (49 Bilder in Folge) generieren, die sich wie ein echter Film anfühlen, nicht nur wie ein einzelnes Standbild.

Warum ist das wichtig? (Die Analogie zum Teamwork)

Stell dir vor, du und dein Freund bauen ein riesiges Puzzle.

• Ohne ShareVerse: Ihr habt zwei getrennte Puzzle-Kisten. Ihr baut beide ein Schloss, aber bei euch ist das Tor links, bei ihm rechts. Wenn ihr zusammenarbeitet, passt es nicht.
• Mit ShareVerse: Ihr habt eine gemeinsame Kiste. Wenn du ein Puzzleteil legst, weiß dein Freund sofort, wo es hinfällt. Ihr baut nicht zwei verschiedene Schlösser, sondern ein einziges, riesiges Schloss, das für beide gleich aussieht, egal von welcher Seite ihr es betrachtet.

Zusammenfassend: ShareVerse ist der erste Schritt zu einer KI, die eine Welt versteht, in der mehrere Wesen (Roboter, Autos, Spieler) gleichzeitig existieren und interagieren, ohne dass die Realität für jeden von ihnen anders aussieht. Es ist der Grundstein für zukünftige Roboter-Teams oder Multiplayer-Spiele, die sich wie die echte Welt verhalten.

Technische Zusammenfassung

1. Problemstellung

Das Paper adressiert eine signifikante Lücke in der aktuellen Forschung zu Weltmodellen (World Models) und Video-Generierung. Während bestehende Ansätze entweder auf die zeitliche Konsistenz einzelner Ansichten (Single-View) oder auf die Erzeugung kleiner, objektspezifischer Szenen (Multi-View) beschränkt sind, fehlt es an Systemen, die eine einheitliche, geteilte Welt (Shared World) für mehrere interagierende Agenten modellieren können.

Die zentralen Herausforderungen sind:

• Fehlende globale Konsistenz: Es gibt keine Methoden, die sicherstellen, dass Videos, die von verschiedenen Agenten generiert werden, dieselbe physikalische Realität widerspiegeln (z. B. gleiche Objektpositionen in überlappenden Bereichen).
• Mangel an Daten: Es existieren keine großen Datensätze mit synchronisierten, multi-view Video-Daten, die Interaktionen zwischen mehreren Agenten in einer gemeinsamen Umgebung abbilden.
• Geometrische Inkonsistenz: Die Generierung mehrerer Ansichten (z. B. Front, Rear, Left, Right) für einen einzelnen Agenten muss intern geometrisch konsistent sein, während gleichzeitig die Interaktion mit anderen Agenten überlappende Sichtfelder konsistent halten muss.

2. Methodik: ShareVerse

ShareVerse ist ein Video-Generierungsframework, das auf dem großen Video-Modell CogVideoX aufbaut und drei wesentliche Innovationen integriert:

A. Datensatz-Erstellung (Multi-Agent Synchronized Video Dataset)

Da reale Datensätze zu teuer und begrenzt sind, wurde ein neuer Datensatz auf der CARLA-Simulationsplattform (Unreal Engine 4) generiert:

• Aufbau: Zwei Agenten (simulierte Fahrzeuge) sind jeweils mit vier synchronisierten Kameras (vorne, hinten, links, rechts) ausgestattet.
• Interaktion: Es wurden sechs Typen von Interaktions-Trajektorien definiert (z. B. gerades Aufeinandertreffen, Kurvenkreuzung).
• Umfang: Der Datensatz umfasst 55.000 Videopaare mit verschiedenen Wetterbedingungen und Szenen.
• Verarbeitung: Die Kameradaten (Intrinsik/Extrinsik) werden in Raymaps umgewandelt, die dann auf die Dimensionen der Video-Features (Latent Space) heruntergerechnet werden, um sie als Bedingung für das Diffusionsmodell nutzbar zu machen.

B. Architektur und Schlüsselkomponenten

Das Modell nutzt eine Diffusions-Transformer-Architektur (DiT) mit folgenden Erweiterungen:

1. Räumliche Konkatenation (Spatial Concatenation):
   Um die interne geometrische Konsistenz eines einzelnen Agenten zu gewährleisten, werden die vier Ansichten (Front/Rear/Left/Right) eines Agenten räumlich zu einem einzigen Video-Stream konkateniert. Dies ermöglicht dem Modell, den gesamten 360°-Blickwinkel synchron zu generieren.

2. Cross-Agent Attention Blöcke:
   Dies ist das Kernstück für die „geteilte Welt".

   • Die Video-Features beider Agenten werden entlang der Frame-Dimension konkateniert.
   • Cross-Agent Attention-Blöcke werden in das vortrainierte Video-Modell integriert. Diese Blöcke ermöglichen den Austausch von räumlich-zeitlichen Informationen zwischen den Agenten.
   • Funktionsweise: In überlappenden Regionen sorgt dies für absolute Konsistenz (beide Agenten sehen dasselbe Objekt an derselben Stelle). In nicht-überlappenden Regionen ermöglicht es eine plausible Generierung basierend auf historischen Informationen und der Position des anderen Agenten.

3. Raymap-Encoder:
   Die Kameratrajektorien werden als Raymaps kodiert und den Video-Features hinzugefügt, um die Generierung präzise an die Bewegung der Agenten zu koppeln.

C. Trainingsprozess

Das Modell wird auf 49-Frames-Videos (480x720 Auflösung) trainiert. Die Cross-Agent-Attention-Blöcke werden initialisiert mit Gewichten des Basis-Modells, während die Raymap-Encoder und Projektoren mit Null initialisiert werden.

3. Wichtige Beiträge

• Neue Forschungsrichtung: ShareVerse definiert die Aufgabe der Video-Generierung in einer geteilten Welt für Multi-Agenten-Systeme neu.
• Datenpipeline: Erstellung eines großen, synthetischen Datensatzes mit synchronisierten Multi-View-Videos und Interaktions-Trajektorien, der als Grundlage für zukünftige Studien dient.
• Innovative Architektur: Ein Design, das sowohl die interne geometrische Konsistenz (Multi-View eines Agenten) als auch die globale Konsistenz (zwischen mehreren Agenten) garantiert und dynamische Agenten präzise lokalisiert.

4. Ergebnisse

Die Evaluation erfolgte auf einem Validierungsdatensatz mit ungesehenen Szenen:

• Quantitative Ergebnisse:

  • Das Modell erzielt gute Werte bei Bildrekonstruktionsmetriken (PSNR, SSIM, LPIPS).
  • Auf dem VBench-Benchmark zeigt das Modell hohe Scores in Bereichen wie „Subject Consistency" (0.8913) und „Background Consistency" (0.9312), was die globale Stabilität unterstreicht.
  • Hinweis: Der PSNR-Wert ist moderat, da das Modell neue Szeneninformationen generiert, die im ersten Frame noch nicht vorhanden waren (was für eine geteilte Welt notwendig ist).

• Qualitative Ergebnisse:

  • Interne Konsistenz: Die vier Ansichten eines Agenten bleiben geometrisch konsistent.
  • Geteilte Welt: Zwei Agenten generieren konsistente Szenen, auch wenn sie sich aus unterschiedlichen Perspektiven bewegen. Objekte erscheinen in beiden Sichtfeldern korrekt positioniert.
  • Dynamische Wahrnehmung: Das Modell kann die Position des anderen Agenten präzise erfassen und dessen Bewegung in der eigenen Sicht korrekt abbilden (siehe Abbildung 4 im Paper).

• Ablationsstudie:

  • Die Verwendung von Vier-Ansicht-Videos ist entscheidend; Single-View-Training führt zu schlechterem Informationsaustausch.
  • Die Raymap-Verarbeitung der Kameradaten ist überlegen gegenüber der Verwendung roher Werte.
  • Die Cross-Agent Attention ist unverzichtbar für die Interaktionskonsistenz.

5. Bedeutung und Ausblick

ShareVerse stellt einen Meilenstein für die Entwicklung von embodied Multi-Agent-Systemen dar. Es überbrückt die Lücke zwischen isolierter Video-Generierung und der Notwendigkeit einer gemeinsamen, physikalisch konsistenten Welt.

• Anwendungsbereiche: Das Framework ist grundlegend für Multiplayer-Spiele, Roboterschwärme, Drohnenschwärme und Simulationen für autonomes Fahren, wo mehrere Entitäten dieselbe Umgebung wahrnehmen und darauf reagieren müssen.
• Zukunft: Die Autoren sehen Potenzial in der Erweiterung auf komplexere physikalische Interaktionen und die Entwicklung von Echtzeit-Modellen für langfristige Konsistenz.

Zusammenfassend beweist ShareVerse, dass große Video-Modelle durch gezielte Architekturmodifikationen (Cross-Agent Attention) und spezifische Datensätze in der Lage sind, eine geteilte Realität für mehrere autonome Agenten zu simulieren.