Synthetic Visual Genome 2: Extracting Large-scale Spatio-Temporal Scene Graphs from Videos

Die Arbeit stellt Synthetic Visual Genome 2 (SVG2), einen umfassenden, automatisiert generierten Datensatz für räumlich-zeitliche Szenengraphen in Videos, sowie das darauf aufbauende Modell TRaSER vor, das durch neuartige Resampling-Mechanismen die Erkennung von Objekten, Attributen und Relationen signifikant verbessert und als intermediäre Repräsentation die Leistung von Video-Frage-Antwort-Systemen steigert.

Das Wesentliche

Synthetic Visual Genome 2 (SVG2): Wie man einem Computer beibringt, Videos wie ein Mensch zu verstehen

Stellen Sie sich vor, Sie schauen sich einen Film an. Was sehen Sie? Nicht nur eine Ansammlung von Pixeln, die sich bewegen. Ihr Gehirn erfasst sofort: „Da ist ein junger Mann (Objekt), der einen roten Helm (Attribut) trägt und auf einem Fahrrad (Objekt) fährt (Beziehung), während er einem Hund ausweicht (Beziehung/Zeit)."

Bisher konnten Computer diese Art von „Verstehen" nur sehr schlecht. Sie sahen oft nur einzelne Bilder oder verstanden nicht, wie sich Dinge über die Zeit hinweg verändern. Das Paper „Synthetic Visual Genome 2" (SVG2) ändert das. Es ist wie ein riesiges, neuartiges Lehrbuch für Computer, das ihnen beibringt, Videos nicht nur zu sehen, sondern zu verstehen.

Hier ist die einfache Erklärung, wie das funktioniert:

1. Das Problem: Zu teuer, zu langsam

Um einem Computer beizubringen, was in einem Video passiert, müssten Menschen normalerweise jede Sekunde jedes Videos manuell beschreiben: „Hier ist eine Katze, die springt, dort ist ein Hund, der bellt."
Das ist wie der Versuch, den Ozean mit einem Löffel auszuschöpfen. Es ist zu teuer, zu langsam und führt zu vielen Fehlern. Bisherige Datenbanken waren daher winzig und unvollständig.

2. Die Lösung: Ein vollautomatischer „Roboter-Detektiv"

Die Forscher haben eine Maschine gebaut, die diesen Job allein erledigt. Sie nennen es SVG2.
Stellen Sie sich diesen Prozess wie eine hochmoderne Fabrik vor:

• Phase 1: Der unsichtbare Kameramann (Tracking): Ein KI-Modell (SAM2) schaut sich das Video an und zeichnet unsichtbare Umrisse um jedes Objekt. Es verfolgt diese Objekte von Anfang bis Ende, auch wenn sie sich hinter einem Baum verstecken oder neu ins Bild kommen. Es ist wie ein unsichtbarer Kleber, der jedes Objekt festhält, egal wie wild es sich bewegt.
• Phase 2: Der Beschreiber (Beschreibung): Ein anderer KI-Teil (DAM) schaut sich diese Umrisse genau an und schreibt eine Beschreibung: „Das ist ein alter, roter Feuerlöscher."
• Phase 3: Der Regisseur (Beziehungen): Ein riesiges Sprachmodell (GPT-5) schaut sich das Ganze an und fragt sich: „Was passiert hier?" Es erkennt nicht nur, dass die Katze neben dem Hund ist, sondern dass sie auf ihn zurennen oder ihn jagen will.

Das Ergebnis ist SVG2: Eine riesige Bibliothek mit über 636.000 Videos, in denen jedes Objekt, jedes Attribut (Farbe, Größe) und jede Beziehung (wer macht was mit wem) automatisch und präzise beschrieben ist. Es ist 10-mal größer als alles, was es vorher gab.

3. Der neue Held: TraSeR (Der Übersetzer)

Nur weil wir die Daten haben, heißt das noch nicht, dass jeder Computer sie nutzen kann. Die Forscher haben daher ein neues Modell namens TraSeR entwickelt.

Stellen Sie sich TraSeR wie einen genialen Dolmetscher vor, der zwei Sprachen fließend spricht:

1. Die Sprache der Bilder (Pixel, Bewegung).
2. Die Sprache der Logik (Wer ist wer? Was passiert wann?).

Wie funktioniert TraSeR?
Normalerweise schauen Computer auf ein Video wie auf einen riesigen, chaotischen Haufen von Bildern. TraSeR macht etwas Cleveres:

• Der „Objekt-Sammler": Er fasst alle Bilder eines einzelnen Objekts (z. B. eines Fahrrads) über die ganze Zeit zusammen. So weiß er: „Das ist dieses Fahrrad, das durch das ganze Video fährt."
• Der „Zeit-Fenster-Sammler": Er schaut sich kurze Zeitabschnitte an, um zu sehen, wie sich Dinge gerade jetzt bewegen.

Durch diese Kombination kann TraSeR aus einem rohen Video in einem einzigen Schritt einen perfekten „Schauspielplan" (einen sogenannten Szenengraphen) erstellen. Er sagt dem Computer nicht nur, was zu sehen ist, sondern wie alles zusammenhängt.

4. Warum ist das so wichtig? (Der Test)

Um zu beweisen, dass das funktioniert, haben die Forscher TraSeR auf eine harte Prüfung geschickt: Video-Frage-Antwort-Spiele.

• Frage: „Was passiert mit dem Mann, nachdem er die Treppe runtergefallen ist?"
• Ohne TraSeR: Der Computer schaut nur auf das Video und rät oft falsch, weil er den Kontext verpasst.
• Mit TraSeR: Der Computer nutzt den erstellten „Schauspielplan". Er weiß genau: „Der Mann fiel, stand auf, und ging dann weiter." Die Antworten waren deutlich besser.

Zusammenfassung in einer Metapher

Stellen Sie sich vor, Sie geben einem Kind ein Video von einem Fußballspiel.

• Der alte Computer sagt: „Ich sehe viele grüne Flecken und kleine schwarze-weiße Flecken, die sich bewegen."
• Der neue SVG2/TraSeR-Computer sagt: „Ich sehe Lionel Messi (Objekt), der schnell (Attribut) läuft (Beziehung), den Ball (Objekt) tritt (Beziehung), während der Torwart (Objekt) versucht, ihn zu stoppen (Beziehung)."

Das Fazit:
Mit SVG2 haben die Forscher den Computer mit dem größten Trainingsbuch der Welt ausgestattet. Mit TraSeR haben sie ihm die Fähigkeit gegeben, dieses Buch zu lesen und die Handlung zu verstehen. Das ist ein riesiger Schritt hin zu Computern, die Videos wirklich verstehen, was für Roboter, medizinische Diagnosen oder einfach nur für bessere Suchmaschinen in Videos essenziell ist.

Technische Zusammenfassung

1. Problemstellung

Die Erfassung von Spatio-Temporalen Szenengraphen (Video Scene Graphs) ist ein zentrales Ziel für das Verständnis von Videos, da sie strukturierte Informationen über Objekte, deren Attribute und deren zeitlich-räumliche Beziehungen liefern. Bisherige Ansätze stoßen jedoch auf erhebliche Hindernisse:

• Mangel an Daten: Hochwertige, dichte und zeitlich konsistente Annotationen für Videos sind aufgrund manueller Aufwand extrem teuer und selten. Bestehende Datensätze sind oft klein, unvollständig (fehlende neue Objekte) oder leiden unter langen „Long-Tail"-Verzerrungen und inkonsistenten Annotationen.
• Modellgrenzen: Modelle, die auf diesen begrenzten Daten trainiert werden, überanpassen sich oft an spezifische Datensatzverteilungen und generalisieren schlecht auf neue Objekte, Attribute oder Beziehungen.
• Technische Herausforderungen: Die Generierung von Szenengraphen aus Rohvideos erfordert die gleichzeitige Erfassung globaler Objektstabilität und lokaler, sich schnell ändernder Attribute/Beziehungen. Zudem führen lange Videos mit vielen Objekten zu kombinatorisch explodierenden Token-Sequenzen, die für herkömmliche Vision-Language-Modelle (VLMs) rechnerisch nicht handhabbar sind.

2. Methodik

Das Papier stellt zwei Hauptkomponenten vor: den Synthetic Visual Genome 2 (SVG2) Datensatz und das TraSeR-Modell.

A. Synthetic Visual Genome 2 (SVG2) – Der Datensatz

SVG2 ist ein groß angelegter, synthetischer Panoptik-Video-Szenengraph-Datensatz, der vollständig automatisiert erstellt wurde.

• Skala: Über 636.000 Videos mit 6,6 Millionen Objekten, 52 Millionen Attributen und 6,7 Millionen Beziehungen. Dies stellt eine Größenordnung mehr an Vielfalt und Dichte dar als vorherige Datensätze.
• Automatisierte Pipeline: Die Erstellung erfolgt in drei Phasen:
  1. Panoptische Trajektorien-Generierung: Nutzung von SAM2 (Segment Anything Model 2) mit einem hybriden Online-Offline-Tracking-Mechanismus. Der Online-Teil erkennt neue Objekte dynamisch, während der Offline-Teil die Identität konsistent über den gesamten Videoverlauf sicherstellt.
  2. Objektbeschreibung & Parsing: Nutzung von Describe Anything (DAM) zur Generierung detaillierter Textbeschreibungen pro Objekt-Trajektorie, gefolgt von strukturiertem Parsing mit GPT-4.1-nano zur Extraktion von Namen und Attributen.
  3. Beziehungsextraktion: Nutzung von GPT-5 zur Inferenz von räumlichen und nicht-räumlichen (temporalen, funktionalen, sozialen) Beziehungen zwischen Objekten. Die Extraktion erfolgt in zwei getrennten Durchläufen (räumlich vs. nicht-räumlich), um Bias zu minimieren.
• Qualitätssicherung: Eine menschliche Verifikation bestätigte eine hohe Genauigkeit (Objekte: 93,8 %, Attribute: 88,3 %, Beziehungen: 85,4 %).

B. TraSeR – Das Modell

TraSeR ist ein Video-Szenengraph-Generierungsmodell, das VLMs (hier basierend auf Qwen2.5-VL) erweitert, um Rohvideos und Panoptik-Trajektorien in einem einzigen Vorwärtsschritt in strukturierte Graphen umzuwandeln.

• Trajektorien-Alignierte Token-Anordnung: Anstatt Video-Patches willkürlich zu behandeln, werden visuelle Tokens direkt Objekten und deren Trajektorien zugeordnet. Dies erhält die Identität der Objekte über die Zeit hinweg.
• Dual-Resampler-Modul: Um die kombinatorische Komplexität zu bewältigen, werden zwei Resampler eingesetzt:
  1. Object-Trajectory Resampler: Aggregiert Tokens über die gesamte Trajektorie eines Objekts, um den globalen Kontext und die semantische Stabilität des Objekts zu erfassen.
  2. Temporal-Window Resampler: Gruppiert Tokens in kurze zeitliche Fenster, um lokale Bewegungen und sich ändernde Attribute/Beziehungen zu erhalten.
• Training: Das Modell wird auf einer Mischung aus SVG2 (synthetisch) und bestehenden menschlich annotierten Benchmarks (z. B. VidOR, PVSG) trainiert, wobei die ViT-Rückgrat-Struktur eingefroren bleibt, um Vorwissen zu nutzen.

3. Schlüsselbeiträge

1. SVG2 Datensatz: Bereitstellung des bisher größten und vielfältigsten Datensatzes für Video-Szenengraphen mit dichten, panoptischen und zeitlich verankerten Annotationen.
2. Automatisierte Synthese-Pipeline: Ein robuster, vollständig automatisierter Workflow, der SAM2, DAM und GPT-5 kombiniert, um hochwertige Trainingsdaten ohne manuelle Annotation zu skalieren.
3. TraSeR Architektur: Ein neuartiges VLM-Design mit Trajektorien-Alignierung und dualen Resamplern, das die Lücke zwischen visueller Wahrnehmung und strukturiertem logischem Schlussfolgern in Videos schließt.
4. Open-Vocabulary-Evaluation: Einführung einer Evaluierungsmethode, die über geschlossene Vokabulare hinausgeht und semantische Ähnlichkeit (mittels LLM-Judge) nutzt, um die Leistung bei neuen Objekten und Attributen fair zu messen.

4. Ergebnisse

TraSeR wurde auf mehreren Benchmarks (PVSG, VidOR, VIPSeg, SVG2test) evaluiert und übertrifft sowohl Open-Source-Baselines als auch proprietäre Modelle (inklusive GPT-5):

• Verbesserungen:
  • Beziehungserkennung: +15–20 % gegenüber starken Open-Source-Baselines.
  • Objektvorhersage: +30–40 % gegenüber Open-Source-Baselines und +13 % gegenüber GPT-5.
  • Attributvorhersage: +15 % Verbesserung.
• Video-Fragebeantwortung (VideoQA): Wenn die von TraSeR generierten Szenengraphen als Zwischenschritt in ein VLM (GPT-4.1) für VideoQA eingespeist werden, steigt die Genauigkeit um 1,5–4,6 % im Vergleich zur Verwendung von reinem Video oder Graphen von schwächeren Modellen (Qwen2.5-VL). Dies beweist, dass explizite räumlich-zeitliche Graphen eine nützliche Zwischenrepräsentation sind.
• Robustheit: Das Modell bleibt auch bei Verwendung von vorhergesagten (und damit verrauschten) Segmentierungsmasken statt Ground-Truth-Trajektorien robust und übertrifft weiterhin State-of-the-Art-Modelle.

5. Bedeutung und Ausblick

Die Arbeit demonstriert, dass die Kombination aus synthetischen Daten in großem Maßstab und spezialisierten Architekturen (TraSeR) die Grenzen des aktuellen Video-Verständnisses verschiebt.

• Skalierbarkeit: Sie zeigt, dass manuelle Annotationen durch hochwertige, automatisierte Pipelines ersetzt werden können, um die Datenmenge um Größenordnungen zu erhöhen.
• Strukturiertes Denken: Die Ergebnisse unterstreichen, dass explizite Szenengraphen als Zwischenrepräsentation für komplexe Videoaufgaben (wie VideoQA) effektiver sind als reine End-to-End-Vorhersagen.
• Zukunft: Die Autoren sehen Potenzial darin, diese strukturierten Daten direkt in die Trainingspipeline allgemeiner VLMs zu integrieren, um deren Fähigkeit zum räumlich-zeitlichen und kompositorischen Schlussfolgern weiter zu verbessern.

Zusammenfassend bietet SVG2 und TraSeR einen neuen Standard für das Training und die Evaluierung von Modellen, die Videos nicht nur sehen, sondern deren dynamische Struktur verstehen müssen.