StoryMovie: A Dataset for Semantic Alignment of Visual Stories with Movie Scripts and Subtitles

Die Arbeit stellt StoryMovie vor, einen Datensatz aus 1.757 visuellen Geschichten, die durch Synchronisation von Drehbüchern und Untertiteln semantisch ausgerichtet sind, und zeigt, dass das darauf trainierte Modell Storyteller3 die Dialogzuordnung und semantische Kohärenz im Vergleich zu rein visuell basierten Modellen signifikant verbessert.

Das Wesentliche

Der Film-Detektiv: Wie KI lernt, echte Geschichten zu erzählen

Stellen Sie sich vor, Sie haben eine Kamera, die sich ein paar Bilder aus einem Film ansieht und dann versucht, eine Geschichte dazu zu erzählen. Das Problem ist: Die Kamera sieht zwar was passiert (z. B. zwei Personen, die lachen), aber sie weiß nicht, wer sie sind oder was sie wirklich sagen.

Die Forscher Daniel Oliveira und David Martins de Matos haben ein Problem gelöst, bei dem diese KI-Modelle oft „halluzinieren" – also Dinge erfinden, die nicht stimmen. Hier ist die einfache Erklärung ihrer Arbeit, das Projekt StoryMovie.

1. Das Problem: Der blinde Geschichtenerzähler

Bisherige KI-Modelle waren wie ein Tourist, der durch einen fremden Film läuft. Er sieht zwei Menschen, die sich umarmen, und denkt: „Aha, das sind verliebte Liebende!" Dabei sind es vielleicht nur Brüder, die sich nach Jahren wiedersehen. Oder die KI erfindet einen Dialog, weil sie denkt, das passt gut zur Stimmung, obwohl im Film niemand gesprochen hat.

Die KI kannte die Gesichter, aber sie kannte die Seelen der Charaktere nicht. Sie wusste nicht, dass der Mann in der roten Jacke eigentlich „Mr. Smith" heißt und nicht „John", und sie wusste nicht, dass er gerade wütend ist, weil das Drehbuch es so sagt, nicht weil er nur die Stirn runzeln.

2. Die Lösung: Das Drehbuch als Kompass

Die Forscher haben eine neue Datenbank namens StoryMovie erstellt. Stellen Sie sich das wie eine riesige Bibliothek vor, in der nicht nur die Bilder (die Frames) liegen, sondern auch das echte Drehbuch und die Untertitel des Films.

• Das Drehbuch ist wie die Landkarte: Es sagt uns, wer die Charaktere sind, wie sie sich fühlen und was sie sagen sollen.
• Die Untertitel sind wie die Uhrzeit: Sie sagen uns genau, wann welcher Satz gesagt wurde.

Die große Innovation ist ein cleverer Algorithmus (ein „Sucher"), der diese beiden Dinge zusammenfügt. Er sucht im Drehbuch nach Sätzen und vergleicht sie mit den Untertiteln, um genau zu wissen: „In diesem Bild sagt diese Person dieses Wort."

3. Der neue Held: Qwen Storyteller3

Mit diesen Daten haben sie eine neue KI, Qwen Storyteller3, trainiert.

• Früher (Qwen Storyteller): Die KI war wie ein Maler, der sehr gut Bilder beschreiben konnte. Sie wusste: „Da ist ein Mann, da ist eine Frau, sie halten Händchen." Aber sie wusste nicht, ob sie sich lieben oder streiten.
• Jetzt (Qwen Storyteller3): Die KI ist wie ein Regisseur, der das Drehbuch kennt. Wenn sie die Bilder sieht, schaut sie sofort in ihr „Skript". Sie weiß sofort: „Das ist nicht John, das ist Mr. Smith! Und er sagt nicht 'Hallo', sondern 'Ich hasse dich!'."

4. Wie gut funktioniert das? (Die Prüfung)

Um zu testen, ob die KI wirklich besser geworden ist, haben sie sie gegen zwei andere Modelle antreten lassen, wobei ein sehr kluger KI-Richter (DeepSeek V3) die Geschichten bewertet hat.

• Gegen die Basis-KI: Die neue KI gewinnt fast immer (ca. 90 % der Fälle). Sie erzählt die Geschichte fast perfekt so, wie sie im Film wirklich passiert ist.
• Gegen die alte Version: Selbst gegen ihre eigene Vorgängerin (die nur Bilder kannte) hat sie gewonnen. Sie macht deutlich weniger Fehler bei der Zuordnung von Dialogen.

Ein einfaches Beispiel: Wenn im Film eine Frau traurig ist, weil sie ihre Mutter vermisst, sagt die alte KI vielleicht: „Sie ist traurig, weil das Wetter schlecht ist." Die neue KI, dank des Drehbuchs, sagt: „Sie ist traurig, weil sie an ihre Mutter denkt."

5. Was bedeutet das für uns?

Diese Arbeit ist wie ein Brückenschlag zwischen Sehen und Verstehen.

Bisher konnten Computer nur sehen, was auf dem Bildschirm war. Jetzt lernen sie, den Kontext zu verstehen, indem sie die „Wahrheit" aus dem Drehbuch nutzen. Das ist ein riesiger Schritt, um KI-Systeme zu bauen, die nicht nur Bilder beschreiben, sondern echte, glaubwürdige Geschichten erzählen können – ohne Dinge zu erfinden, die nie passiert sind.

Zusammengefasst: Die Forscher haben der KI ein „Gedächtnis" gegeben, das nicht nur auf das Bild schaut, sondern auch weiß, was im Skript steht. So wird aus einem blinden Beobachter ein wahrheitsgetreuer Geschichtenerzähler.

Technische Zusammenfassung

1. Problemstellung

Visuelle Erzählmodelle (Visual Storytelling), die Narrative aus Bildsequenzen generieren, leiden häufig unter semantischen Halluzinationen. Während moderne Modelle (insbesondere Large Vision-Language Models, LVLMs) visuelle Entitäten oft korrekt identifizieren und verankern können, scheitern sie häufig an der korrekten Zuordnung von:

• Dialogen: Wer spricht zu wem?
• Beziehungen: Sind die Charaktere Familienmitglieder, Freunde oder Feinde?
• Emotionen und Handlungen: Entsprechen die beschriebenen Gefühle und Interaktionen dem tatsächlichen Kontext?

Bisherige Ansätze wie GroundCap oder StoryReasoning adressierten zwar das Problem der visuellen Verankerung (Visual Grounding) und der Entitäten-Wiedererkennung über Bildrahmen hinweg, konnten aber keine „Ground-Truth"-Informationen aus echten Drehbüchern nutzen. Modelle generierten daher oft plausible, aber faktisch falsche Dialoge oder Beziehungen, da sie sich ausschließlich auf visuelle Hinweise stützten, die keine Informationen über den tatsächlichen Plot oder die gesprochenen Worte liefern.

2. Methodik

A. Der StoryMovie-Datensatz

Das Kernstück der Arbeit ist die Einführung des StoryMovie-Datensatzes, der aus 1.757 Geschichten besteht. Diese basieren auf Bildsequenzen aus dem vorherigen StoryReasoning-Datensatz, wurden jedoch um echte Film-Drehbücher (Screenplays) und Untertitel erweitert.

• Datenquellen: Kombination von MovieNet-Bildern, professionellen Drehbüchern und Untertiteln.
• Struktur: Jede Geschichte behält die visuellen Verankerungs-Tags (XML-Tags für Objekte, Aktionen, Orte) bei, wird aber zusätzlich mit dem korrespondierenden Drehbuchtext und Untertiteln abgeglichen.
• Aufteilung: 1.494 Trainingsproben und 263 Testproben (85/15-Verhältnis).

B. Pipeline zur Script-Untertitel-Abgleichung (Alignment)

Um Dialoge korrekt zuzuordnen, entwickelten die Autoren eine Pipeline, die Drehbuchtexte mit Zeitstempeln aus Untertiteln synchronisiert:

1. Parsing: Extraktion strukturierter Elemente aus dem Drehbuch (Szenenüberschriften, Charakternamen, Dialoge, Handlungsanweisungen, emotionale Hinweise wie „(wütend)").
2. Token-Matching: Nutzung des Longest Common Subsequence (LCS) Algorithmus, um Dialogblöcke zwischen dem Drehbuch und den Untertiteln zu identifizieren.
3. Synchronisation: Sobald ein Match gefunden ist, wird der Abgleich bidirektional erweitert, bis der Sprecher wechselt oder eine Szenenunterbrechung eintritt. Dies ermöglicht die Zuordnung von Zeitstempeln aus den Untertiteln zu spezifischen Drehbuchsegmenten und damit die korrekte Dialog-Zuordnung (Dialogue Attribution).

C. Modellarchitektur: Qwen Storyteller3

Auf Basis dieses Datensatzes wurde Qwen Storyteller3 entwickelt, das den dritten Schritt einer progressiven Trainingsstrategie darstellt:

1. Qwen Storyteller: Basis-Visual-Grounding und Chain-of-Thought (CoT) Reasoning.
2. Qwen Storyteller2: Verbesserte Entitäten-Wiedererkennung durch kontrastives Reinforcement Learning (RL).
3. Qwen Storyteller3: Feinabstimmung (Fine-Tuning) auf dem StoryMovie-Datensatz für semantische Ausrichtung.

Das Modell nutzt ein Mixture-of-Experts (MoE) VLM (Qwen3-VL-235B-A22B), das Eingaben aus Bildern, der strukturierten CoT-Analyse, den abgeglichenen Drehbuchsegmenten und Untertiteln erhält. Es lernt, visuelle Entitäten mit echten Charakternamen zu verknüpfen und emotionale Töne sowie Handlungsanweisungen aus dem Drehbuch zu integrieren.

3. Wichtige Beiträge

1. StoryMovie-Datensatz: Ein neuer, öffentlich verfügbarer Datensatz mit 1.757 Geschichten, die durch eine Script-Subtitle-Alignment-Pipeline mit Ground-Truth-Semantik angereichert sind.
2. Alignment-Pipeline: Eine robuste Methode zur Synchronisation von Drehbuchdialogen mit Untertitel-Zeitstempeln mittels LCS-Matching, die eine präzise Dialogzuordnung ermöglicht.
3. Qwen Storyteller3: Ein Modell, das nachgewiesenermaßen semantische Halluzinationen reduziert, indem es echte Drehbuchinhalte (Namen, Dialoge, Beziehungen) in die Generierung integriert.

4. Ergebnisse und Evaluation

Die Evaluation erfolgte mittels eines LLM-Judges (DeepSeek V3) im Pairwise-Preference-Setup sowie durch eine Frage-Antwort-Evaluation (Q&A).

• Vergleich mit dem Basismodell (Qwen2.5-VL 7B):

  • Bei der Ausrichtung auf Untertitel (Dialog-Zuordnung) erreichte Qwen Storyteller3 eine Gewinnrate von 89,9 % gegenüber nur 3,5 % beim Basismodell.
  • Auch bei der Ausrichtung auf Szenenbeschreibungen und Synopsen zeigte das Modell massive Verbesserungen.

• Vergleich mit dem Vorgänger (Qwen Storyteller ohne Script-Grounding):

  • Qwen Storyteller3 erreichte eine Gewinnrate von 48,5 % gegenüber 38,0 % beim Vorgänger bei der Untertitel-Ausrichtung (ein Vorteil von 10,5 Prozentpunkten).
  • Dies bestätigt, dass semantische Ausrichtung über reine visuelle Verankerung hinausgeht und Dialogfehler signifikant reduziert.

• Faktische Genauigkeit (Q&A Evaluation):

  • In einem Multiple-Choice-Test zu Emotionen, Aktionen und Beziehungen erreichte das Modell eine Gesamtgenauigkeit von 93,9 % (gegenüber 63,2 % beim Baseline-Modell).
  • Der größte Unterschied zeigte sich bei Beziehungsfragen (94,7 % vs. 55,3 %), was die zentrale These untermauert, dass visuelle Modelle ohne Textkontext Charakterdynamiken kaum korrekt inferieren können.

5. Bedeutung und Fazit

Die Arbeit demonstriert, dass reines Visual Grounding nicht ausreicht, um hochwertige visuelle Erzählungen zu generieren. Durch die Integration von externen semantischen Ankerpunkten (professionelle Drehbücher) können Modelle lernen, die Intention des Drehbuchautors bezüglich Charakterbeziehungen, Dialogen und emotionalen Tönen zu respektieren.

Qwen Storyteller3 etabliert einen Rahmen für die schrittweise Reduktion von Halluzinationen: von der visuellen Identifikation über die Entitäten-Tracking bis hin zur semantischen Konsistenz mit dem Originalplot. Dies ist ein wichtiger Schritt hin zu zuverlässigeren KI-Systemen für Entertainment, Bildung und Journalismus, die nicht nur Bilder beschreiben, sondern die zugrundeliegende Geschichte korrekt wiedergeben.

Einschränkungen: Der Datensatz ist auf englischsprachige Filme beschränkt und relativ klein (1.757 Geschichten) im Vergleich zu großen VLM-Datensätzen. Zudem basiert die Evaluation auf LLM-Judges, die eigene Bias-Verzerrungen aufweisen könnten. Zukünftige Arbeiten sollen multilinguale Daten und diverse visuelle Quellen (z. B. soziale Medien) einbeziehen.