StoryMovie: A Dataset for Semantic Alignment of Visual Stories with Movie Scripts and Subtitles

Dit paper introduceert StoryMovie, een dataset van 1.757 verhalen die visuele verhalen semantisch aligneren met filmscripts en ondertitels via LCS-matching, wat resulteert in een verfijnd model (Storyteller3) dat door betere dialoogtoewijzing en karakterinteracties aanzienlijk beter presteert dan eerdere modellen.

De kern

Het Verhaal van de Film: Hoe een AI eindelijk de juiste namen en dialogen leert

Stel je voor dat je een AI hebt die heel goed is in het kijken naar foto's. Als je haar een reeks foto's van een film geeft, kan ze perfect beschrijven wat ze ziet: "Hier loopt een man in een blauwe jas," of "Hier staat een vrouw die boog." Ze is een uitstekende fotograaf.

Maar hier zit het probleem: deze AI is ook een dromer. Als ze niet weet wie de mensen zijn of wat er echt gebeurt, begint ze te verzinnen. Ze kan denken dat de man en de vrouw verliefd zijn, terwijl ze eigenlijk broer en zus zijn. Ze kan laten zeggen wat er in de film wordt gezegd, terwijl de personages in werkelijkheid zwijgen. Ze heeft de beelden goed, maar het verhaal is een fantasie.

De auteurs van dit paper, Daniel en David, wilden deze dromer wakker maken. Ze hebben een nieuw systeem bedacht, genaamd StoryMovie, om de AI te leren wat er echt gebeurt in een film, niet alleen wat er op het scherm te zien is.

1. De Grote Puzzel: Script vs. Ondertiteling

Om dit te doen, moesten ze twee verschillende bronnen samenvoegen, alsof je twee losse puzzels aan elkaar plakt:

• Het Script (Het Drehbuch): Dit is het originele verhaal geschreven door de schrijver. Hierin staan de namen van de personages (bijv. "Harry" en "Sally"), wat ze zeggen, en hoe ze het zeggen (bijv. "boos" of "trillend"). Maar het script heeft geen tijdscode; het weet niet precies op welk frame van de film een zin valt.
• De Ondertiteling (Subtitles): Dit is wat je leest onderaan het scherm tijdens het kijken. Het heeft perfecte tijdstippen (bijv. "op 02:15 zegt iemand iets"), maar het zegt niet wie het zegt. Het staat er alleen maar: "Ik kan dit niet geloven."

De oplossing: De onderzoekers hebben een slimme "lijm" ontwikkeld (een algoritme genaamd Longest Common Subsequence). Deze techniek zoekt naar de langste rij woorden die in zowel het script als de ondertiteling voorkomen. Zodra ze een match vinden, kunnen ze de tijdstippen van de ondertiteling koppelen aan de namen uit het script.

• Vergelijking: Het is alsof je een liedje hebt met de tekst (script) en een opname met de tijdcode (ondertiteling). Door te luisteren waar de woorden samenvallen, weet je precies wie op welk moment zingt.

2. StoryMovie: De Nieuwe Leerboeken

Met deze gekoppelde informatie hebben ze een nieuw leerboek gemaakt, genaamd StoryMovie.

• Het bevat 1.757 verhalen uit films.
• Elk verhaal is niet alleen gebaseerd op de foto's, maar is ook "geaard" in het echte script.
• De AI leert nu: "Ah, de man in de foto is niet zomaar 'de man', hij is 'Mr. Johnny', en hij zegt niet 'hallo', maar 'Ik ben bang'."

3. Qwen Storyteller3: De Nieuwe Ster

De onderzoekers hebben een AI-model getraind met deze nieuwe leerboeken. Ze noemen hem Qwen Storyteller3.
Je kunt het zien als een drie-traps proces:

1. Stap 1: De AI leert kijken (wat zie ik?).
2. Stap 2: De AI leert onthouden (is dit dezelfde persoon als in de vorige foto?).
3. Stap 3 (Deze stap): De AI leert luisteren en begrijpen (wie zegt wat en waarom?).

4. De Test: Wie vertelt het beste verhaal?

Ze hebben de nieuwe AI getest tegen de oude versies. Het resultaat was indrukwekkend:

• Tegen de basis-AI: De nieuwe AI won in 90% van de gevallen als het ging om het juist toewijzen van dialogen. De oude AI zat er vaak naast.
• Tegen de vorige versie: Zelfs tegen een AI die al goed was in kijken, won de nieuwe versie. Ze vertelde verhalen die 48,5% van de tijd beter waren dan de oude, omdat ze de echte namen en gevoelens gebruikte in plaats van verzinsels.

Een voorbeeld uit de test:

• Oude AI: "De man kijkt verdrietig. Hij zegt: 'Het is een zware dag'." (Verzonnen, want de man zegt dat niet in de film).
• Nieuwe AI: "Mr. Johnny, die in de hoek zit, kijkt verdrietig. Hij fluistert: 'Ik kan het niet meer aan'." (Dit komt overeen met wat er echt in de film gebeurt).

Waarom is dit belangrijk?

Tot nu toe konden AI's alleen "kijken". Ze zagen een gezicht, maar wisten niet wie het was of wat ze voelden. Met StoryMovie leren ze de ziel van het verhaal begrijpen. Ze leren dat een gezicht niet alleen een gezicht is, maar een personage met een naam, een geschiedenis en echte woorden.

Het is alsof je een vertaler hebt die niet alleen de woorden vertaalt, maar ook de gevoelens en de context van de schrijver begrijpt. Hierdoor maken ze veel minder "hallucinaties" (verzonnen feiten) en worden de verhalen veel geloofwaardiger.

Kortom: Ze hebben een AI gegeven die niet alleen naar de foto's kijkt, maar ook het script leest. Zo wordt de robot niet langer een dromer, maar een echte verteller.

Technische samenvatting

Probleemstelling

Bestaande modellen voor visueel verhalenvertellen (visual storytelling) hebben de capaciteit ontwikkeld om entiteiten correct te lokaliseren in afbeeldingen (visuele grounding). Echter, deze modellen lijden nog steeds aan semantische hallucinaties. Hoewel ze objecten en personen correct kunnen identificeren, falen ze vaak in het beschrijven van:

• De ware relaties tussen personages (bijv. het verwarren van familieleden met romantische partners).
• De juiste dialoogtoewijzing (wie zegt wat?).
• De emotionele staat en interacties die niet direct zichtbaar zijn in de beelden.

Deze fouten ontstaan omdat modellen uitsluitend vertrouwen op visuele cues, zonder toegang te hebben tot de authentieke narratieve context (het script) die de werkelijke bedoeling van de schrijver bevat.

Methodologie

De auteurs introduceren een geavanceerde aanpak die bestaat uit drie hoofdbestanddelen: een nieuw dataset, een alignatie-pijplijn, en een gefinetuned model.

1. De StoryMovie Dataset

• Onderdeel: Een dataset van 1.757 verhalen afgeleid van filmsequenties.
• Bron: Gebaseerd op de eerdere StoryReasoning-dataset, maar uitgebreid met de daadwerkelijke filmscenario's (scripts) en ondertiteling (subtitles).
• Opbouw: Elk verhaal bevat visuele grounding-tags (voor objecten, acties, locaties) die gekoppeld zijn aan de authentieke personagenamen, dialoog en emotionele aanwijzingen uit het script.

2. Script-Ondertitel Alignatie Pijplijn

Om dialoog correct toe te wijzen aan personages in de tijd, ontwikkelen de auteurs een synchronisatieproces:

• Uitdaging: Scripts bevatten rijke semantische informatie (namen, dialoog, emoties) maar geen tijdstippen. Ondertiteling heeft nauwkeurige tijdstippen maar vaak geen sprekeridentificatie.
• Oplossing: Het gebruik van het Longest Common Subsequence (LCS) algoritme.
  • De dialoog uit het script en de tekst van de ondertiteling worden getokeniseerd.
  • LCS wordt gebruikt om de langste gemeenschappelijke subsequence te vinden, waardoor dialoogblokken in het script worden gelinkt aan de exacte tijdstippen in de ondertiteling.
  • Dit stelt het systeem in staat om sprekers toe te wijzen op basis van de chronologische volgorde van de film.

3. Qwen Storyteller3 Model

Het paper beschrijft een progressieve trainingsaanpak in drie fasen:

1. Qwen Storyteller: Basis visuele grounding en Chain-of-Thought (CoT) redenering.
2. Qwen Storyteller2: Verbeterde entiteit-heridentificatie via contrastief Reinforcement Learning (RL).
3. Qwen Storyteller3 (De nieuwe bijdrage): Gefinetuned op de StoryMovie-dataset. Dit model leert niet alleen visuele entiteiten te koppelen, maar ook semantische alignatie met het script. Het leert personagenamen, dialoog, emotionele toon (bijv. "(boos)") en plotontwikkelingen te respecteren zoals in het originele scenario.

Kernbijdragen

1. StoryMovie Dataset: Een uniek dataset van 1.757 verhalen met ground-truth semantische context (script en ondertiteling) voor visueel verhalenvertellen.
2. Alignatie Pijplijn: Een robuust proces voor het synchroniseren van scripts en ondertiteling via LCS-matching, wat dialoogtoewijzing mogelijk maakt.
3. Qwen Storyteller3: Een model dat semantische alignatie bereikt, wat resulteert in verhalen met authentieke dialoog en correcte relatiedynamiek, in plaats van hallucinaties gebaseerd op visuele inferentie.

Resultaten

De evaluatie, uitgevoerd met DeepSeek V3 als "judge" voor paarsgewijze vergelijkingen, toont significante verbeteringen:

• Tegenover het basismodel (Qwen2.5-VL 7B):

  • Qwen Storyteller3 behaalt een winrate van 89,9% op het gebied van ondertitel-alignatie (dialoogtoewijzing), vergeleken met slechts 3,5% voor het basismodel.
  • Er is ook een sterke verbetering in de alignatie met de synopsis (87,6% vs 6,8%).

• Tegenover de vorige versie (Qwen Storyteller, zonder script-grounding):

  • Qwen Storyteller3 wint 48,5% van de vergelijkingen op ondertitel-alignatie, tegenover 38,0% voor de vorige versie.
  • Dit bewijst dat semantische alignatie de dialoogkwaliteit verder verbetert dan alleen visuele grounding.

• Factuele Nauwkeurigheid (Vraag-Antwoord Evaluatie):

  • Een Q&A-test met script-gebaseerde vragen toonde een totale nauwkeurigheid van 93,9% voor het nieuwe model, tegenover 63,2% voor de baseline.
  • Het grootste verschil zat in het begrijpen van relaties tussen personages (94,7% vs 55,3%), wat bevestigt dat visuele modellen hier zonder script-context het meest falen.

Betekenis en Conclusie

Dit werk adresseert een cruciale beperking in multimodale AI: het vermijden van "plausibele maar onjuiste" narratieve details. Door verhalen te gronden in authentieke bronnen (scripts), kunnen modellen de intentie van de schrijver volgen in plaats van te gokken op basis van gezichten of kleding.

De studie toont aan dat een progressieve trainingsstrategie (van visuele grounding naar entiteit-tracking en tenslotte semantische alignatie) effectief is om hallucinaties op verschillende niveaus te reduceren. Qwen Storyteller3 stelt een nieuw paradigma neer waarin visuele storytelling niet alleen beschrijft wat er te zien is, maar wat er echt gebeurt in de narratieve context.

Beperkingen: De dataset is momenteel beperkt tot Engelstalige films, wat generalisatie naar andere culturen of niet-cinematografische bronnen (zoals persoonlijke fotoalbums) beperkt. Toekomstig werk richt zich op meertaligheid en diverse visuele bronnen.