StoryMovie: A Dataset for Semantic Alignment of Visual Stories with Movie Scripts and Subtitles

Ce papier présente StoryMovie, un nouveau jeu de données alignant des histoires visuelles avec des scénarios et sous-titres de films pour corriger les hallucinations sémantiques, et démontre que l'affinement d'un modèle de narration sur ces données améliore significativement l'attribution des dialogues par rapport à l'ancrage visuel seul.

L'essentiel

🎬 Le Problème : Le Cinéaste qui Rêve

Imaginez que vous donnez une série de photos à un robot très intelligent, mais un peu rêveur, et que vous lui demandez de raconter l'histoire qui s'y déroule.

Ce robot (les modèles d'intelligence artificielle actuels) est très doué pour décrire ce qu'il voit : "Voici un homme en costume, voici une femme en robe rouge, ils sont dans un salon." C'est comme si le robot avait des yeux de lynx.

Mais voici le piège : Le robot a tendance à inventer la suite.

• Il peut dire que l'homme et la femme sont amoureux, alors qu'en réalité, ce sont un père et sa fille.
• Il peut inventer une dispute croustillante alors qu'ils sont en train de rire.
• Il peut attribuer une phrase à la femme alors que c'est l'homme qui parlait.

C'est ce qu'on appelle une hallucination sémantique. Le robot voit bien les personnages (il ne les confond pas), mais il ne comprend pas qui ils sont vraiment ni ce qu'ils disent vraiment. C'est comme si un scénariste regardait une photo et inventait n'importe quel dialogue, sans jamais avoir lu le vrai script du film.

🛠️ La Solution : StoryMovie (Le Détective de Scénarios)

Les auteurs de cet article, Daniel et David, ont eu une idée géniale : au lieu de laisser le robot deviner, donnons-lui le vrai script du film !

Ils ont créé une nouvelle base de données appelée StoryMovie. Imaginez-la comme une immense bibliothèque où chaque photo est collée à deux documents précieux :

1. Le sous-titre : Qui dit exactement quand une phrase est prononcée (l'heure exacte).
2. Le script (scénario) : Qui dit exactement qui parle et comment il le dit (en colère, en pleurant, doucement).

Le défi technique ? Relier ces deux documents. Le script ne dit pas "à la seconde 12:04", et les sous-titres ne disent pas "c'est le personnage X".
Les chercheurs ont utilisé un outil mathématique (appelé "LCS", un peu comme un jeu de "trouver les mots communs") pour faire correspondre les phrases du script avec les sous-titres, comme un détective qui assemble des pièces de puzzle pour savoir qui a dit quoi et à quel moment.

🤖 Le Résultat : Qwen Storyteller3 (Le Nouvel Acteur)

Une fois ce travail de détective terminé, ils ont entraîné un nouveau modèle, Qwen Storyteller3, avec ces histoires "réelles".

On peut imaginer le processus d'apprentissage en trois étapes, comme pour former un acteur :

1. Étape 1 (Les Yeux) : Apprendre à reconnaître les objets et les gens sur les photos.
2. Étape 2 (La Mémoire) : Apprendre à suivre le même personnage d'une photo à l'autre (ne pas le confondre avec un autre).
3. Étape 3 (L'Âme - La nouvelle étape) : Apprendre à lire le script pour comprendre la vraie histoire, les vraies relations et les vrais dialogues.

🏆 Les Résultats : Qui a gagné ?

Pour tester si cela fonctionne, ils ont organisé un concours entre trois "juges" (des intelligences artificielles très avancées) :

1. Le modèle de base (le rêveur).
2. L'ancien modèle (qui voyait bien mais ne lisait pas le script).
3. Le nouveau modèle Qwen Storyteller3 (qui a lu le script).

Les résultats sont bluffants :

• Pour attribuer les dialogues : Le nouveau modèle gagne 89,9% des duels contre le modèle de base. C'est énorme ! Il ne confond plus qui parle.
• Pour comprendre les relations : Là où l'ancien modèle se trompait souvent (pensant qu'une mère était une amie, par exemple), le nouveau modèle a compris la vraie relation dans 94,7% des cas.

🍎 L'Analogie Finale

Imaginez que vous devez raconter l'histoire d'une scène de film à un ami.

• L'ancien modèle est comme quelqu'un qui regarde une photo floue et dit : "Je pense que c'est un drame d'amour, ils se disent 'Je t'aime'." (C'est plausible, mais faux).
• Le nouveau modèle (StoryMovie) est comme quelqu'un qui a la photo ET le script du film entre les mains. Il dit : "Non, regarde, c'est un drame familial. La femme dit 'Je suis déçue de toi' à l'homme, qui est son fils, et il répond en pleurant."

En Résumé

Ce papier nous apprend que pour qu'une intelligence artificielle raconte une bonne histoire à partir d'images, il ne suffit pas qu'elle ait de bons yeux. Il faut aussi qu'elle ait accès à la vérité du scénario. En liant les images aux scripts réels des films, les chercheurs ont réussi à éliminer les mensonges inventés par l'IA sur les relations et les dialogues, rendant les histoires générées beaucoup plus vraies et émouvantes.

Résumé technique

1. Problématique

Le domaine de la narration visuelle (génération de récits à partir de séquences d'images) a fait des progrès grâce aux grands modèles vision-langage (LVLM). Cependant, les systèmes actuels souffrent de hallucinations sémantiques : bien qu'ils puissent correctement identifier les entités visuelles (personnages, objets), ils échouent souvent à décrire correctement leurs relations, leurs états émotionnels ou leurs dialogues.

Les approches précédentes, comme GroundCap et StoryReasoning, ont résolu les problèmes de « grounding » visuel (ancrage des références textuelles aux objets détectés) et de ré-identification d'entités à travers les images. Néanmoins, elles ne disposent pas de sources narratives de vérité terrain (ground-truth). Par conséquent, les modèles génèrent des noms de personnages génériques (ex: « John », « Sarah ») et des dialogues inventés qui contredisent souvent la réalité narrative du film (ex: attribuer un dialogue romancier à des personnages qui sont en réalité des membres de la famille). Le défi principal est donc d'aligner la génération de l'histoire non seulement sur le contenu visuel, mais aussi sur le scénario original et les sous-titres pour garantir l'authenticité des dialogues et des relations.

2. Méthodologie

L'approche proposée repose sur trois piliers principaux : la création d'un nouveau dataset, un pipeline d'alignement script-sous-titres, et un entraînement progressif de modèle.

A. Le Dataset StoryMovie

• Composition : Le dataset contient 1 757 histoires dérivées de séquences de films (issues du dataset StoryReasoning).
• Alignement : Chaque histoire est alignée avec les segments correspondants du scénario (script) et le texte des sous-titres.
• Structure : Les histoires conservent les balises d'ancrage visuel XML (pour les objets, actions, lieux) tout en intégrant les noms réels des personnages, les dialogues exacts et les indications de jeu (ex: « (colère) », « (tremblant) ») issues du scénario.
• Répartition : 1 494 échantillons pour l'entraînement et 263 pour le test (ratio 85/15).

B. Pipeline d'Alignement Script-Sous-titres

Pour attribuer les dialogues aux bons personnages et aux bons moments temporels, les auteurs utilisent une méthode combinée :

1. Parsing du scénario : Extraction structurée des noms de personnages, des dialogues, des lignes d'action et des indications émotionnelles.
2. Synchronisation par LCS : L'algorithme de la Plus Longue Sous-séquence Commune (LCS - Longest Common Subsequence) est utilisé pour faire correspondre les tokens du dialogue du scénario avec le texte des sous-titres.
3. Attribution temporelle : Une fois une correspondance trouvée, l'algorithme étend l'alignement bidirectionnellement jusqu'au changement de locuteur ou de scène, permettant d'associer les timestamps des sous-titres aux segments du scénario. Cela permet de savoir « qui dit quoi » et « quand ».

C. Entraînement du Modèle Qwen Storyteller3

L'approche suit une stratégie d'entraînement progressive en trois étapes :

1. Qwen Storyteller : Grounding visuel de base et raisonnement en chaîne de pensée (CoT).
2. Qwen Storyteller2 : Amélioration de la ré-identification des entités via un apprentissage par renforcement contrastif (RL).
3. Qwen Storyteller3 (Proposition) : Affinage (Fine-tuning) sur le dataset StoryMovie via Supervised Fine-Tuning (SFT).
   • Configuration : Utilisation de l'adaptation à faible rang (LoRA) avec un rang de 32.
   • Objectif : Le modèle apprend à mapper les entités visuelles aux noms de personnages du scénario, à intégrer les dialogues réels et à décrire les états émotionnels basés sur les indications du scénariste plutôt que sur des inférences visuelles seules.

3. Contributions Clés

1. Dataset StoryMovie : Le premier dataset de narration visuelle aligné avec des scénarios et des sous-titres réels, fournissant un contexte sémantique de vérité terrain pour 1 757 histoires.
2. Pipeline d'alignement : Une méthode robuste utilisant l'algorithme LCS pour synchroniser les dialogues des scénarios avec les timestamps des sous-titres, permettant une attribution précise des locuteurs.
3. Modèle Qwen Storyteller3 : Un modèle capable de générer des histoires visuelles avec des dialogues authentiques, des relations de personnages correctes et une cohérence narrative alignée sur le scénario original, réduisant ainsi les hallucinations sémantiques.

4. Résultats et Évaluation

L'évaluation a été réalisée en comparant Qwen Storyteller3 avec le modèle de base (Qwen2.5-VL 7B) et le modèle intermédiaire (Qwen Storyteller sans alignement script), en utilisant DeepSeek V3 comme juge pour des évaluations par paires.

• Alignement sur les sous-titres (Attribution des dialogues) :
  • Qwen Storyteller3 bat le modèle de base avec un taux de victoire de 89,9 % contre 3,5 %.
  • Comparé à Qwen Storyteller (sans script), le taux de victoire passe de 38,0 % à 48,5 %, confirmant que l'alignement sémantique améliore significativement l'attribution des dialogues au-delà du simple grounding visuel.
• Alignement sur le synopsis (Narratif global) :
  • Le modèle proposé obtient 87,6 % de victoires contre le modèle de base et 42,7 % contre le modèle intermédiaire, montrant une meilleure compréhension des relations et de l'intrigue.
• Évaluation par Questions-Réponses (Factual Accuracy) :
  • Une évaluation factuelle (émotion, action, relation) sur 38 histoires montre une précision globale de 93,9 % pour le modèle proposé contre 63,2 % pour la baseline.
  • L'amélioration la plus marquée concerne les relations (94,7 % vs 55,3 %), prouvant que l'alignement avec le scénario résout les erreurs d'interprétation des dynamiques entre personnages que le visuel seul ne peut pas déduire.

5. Signification et Conclusion

Ce travail démontre que le grounding visuel seul est insuffisant pour éliminer les hallucinations sémantiques complexes dans la narration visuelle. En ancrant la génération de texte dans des sources narratives authentiques (scénarios et sous-titres), il est possible de :

• Éliminer les noms de personnages génériques et les dialogues inventés.
• Garantir la cohérence des relations interpersonnelles et des états émotionnels.
• Établir un cadre d'entraînement progressif (Grounding Visuel -> Ré-identification -> Alignement Sémantique) qui peut être appliqué à d'autres tâches de génération multimodale.

Les auteurs soulignent que bien que le dataset soit de taille modeste (1 757 histoires) et limité aux films en anglais, il ouvre la voie à une narration visuelle plus fiable et fidèle à la réalité des œuvres originales, avec des perspectives futures incluant l'extension à des sources visuelles diversifiées et à des contextes multilingues.