StoryMovie: A Dataset for Semantic Alignment of Visual Stories with Movie Scripts and Subtitles

El artículo presenta StoryMovie, un dataset de 1.757 historias alineadas con guiones cinematográficos y subtítulos mediante coincidencia LCS, que permite entrenar al modelo Storyteller3 para mejorar significativamente la atribución de diálogos y la alineación semántica más allá de la mera fundamentación visual.

Lo esencial

¡Hola! Imagina que quieres contar una historia basada en una serie de fotos de una película. Hasta ahora, las inteligencias artificiales (IA) eran como niños muy observadores pero con mucha imaginación desbordada.

Si les mostrabas una foto de dos personas abrazándose, la IA podía decir: "¡Mira! Esos dos están enamorados y se van a casar". Pero, si en la película real esos dos eran hermanos que acababan de reencontrarse después de años, la IA se había inventado (alucinado) una historia de amor que no existía.

Aquí es donde entra el trabajo de este paper, llamado StoryMovie. Vamos a desglosarlo con analogías sencillas:

1. El Problema: El "Guionista Imaginario"

Antes de este trabajo, las IAs que creaban historias visuales eran como un director de cine que solo tiene las fotos, pero no tiene el guion.

• Podían identificar bien a los actores (el "hombre con sombrero", la "mujer con vestido rojo").
• Podían describir lo que hacían (caminar, llorar).
• Pero fallaban estrepitosamente en dos cosas:
  1. Diálogos: Inventaban conversaciones. Si en la foto dos personas se miraban, la IA podía inventar que decían "Te amo", cuando en realidad estaban discutiendo por el dinero.
  2. Relaciones: Confundían a los personajes. Podían decir que dos amigos eran novios, o que un padre era un extraño.

2. La Solución: El "Libro de Reglas" (StoryMovie)

Los autores crearon un nuevo conjunto de datos llamado StoryMovie. Imagina que es como tener el guion original de la película y los subtítulos exactos pegados a cada fotograma.

• La Magia de la Sincronización: Usaron una técnica (llamada "Longest Common Subsequence" o LCS) que es como un traductor super-rápido. Este traductor toma el guion (donde dice: MARÍA: "¡No puedo creerlo!") y los subtítulos (que dicen: 00:15:20 - No puedo creerlo).
• Al unirlos, el sistema sabe exactamente quién dijo qué y cuándo. Ya no es una adivinanza; es un hecho.

3. El Entrenamiento: De "Adivinar" a "Leer"

Con estos datos, entrenaron un nuevo modelo llamado Qwen Storyteller3.

• Antes (Storyteller 1 y 2): La IA era como un detective que solo miraba pistas visuales. "Veo una cara triste, así que debe estar llorando".
• Ahora (Storyteller 3): La IA es como un actor que ha leído el guion completo. Sabe que la cara triste no es por amor, sino porque perdió su trabajo, porque así lo dice el guion.

4. ¿Qué pasó cuando lo probaron?

Los autores hicieron una prueba de "callejera" (evaluación) comparando a la nueva IA con la vieja y con la IA base.

• El resultado en diálogos: La nueva IA acertó en el 89.9% de los casos al saber quién hablaba, mientras que la vieja apenas acertaba un 3.5%. ¡Es como pasar de adivinar el número de la lotería a tener el boleto ganador!
• El resultado en relaciones: La nueva IA entendió mucho mejor quién era amigo de quién, evitando inventar dramas románticos donde no los había.

5. La Analogía Final: El Chef y el Recetario

Imagina que hacer una historia visual es como cocinar un plato:

• Las IAs antiguas eran chefs que solo miraban los ingredientes en la mesa (las fotos) e intentaban adivinar el plato. A veces hacían un pastel delicioso, pero otras veces mezclaban sal con chocolate porque "parecía que combinaba".
• StoryMovie les dio a los chefs la receta exacta del chef original (el guion de la película).
• Ahora, el Qwen Storyteller3 no solo sabe qué ingredientes hay (visual), sino que sabe exactamente cómo mezclarlos para que el sabor (la historia) sea fiel a la intención original.

En resumen

Este paper nos dice que para que las IAs cuenten historias verdaderas, no basta con que tengan "buenos ojos" para ver fotos. Necesitan tener "buenos oídos" para leer el guion. Al unir la visión con el texto real de la película, logramos que las máquinas dejen de inventar mentiras bonitas y empiecen a contar la historia real, con los personajes correctos y las palabras exactas.

¡Es un gran paso para que la IA deje de ser un "soñador" y empiece a ser un "narrador" fiel!

Resumen técnico

Aquí tienes un resumen técnico detallado del artículo "StoryMovie: A Dataset for Semantic Alignment of Visual Stories with Movie Scripts and Subtitles", presentado en español:

1. El Problema: Alucinaciones Semánticas en la Narrativa Visual

Aunque los modelos de visión-lingüaje (LVLMs) han avanzado en la generación de narrativas a partir de secuencias de imágenes, siguen sufriendo de alucinaciones semánticas.

• Limitación actual: Los modelos anteriores (como Qwen Storyteller o StoryReasoning) lograron una buena "anclaje visual" (identificar correctamente objetos y personas en las imágenes mediante grounding). Sin embargo, al carecer de contexto narrativo real, a menudo inventan relaciones incorrectas (ej. describir a dos personajes como amantes cuando son familiares), atribuyen diálogos a los personajes equivocados o generan estados emocionales que no coinciden con la escena real.
• Causa raíz: La interpretación puramente visual no puede determinar la identidad real de los personajes, sus relaciones o el diálogo exacto, ya que la apariencia visual no contiene esta información semántica.

2. Metodología y Propuesta

La solución propuesta se basa en tres pilares fundamentales: un nuevo dataset, una tubería de alineación y un modelo de entrenamiento progresivo.

A. El Dataset: StoryMovie

• Composición: Contiene 1,757 historias derivadas de secuencias de películas.
• Fuente de verdad: A diferencia de datasets anteriores generados por VLMs, estas historias están alineadas con guiones de cine reales (scripts) y subtítulos.
• Estructura: Mantiene las etiquetas de anclaje visual (XML tags para objetos, acciones, ubicaciones) de trabajos previos, pero añade nombres de personajes reales, diálogos exactos y pistas emocionales del guion.

B. Tubería de Alineación Guion-Subtítulos

Para resolver el problema de que los guiones tienen contexto pero no tiempo, y los subtítulos tienen tiempo pero no atribución de hablante, los autores desarrollaron un pipeline de sincronización:

1. Extracción: Se parsean los guiones para obtener nombres de personajes, diálogos, líneas de acción y cues emocionales (ej. "(con ira)").
2. Alineación (LCS): Se utiliza el algoritmo de la Subsecuencia Común Más Larga (LCS) para emparejar el texto del diálogo del guion con el texto de los subtítulos.
3. Atribución: Una vez alineados, los tiempos de los subtítulos se asignan a los segmentos del guion, permitiendo saber exactamente qué personaje dijo qué línea y cuándo, basándose en la posición temporal de los fotogramas.

C. Entrenamiento del Modelo: Qwen Storyteller3

El trabajo presenta una estrategia de entrenamiento progresivo en tres etapas:

1. Qwen Storyteller: Anclaje visual básico y razonamiento en cadena (CoT).
2. Qwen Storyteller2: Mejora en la re-identificación de entidades mediante Aprendizaje por Refuerzo Contrastivo (RL).
3. Qwen Storyteller3 (Propuesta): Se fine-tunea el modelo anterior sobre el dataset StoryMovie. Esto enseña al modelo a alinear la apariencia visual con los nombres reales, a mapear expresiones faciales a cues del guion (ej. "(tembloroso)") y a generar diálogos y relaciones basados en la verdad del guion, no solo en inferencias visuales.

3. Contribuciones Clave

1. StoryMovie Dataset: El primer dataset de narrativa visual que proporciona contexto semántico de "verdad fundamental" (ground-truth) mediante la alineación de guiones y subtítulos.
2. Pipeline de Sincronización: Un método robusto basado en LCS para alinear guiones de cine con subtítulos, habilitando la atribución precisa de diálogos.
3. Qwen Storyteller3: Un modelo que demuestra que la alineación semántica con fuentes narrativas auténticas reduce drásticamente las alucinaciones de alto nivel (relaciones, diálogos, emociones) que el anclaje visual por sí solo no puede corregir.

4. Resultados de Evaluación

La evaluación se realizó comparando Qwen Storyteller3 contra el modelo base (Qwen2.5-VL 7B) y contra el modelo anterior sin alineación de guion (Qwen Storyteller), utilizando DeepSeek V3 como juez de preferencia par a par y pruebas de preguntas y respuestas (QA).

• Alineación de Subtítulos (Atribución de Diálogo):
  • Qwen Storyteller3 logró una tasa de victoria del 89.9% frente al modelo base (vs. 3.5%).
  • Frente al modelo anterior (Storyteller), la tasa de victoria fue del 48.5% frente al 38.0% (una mejora de 10.5 puntos porcentuales), confirmando que el guion ayuda a corregir errores de diálogo.
• Alineación de Sinopsis (Contexto Narrativo):
  • Victoria del 87.6% frente al modelo base y 42.7% frente al modelo anterior.
• Precisión Fáctica (QA):
  • En una evaluación de preguntas de opción múltiple sobre emociones, acciones y relaciones, el modelo propuesto alcanzó un 93.9% de precisión global, superando al 63.2% del modelo base.
  • La mayor mejora se dio en relaciones (94.7% vs 55.3%), validando la hipótesis de que los modelos visuales fallan estrepitosamente al inferir dinámicas sociales sin contexto textual.

5. Significado y Conclusión

El trabajo demuestra que el anclaje visual (saber qué hay en la imagen) es necesario pero insuficiente para la narrativa automática. Para evitar alucinaciones semánticas críticas, los modelos deben estar anclados en fuentes narrativas auténticas (guiones).

• Impacto: Establece un nuevo marco para la narrativa visual que combina visión por computadora con procesamiento de lenguaje natural profundo, utilizando el guion como "ancla semántica externa".
• Limitaciones: El dataset se centra en cine (lenguaje y composición cinematográfica) y es de tamaño moderado (1,757 historias). El enfoque actual es monolingüe (inglés).
• Futuro: Se sugiere expandir a fuentes visuales diversas (fotos personales, vigilancia) y a entornos multilingües.

En resumen, StoryMovie y Qwen Storyteller3 representan un avance significativo hacia narrativas visuales más fieles, donde la inteligencia artificial no solo "ve" la escena, sino que "entiende" la historia real detrás de ella.