StoryMovie: A Dataset for Semantic Alignment of Visual Stories with Movie Scripts and Subtitles

Il paper introduce StoryMovie, un dataset di 1.757 storie allineate a script e sottotitoli cinematografici che, utilizzato per addestrare il modello Qwen Storyteller3, dimostra come l'allineamento semantico migliori significativamente l'attribuzione dei dialoghi e la coerenza narrativa rispetto alla sola grounding visiva.

L'essenziale

Immagina di avere un album di foto di un film e di chiedere a un'intelligenza artificiale di raccontare la storia che c'è dietro. Il problema è che, fino a poco tempo fa, queste AI erano come bambini molto creativi ma un po' distratti: vedevano le persone nelle foto, ma spesso inventavano nomi a caso (tipo "Mario" o "Giulia"), confondevano i parenti con gli amici e facevano dire alle persone cose che non avevano mai detto.

Ecco di cosa parla questo paper, tradotto in una storia semplice:

1. Il Problema: L'AI che "allucina"

Immagina di guardare una scena di un film dove due fratelli litigano. Un'AI tradizionale, guardando solo le facce arrabbiate, potrebbe dire: "Oh, questi due sono innamorati e si stanno baciando!" oppure "Quella donna sta dicendo 'Ti amo' a quell'uomo".
L'AI vede bene le immagini (sa che c'è una donna e un uomo), ma non capisce la storia vera. Inventano relazioni e dialoghi che non esistono. Questo si chiama "allucinazione semantica".

2. La Soluzione: Il "Dizionario Magico" (Il Dataset StoryMovie)

Gli autori hanno creato un nuovo strumento chiamato StoryMovie.
Pensa a un film come a un puzzle con due pezzi separati:

• Il Copione (Script): È la ricetta scritta dallo sceneggiatore. Dice esattamente chi sono i personaggi, cosa dicono e come si sentono (es. "Maria, arrabbiata, urla: 'Basta!'"). Ma non dice quando succede esattamente nel video.
• I Sottotitoli: Sono come un orologio che segna l'orario esatto di ogni parola detta, ma non dicono chi sta parlando.

Il lavoro di questi ricercatori è stato quello di incollare insieme il copione e i sottotitoli. Hanno usato un metodo matematico intelligente (chiamato "LCS", che è come trovare la frase più lunga in comune tra due liste) per sincronizzare le parole del copione con i secondi del video.

Il risultato? Un puzzle perfetto dove ogni foto ha associato il nome vero del personaggio, la battuta reale e l'emozione corretta. Hanno creato un "libro di ricette" con 1.757 storie perfette.

3. L'AI che Impara: Da "Disegnante" a "Regista"

Hanno preso un'intelligenza artificiale (chiamata Qwen Storyteller) e l'hanno addestrata in tre fasi, come se fosse un attore che fa i provini:

1. Fase 1 (Visual Grounding): Impara a dire "Quella è una sedia, quello è un cane".
2. Fase 2 (Riconoscimento): Impara a dire "Quello è lo stesso cane in tre foto diverse".
3. Fase 3 (StoryMovie - La novità): Impara a leggere il copione. Ora, quando vede una foto, non inventa più. Guarda il suo "copione sincronizzato" e dice: "Ah, quella è Maria, e sta dicendo 'Non voglio andare' con voce tremante, perché il copione lo dice".

4. I Risultati: Chi vince?

Hanno fatto una gara tra la nuova AI (addestrata con il copione) e quelle vecchie (che guardavano solo le foto).

• Sulle foto: Entrambe erano brave a descrivere cosa vedevano.
• Sulla storia: La nuova AI ha vinto a mani basse. Mentre le vecchie AI inventavano dialoghi assurdi, la nuova AI raccontava la storia esattamente come era nel film originale.
  • Se chiedevano: "Chi ha parlato?", la nuova AI aveva ragione nel 90% dei casi.
  • Se chiedevano: "Qual è la relazione tra questi due?", la nuova AI aveva ragione quasi sempre, mentre le altre sbagliavano spesso.

In sintesi

Questo studio ci dice che per raccontare bene una storia visiva, non basta avere "occhi" (vedere le immagini). Serve anche avere "orecchie" e "memoria" (leggere il copione).
Hanno insegnato all'AI a non essere un inventore di favole, ma un bravo narratore che rispetta la verità della storia, usando il copione originale come bussola per non perdersi mai.

È come se avessimo dato a un bambino che guarda i cartoni animati il libretto della trama: da quel momento, smette di inventare chi è il cattivo e inizia a raccontare la storia vera, con i nomi giusti e le battute corrette.

Sommario tecnico

1. Il Problema

Il campo della narrativa visiva (Visual Storytelling), che consiste nella generazione di narrazioni da sequenze di immagini, ha fatto progressi significativi grazie ai Large Vision-Language Models (LVLM). Tuttavia, i sistemi attuali soffrono ancora di allucinazioni semantiche di alto livello.
Sebbene i modelli siano diventati capaci di "grounding visivo" (identificare correttamente oggetti e persone nelle immagini), tendono a:

• Attribuire erroneamente i dialoghi: Assegnare le battute a personaggi sbagliati.
• Inventare relazioni e stati emotivi: Descrivere interazioni (es. romantica) o emozioni che non corrispondono alla realtà narrativa, basandosi solo sull'aspetto visivo.
• Mancare di coerenza narrativa: Generare dialoghi o trame che contraddicono il contesto reale della storia.

Il problema fondamentale è che l'analisi puramente visiva non fornisce informazioni sulle relazioni reali tra i personaggi, sui dialoghi effettivi o sul contesto narrativo stabilito dalla sceneggiatura.

2. Metodologia

Gli autori propongono un approccio in tre fasi che culmina nel dataset StoryMovie e nel modello Qwen Storyteller3.

A. Il Dataset StoryMovie

• Composizione: Il dataset contiene 1.757 storie derivate da sequenze cinematografiche.
• Allineamento Semantico: Ogni storia è allineata con le sceneggiature originali (script) e i sottotitoli dei film.
• Pipeline di Allineamento: Viene utilizzato un algoritmo basato sulla LCS (Longest Common Subsequence) per sincronizzare i dialoghi della sceneggiatura con i timestamp dei sottotitoli.
  • Le sceneggiature forniscono nomi dei personaggi, dialoghi e indicazioni emotive (es. "con rabbia"), ma mancano di timestamp precisi.
  • I sottotitoli hanno timestamp precisi ma mancano di attribuzione del parlante.
  • L'LCS unisce queste fonti, permettendo di attribuire i dialoghi ai personaggi corretti in base alla posizione temporale.
• Struttura: Le storie mantengono i tag di grounding visivo (XML) delle fasi precedenti, ma integrano nomi reali dei personaggi, dialoghi autentici e dinamiche relazionali tratte dalla sceneggiatura.

B. Il Modello Qwen Storyteller3

Il modello rappresenta la terza fase di un approccio di training progressivo:

1. Qwen Storyteller: Grounding visivo di base e ragionamento Chain-of-Thought (CoT).
2. Qwen Storyteller2: Miglioramento del re-identificazione delle entità tramite Reinforcement Learning (RL) contrastivo.
3. Qwen Storyteller3 (Proposto): Fine-tuning su StoryMovie per l'allineamento semantico.
   • Il modello riceve in input le immagini, il CoT strutturato, il segmento di sceneggiatura allineato e i sottotitoli.
   • Impara a mappare le entità visive (es. "char1") ai nomi reali (es. "Mary") e a generare dialoghi e stati emotivi coerenti con la sceneggiatura, non solo con l'aspetto visivo.
   • Utilizza l'adattamento LoRA (Low-Rank Adaptation) con rank 32.

3. Contributi Chiave

1. Dataset StoryMovie: Il primo dataset di narrativa visiva che integra ground-truth semantico (sceneggiature e sottotitoli) per 1.757 storie, fornendo un contesto reale per l'addestramento.
2. Pipeline di Allineamento Script-Sottotitoli: Un metodo robusto basato su LCS per sincronizzare dialoghi scritti e temporali, abilitando l'attribuzione corretta dei dialoghi.
3. Qwen Storyteller3: Un modello che dimostra come l'allineamento semantico con fonti narrative autentiche riduca le allucinazioni di dialogo e relazioni, superando i limiti del solo grounding visivo.

4. Risultati

La valutazione è stata condotta utilizzando DeepSeek V3 come giudice LLM per confronti pairwise su 341 campioni di test.

• Confronto con il modello Base (Qwen2.5-VL 7B):
  • Allineamento Sottotitoli (Attribuzione Dialoghi): Qwen Storyteller3 ottiene un 89.9% di vittorie contro il 3.5% del modello base.
  • Allineamento Sinossi (Narrativa): 87.6% contro 6.8%.
• Confronto con il modello precedente (Qwen Storyteller, senza allineamento script):
  • Allineamento Sottotitoli: 48.5% di vittorie contro il 38.0% del baseline (miglioramento di 10.5 punti percentuali).
  • Allineamento Sinossi: 42.7% contro 28.5%.
  • Questo conferma che l'aggiunta della sceneggiatura migliora specificamente l'attribuzione dei dialoghi e la coerenza narrativa, oltre al semplice grounding visivo.
• Valutazione Q&A Fattuale:
  • Su domande relative a relazioni, azioni e stati emotivi, il modello proposto raggiunge una accuratezza globale del 93.9% (vs 63.2% del baseline).
  • Il divario è più marcato nelle domande sulle relazioni (94.7% vs 55.3%), confermando che l'approccio visivo puro fallisce nel dedurre dinamiche interpersonali non visibili.

5. Significato e Implicazioni

Il lavoro dimostra che il grounding visivo da solo è insufficiente per una narrativa coerente. Anche se un modello riconosce correttamente "chi" è nell'immagine, non può sapere "cosa" sta succedendo o "chi" sta parlando senza un ancoraggio semantico esterno.

• Riduzione delle Allucinazioni: L'integrazione di script e sottotitoli agisce come un "ancoraggio semantico" esterno, riducendo drasticamente le invenzioni di dialoghi e relazioni.
• Approccio Progressivo: La ricerca valida una metodologia di training a stadi (Grounding Visivo -> Re-identificazione -> Allineamento Semantico) come strategia efficace per affrontare diversi tipi di allucinazioni nei modelli multimodali.
• Fondamento per il Futuro: Il dataset e il modello aprono la strada a sistemi di storytelling che rispettano la narrazione originale, essenziali per applicazioni in intrattenimento, educazione e giornalismo, sebbene le limitazioni attuali (lingua inglese, dominio cinematografico) richiedano futuri lavori per generalizzare ad altre fonti visive e lingue.