OmniScript: Towards Audio-Visual Script Generation for Long-Form Cinematic Video

Titolo: OmniScript: Verso la Generazione di Script Audio-Visivi per Video Cinematografici a Lunga Durata

1. Il Problema

Le attuali Multimodal Large Language Models (MLLM) hanno dimostrato capacità eccezionali nella comprensione di video brevi (short-form), ma falliscono nel tradurre video cinematografici a lunga durata (film, serie TV, drammi brevi) in script dettagliati e temporalmente ancorati.
Le sfide principali identificate sono:

• Mancanza di dati: L'annotazione manuale di video lunghi con granularità fine (azioni, dialoghi, espressioni, cue audio) è estremamente laboriosa e costosa.
• Valutazione complessa: Non esistono metriche standardizzate per valutare script aperti, strutturati gerarchicamente e con riferimenti temporali precisi. Le metriche tradizionali (come BLEU o tIoU semplice) non catturano la coerenza narrativa o la fedeltà semantica.
• Costo computazionale: La generazione autoregressiva di descrizioni dettagliate per video lunghi richiede un numero enorme di token, rendendo l'inferenza proibitiva e costosa.
• Coerenza narrativa: Mantenere la coerenza dei personaggi, delle relazioni e della trama su scale temporali estese è difficile per i modelli esistenti, che tendono a perdere il contesto o a generare allucinazioni.

2. Metodologia

Il paper introduce OmniScript, un modello linguistico omni-modale (audio + visivo) da 8 miliardi di parametri, progettato specificamente per la comprensione narrativa a lungo termine.

A. Definizione del Task (Video-to-Script - V2S)
L'obiettivo è trasformare un video non tagliato in uno script strutturato gerarchicamente:

1. Livello Meta: Titolo, durata totale, lista personaggi.
2. Livello Scena: Identificatore, luogo, ora, atmosfera, umore.
3. Livello Evento: Timestamp preciso, personaggio, azione, dialogo, espressione facciale, cue audio (musica, effetti sonori).

B. Pipeline di Annotazione "Memory-Augmented"
Per superare la scarsità di dati, gli autori hanno costruito un primo dataset di benchmark umano-annotato utilizzando una pipeline automatizzata avanzata:

• Character Profile Manager (CPM): Un modulo di memoria che traccia i personaggi attraverso i segmenti video, aggiornando dinamicamente i profili (cambi di costume, relazioni) e risolvendo le identità.
• Generazione a Stadi: Utilizzo di modelli esperti (es. Gemini-2.5-Pro) per il ragionamento sulla trama basato sui profili dei personaggi, seguito da una generazione dettagliata dello script.
• CoT (Chain-of-Thought): Costruzione di un dataset dove il modello impara prima a ragionare sulla trama e sulle relazioni prima di generare lo script finale.

C. Architettura del Modello (OmniScript)

• Base: Costruito su Qwen3-VL (8B parametri).
• Allineamento Temporale Audio-Visivo: Utilizzo di un encoder Whisper per l'audio, allineato a livello di timestamp con le feature visive.
• AV-DeepStack: Una strategia di fusione che inietta i token audio e visivi in multiple layer del LLM (non solo all'ingresso), permettendo interazioni cross-modali profonde durante l'inferenza semantica.
• Decoding Guidato dal Ragionamento: Il modello genera prima una traccia di ragionamento (CoT) che riassume la progressione della trama e le relazioni tra i personaggi, per poi generare lo script strutturato.

D. Addestramento Progressivo

1. Allineamento delle Modalità: Addestramento dei proiettori audio mantenendo il backbone visivo-linguistico congelato.
2. Pre-training Multimodale: Su 2.4M di video per unificare la semantica cross-modale.
3. Supervised Fine-Tuning (SFT): Utilizzo del dataset annotato con CoT per la generazione strutturata.
4. Reinforcement Learning (RL): Utilizzo di GRPO con una ricompensa segmentata temporale. A differenza delle ricompense globali, questa valuta la precisione e il richiamo a livello di singolo evento, penalizzando rigorosamente errori fini e allucinazioni temporali.

E. Gestione dei Video Lunghi
Per video superiori a 5 minuti, vengono proposte due strategie:

1. OmniScript-LCE (Long Context Extension): Estensione diretta della finestra di contesto (richiede più risorse).
2. OmniScript-TSG (Two-Stage Generation): Una strategia a due stadi che prima segmenta il video (previsione di timestamp, trama e personaggi) e poi genera lo script per ogni segmento, fondendo infine i risultati. Questa strategia dimostra una robustezza superiore alla lunghezza.

3. Contributi Chiave

1. Primo Benchmark V2S: Un dataset umano-annotato di 10 opere cinematografiche (19.9 ore) con 1.4k scene e 16.8k eventi, includendo cue audio, espressioni e sottotesti rari nei dataset esistenti.
2. Framework di Valutazione Gerarchico: Un nuovo sistema di valutazione a 4 stadi che separa la qualità semantica dalla localizzazione temporale, utilizzando l'allineamento dinamico e la risoluzione delle identità dei personaggi tramite LLM.
3. OmniScript (8B): Un modello efficiente che supera modelli open-source molto più grandi (es. Qwen3-235B) e compete con modelli proprietari di stato dell'arte (es. Gemini 3-Pro) nella generazione di script.
4. Strategia TSG: Una soluzione innovativa per il problema della "caduta del contesto" (context cliff) nei video molto lunghi, mantenendo la coerenza narrativa senza degradare le prestazioni.

4. Risultati Sperimentali

• Prestazioni su Video Brevi (5 min): OmniScript (8B) ottiene un punteggio Overall F1 di 37.7 e un tIoU@0.1 di 69.3, superando modelli open-source di grandi dimensioni (es. Qwen3VL-235B) e competendo con Gemini 3-Pro (che ottiene 38.9 Overall e 64.4 tIoU).
• Efficienza dei Parametri: Nonostante le dimensioni ridotte (8B), il modello è significativamente più efficiente e performante di modelli MoE o con centinaia di miliardi di parametri.
• Robustezza ai Video Lunghi:
  • I modelli basati su contesto globale (inclusi i baselines Gemini) subiscono un crollo delle prestazioni ("context cliff") oltre i 30 minuti.
  • La strategia OmniScript-TSG mantiene prestazioni piatte e stabili fino a 45 minuti, dimostrando una robustezza senza precedenti alla lunghezza del video.
• Analisi Ablativa:
  • L'uso del CoT migliora la coerenza globale e il punteggio di dialogo.
  • Il Reinforcement Learning con ricompense segmentate migliora la precisione fine.
  • L'input Audio è cruciale: un modello solo visivo crolla nel riconoscimento dei dialoghi (da 68.2% a 52.0%), dimostrando che i modelli audio-visivi non si basano solo sui sottotitoli visivi ma comprendono il parlato reale.

5. Significato e Impatto

Questo lavoro rappresenta un passo fondamentale verso l'automazione della comprensione dei media cinematografici.

• Applicazioni Pratiche: Abilita nuove funzionalità per l'industria cinematografica come logging automatico, recupero avanzato dei contenuti (search by action/dialogue), e assistenza alla creatività umana.
• Avanzamento Scientifico: Dimostra che l'integrazione profonda di audio e visivo, combinata con un ragionamento strutturato e una valutazione rigorosa, è essenziale per la comprensione narrativa a lungo termine.
• Riflessione sull'Architettura: Svela i limiti attuali dei modelli LLM nel gestire contesti estremamente lunghi e propone strategie ibride (segmentazione + generazione) come via d'uscita efficace.

In sintesi, OmniScript stabilisce un nuovo standard per la generazione di script video, dimostrando che modelli più piccoli ma ben addestrati e architetturalmente specifici possono superare modelli generici molto più grandi in compiti complessi di narrazione cinematografica.