NarrativeTrack: Evaluating Entity-Centric Reasoning for Narrative Understanding

Titolo: NARRATIVETRACK: Valutazione del Ragionamento Centrato sull'Entità per la Comprensione Narrativa

1. Il Problema

I Modelli Linguistici Multimodali (MLLM) hanno fatto progressi significativi nel ragionamento visione-linguaggio, ma la loro capacità di comprendere narrative temporali in evoluzione nei video rimane scarsamente esplorata.

• Limiti attuali: La comprensione narrativa richiede più del semplice riconoscimento di eventi isolati; necessita di mantenere rappresentazioni coerenti di "chi sta facendo cosa, quando e dove" attraverso transizioni di scena e lacune temporali.
• Carenze dei Benchmark esistenti: Le valutazioni attuali si concentrano spesso su clip brevi, semantica a livello di scena o riconoscimento locale (azioni/oggetti). Molti di questi benchmark possono essere risolti utilizzando indizi visivi statici o priors linguistici senza un vero ragionamento temporale. Manca un framework che valuti la capacità dei modelli di tracciare entità in modo coerente attraverso intere narrazioni, specialmente quando le entità scompaiono, riappaiono o cambiano stato.

2. Metodologia

Gli autori introducono NARRATIVETRACK, il primo benchmark progettato per valutare la comprensione narrativa attraverso un approccio centrato sull'entità (entity-centric) e dal basso verso l'alto.

A. Pipeline Automatizzata di Estrazione Entità
Per costruire il benchmark in modo scalabile senza annotazione manuale costosa, è stata sviluppata una pipeline completamente automatizzata che estrae rappresentazioni temporali delle entità dai video grezzi:

1. Rilevamento Entità: Utilizzo di un ensemble di modelli di rilevamento (Detectron2 e Owlv2) con una strategia di consenso spaziale (IoU $\ge$ 0.5) per garantire una copertura completa e non ridondante.
2. Tracking Entità: Identificazione dei personaggi principali tramite clustering di embedding ReID (OSNet-x1.0) e raffinamento delle traiettorie tramite riconoscimento facciale e votazione a maggioranza tra più MLLM per garantire la coerenza dell'identità.
3. Riconoscimento Contestuale: Utilizzo di un modello MLLM avanzato (Gemini-2.5-Pro) per annotare attributi contestuali (azione, outfit, scena) per ogni istante temporale in cui un'entità è visibile, creando una rappresentazione strutturata $\tau_{e_i}$.

B. Progressione del Ragionamento Compositivo (CRP)
Il benchmark valuta i modelli attraverso una struttura gerarchica che aumenta progressivamente la complessità narrativa in tre dimensioni:

1. Esistenza dell'Entità (Entity Existence): Valuta la continuità temporale di base. Il modello deve tracciare la presenza, la scomparsa e la riapparizione di un'entità.
2. Cambiamenti dell'Entità (Entity Changes): Valuta il ragionamento sulle transizioni di stato. Include:
   • Cambi di Azione: Tracciamento di eventi dinamici.
   • Cambi di Outfit: Grounding visivo fine-grained di cambiamenti percettivi.
   • Cambi di Scena: Grounding spaziale e contestuale.
3. Ambiguità dell'Entità (Entity Ambiguity): Introduce entità visivamente simili per sfidare la capacità del modello di disambiguare finemente le identità in condizioni di dinamica temporale.

C. Generazione delle Domande (QA)
Le domande (binarie, a scelta multipla, ordinamento cronologico) sono generate programmaticamente basandosi sui metadati strutturati estratti. Vengono utilizzati distrattori "reali" (altre entità nello stesso video) e "sintetici" (entità da video diversi) per testare la robustezza all'allucinazione e la discriminazione fine.

3. Contributi Chiave

• Primo Benchmark Entity-Centric: NARRATIVETRACK è il primo framework sistematico che decompone i video nelle loro entità costituenti per valutare la comprensione narrativa, spostando il focus dalla semantica globale al tracciamento fine-grained.
• Pipeline di Annotazione Fully-Automated: Una soluzione scalabile che elimina la dipendenza da annotazioni manuali costose, garantendo coerenza temporale e attributi contestuali precisi.
• Framework Diagnostico (CRP): La Progressione del Ragionamento Compositivo permette di isolare esattamente dove fallisce un modello: se nella continuità temporale, nel grounding percettivo o nella disambiguazione.
• Analisi del Trade-off: Il benchmark rivela un compromesso fondamentale tra grounding percettivo e ragionamento temporale nei modelli attuali.

4. Risultati Sperimentali

Il benchmark è stato testato su 12 modelli MLLM open-source (generali e specializzati in video) e su modelli proprietari (GPT-4o).

• Performance Generale: I modelli attuali faticano a mantenere rappresentazioni coerenti delle entità. GPT-4o ottiene la migliore accuratezza media (72.27%), ma anche questo modello mostra limiti significativi.
• Trade-off Fondamentale:
  • I MLLM generali (es. Qwen-2.5-VL) mostrano un forte grounding percettivo (riconoscono bene immagini statiche) ma falliscono nella coerenza temporale.
  • I MLLM specializzati in video (es. Video-LLaMA2) catturano meglio la continuità temporale ma tendono ad allucinare dettagli percettivi (outfit, azioni) o a confondere identità simili.
• Bias Temporale Direzionale: I modelli mostrano un forte bias verso il ragionamento in avanti (forward). Le prestazioni crollano drasticamente nel ragionamento inverso (backward) o agnostico (da un punto medio), suggerendo che i modelli codificano le relazioni temporali in modo unidirezionale (simile al "Reversal Curse" negli LLM).
• Impatto della Densità dei Frame: Aumentare il numero di frame di input oltre una certa soglia (circa 20 frame) non migliora le prestazioni e talvolta le peggiora, indicando che il collo di bottiglia non è la quantità di dati, ma la capacità del modello di integrare la coerenza temporale e il grounding percettivo.
• Scalabilità: Aumentare le dimensioni del modello non risolve sistematicamente il problema del tracciamento delle entità.

5. Significato e Implicazioni

NARRATIVETRACK dimostra che la comprensione narrativa non è una competenza monolitica, ma una capacità compositiva che emerge dall'integrazione di ragionamento temporale e precisione percettiva.

• Diagnosi: Il benchmark fornisce strumenti per diagnosticare se i fallimenti dei modelli derivano da una rottura della continuità temporale, da un grounding debole degli attributi o da confusione tra entità simili.
• Direzione Futura: I risultati indicano la necessità di innovazioni architetturali, come la modellazione temporale bidirezionale e obiettivi di addestramento specifici per le entità, per superare l'attuale capacità di riconoscimento superficiale e raggiungere una vera comprensione narrativa.

In sintesi, il paper stabilisce che i MLLM attuali, pur eccellendo nell'allineamento semantico di alto livello, non sono ancora in grado di costruire e mantenere modelli mentali coerenti di entità in movimento attraverso narrazioni video complesse, evidenziando un gap critico nella ricerca sull'intelligenza artificiale multimodale.