Sintesi Tecnica: I Video-LLM Guardano Davvero? Diagnosi dei Fallimenti nel Tracciamento dei Personaggi in Video di Lunga Durata

Definizione del Problema

Sebbene recenti Video-LLM open-source da 7–8B abbiano raggiunto accuratezze dichiarate del 37–38% nel compito di "aspetto globale" di InfiniBench — che richiede di identificare l'ordine cronologico dei cambi di abbigliamento di un personaggio nominato attraverso un intero episodio televisivo — esiste una critica incertezza riguardo alla fonte di tale prestazione. Resta il dubbio se questi modelli traccino realmente l'identità del personaggio nel tempo o se si affidino a euristiche superficiali, come indizi di genere, bias di posizione o associazioni memorizzate, per rispondere correttamente. Il problema centrale è distinguere tra il vero tracciamento del personaggio (legare l'evidenza visiva a una specifica entità nominata) e il semplice riconoscimento di pattern superficiali che produce punteggi elevati nei benchmark senza una reale comprensione.

Metodologia

Gli autori propongono un protocollo diagnostico a nove condizioni per separare l'accuratezza del benchmark dalla reale capacità di tracciamento del personaggio. La valutazione si concentra sulla split di validazione di The Big Bang Theory (BBT) di InfiniBench (129 domande) ed estende l'analisi a Friends e Castle per un'analisi cross-show.

Modelli Valutati:

• Open-Source (7–8B): InternVL2-8B, Qwen2.5-VL-7B e LLaVA-NeXT-Video-7B.
• Riferimento Frontier: Gemini 2.5 Flash (valutato su un sottoinsieme parziale a causa dei vincoli API).

Condizioni Diagnostiche:

1. Standard MC (Scelta Multipla): Video dell'episodio completo con domande a scelta multipla.
2. Solo Testo: 16 fotogrammi neri con lo stesso prompt per isolare il tentativo basato sul testo.
3. Frame Mirati: Sostituzione del campionamento uniforme con frame "oracle" tratti dalle finestre temporali degli outfit di riferimento, per testare se il collo di bottiglia sia la mancanza di contenuto visivo.
4. Sostituzione del Nome (Core Diagnostico): Sostituzione del personaggio nominato nella domanda con un altro membro del cast principale, mantenendo identici il video e le opzioni. Un modello con vero tracciamento dovrebbe cambiare risposta; un modello che ignora il nome non dovrebbe farlo. Questo è ulteriormente scomposto in Stesso Genere vs Genere Opposto.
5. Open-Ended (OE - Aperta): Rimozione delle opzioni a scelta multipla e richiesta di descrizioni testuali libere della sequenza di outfit.
6. Solo Metadati: Rimozione totale del video per testare la contaminazione da pre-training (memorizzazione).
7. Ablazione del Conteggio Frame: Variazione del numero di frame (8, 16, 32, 64) per testare se l'aumento dell'input visivo migliori il tracciamento.
8. Astensione: Aggiunta di un'opzione "Non posso determinare" per testare la calibrazione.
9. Ablazione Sottotitoli: Aggiunta di testo dialogato parsato per testare se la mancanza di contesto testuale guidi i fallimenti.

Metriche:

• Sensibilità alla Sostituzione del Nome: La percentuale di casi in cui il modello cambia la lettera della risposta dopo una sostituzione del nome.
• Accuratezza Collettiva: La frazione di episodi in cui tutte le domande sono state risposte correttamente.
• Bias di Posizione: Test chi-quadrato contro la distribuzione uniforme per rilevare la preferenza per una lettera.

Risultati Chiave

1. Bassa Sensibilità al Tracciamento del Personaggio

Il risultato principale è che i modelli open-source ignorano ampiamente il nome specifico del personaggio.

• Sostituzione del Nome: Quando il nome del personaggio è stato sostituito, i modelli hanno cambiato la loro risposta solo nel 4–31% dei casi (a seconda del modello e dello show). Questo è significativamente inferiore al cambiamento vicino al 100% atteso se il modello stesse tracciando l'identità.
• Meccanismo di Bias di Genere: La sensibilità è guidata quasi interamente dalle sostituzioni di genere opposto. Quando si sostituisce un personaggio maschile con uno femminile (o viceversa), la sensibilità sale al 20–43%. Tuttavia, per le sostituzioni di stesso genere (es. da Sheldon a Howard), la sensibilità scende al 4–17%. Ciò indica che i modelli utilizzano indizi grossolani di genere ma non riescono a distinguere tra individui dello stesso genere.

2. Il Gap tra Scelta Multipla e Domande Aperte

• Modelli Open-Source: Quando costretti a generare risposte senza opzioni, l'accuratezza scende di 18–25 punti percentuali. Fondamentalmente, 0 su 151 risposte aperte degli open-source sono state completamente corrette.
• Gemini 2.5 Flash: Mostra un gap minore (12.2 punti) e ha ottenuto 14/52 risposte aperte completamente corrette, suggerendo un legame di identità più robusto, seppur ancora imperfetto.
• Implicazione: Gli alti punteggi MC per i modelli open-source sono in parte un artefatto dell'insieme di opzioni ristretto, che permette un filtraggio grossolano per genere per eliminare le risposte errate.

3. Bias di Posizione e Calibrazione

• Bias di Posizione: I modelli open-source mostrano forti bias di lettera specifici per modello (es. LLaVA predice 'A' il 70% delle volte; InternVL2 e Qwen predicono 'E' circa il 40%), che sono statisticamente significativi e non correlati al contenuto.
• Calibrazione: I modelli raramente usano l'opzione "Non lo so" (tassi di astensione <12%), indicando che non possono identificare la propria incertezza.

4. Esclusione di Spiegazioni Alternative

• Conteggio Frame: L'aumento dei frame da 16 a 32 ha migliorato l'accuratezza complessiva ma non ha migliorato la sensibilità alla sostituzione del nome. Il collo di bottiglia non è la quantità di dati visivi, ma il legame di tali dati con l'entità nominata.
• Sottotitoli: L'aggiunta del testo dei dialoghi non ha migliorato le prestazioni, escludendo che la mancanza di contesto testuale sia il principale modo di fallimento.
• Memorizzazione: I baseline di soli metadati hanno ottenuto punteggi vicini al caso (~20%), escludendo che la memorizzazione del titolo dello show o degli outfit canonici nel pre-training sia il motore del successo.
• Struttura dell'Annotazione: Lo studio ha rilevato che la "difficoltà" varia per show a causa dell'interazione tra la durata dell'episodio e i budget di frame fissi (es. gli episodi di Castle sono più lunghi, causando al campionamento uniforme di mancare i cambi di outfit più spesso rispetto a BBT). Questo è un artefatto strutturale, non un problema di capacità del modello.

5. Accuratezza Collettiva

Nonostante i punteggi aggregati di circa il 38%, 0 episodi su 20 di BBT sono stati risposti correttamente nella loro interezza da alcuno dei tre modelli open-source. Ciò conferma che le risposte corrette sono tentativi casuali piuttosto che prova di una comprensione a livello di episodio.

Contributi Chiave

1. Protocollo Diagnostico: Un framework a nove condizioni che separa l'accuratezza del benchmark dalla capacità di tracciamento del personaggio, evidenziando specificamente il ruolo della sostituzione del nome e della scomposizione per genere.
2. Evidenza Empirica di Fallimento: Dimostrazione che gli attuali Video-LLM 7–8B non tracciano robustamente l'identità del personaggio, affidandosi invece a grossolani indizi di genere e bias di posizione.
3. Rilascio del Toolkit: Gli autori rilasciano un toolkit diagnostico per audit delle affermazioni di tracciamento del personaggio nei futuri benchmark per i Video-LLM.
4. Implicazioni per il Design dei Benchmark: Raccomandazioni per riportare l'invarianza alla sostituzione del nome, le statistiche di annotazione per episodio e il gap MC-OE per evitare punteggi aggregati fuorvianti.

Significato e Rivendicazioni

L'articolo sostiene che i progressi riportati nei benchmark dei Video-LLM (es. accuratezza del 37–38%) siano fuorvianti riguardo alla specifica capacità di tracciamento del personaggio. Gli autori sostengono che questi punteggi riflettono la capacità di un modello di filtrare per genere e indovinare in base al bias di posizione, piuttosto che la capacità di "guardare" e seguire un personaggio specifico attraverso un lungo video.

Lo studio conclude che i miglioramenti attuali nei Video-LLM (scalare le feature visive, il ragionamento e la lunghezza del contesto) non stanno affrontando il collo di bottiglia fondamentale: il legame dell'identità visiva ai token linguistici. Gli autori sottolineano che, senza affrontare questo meccanismo di legame, i Video-LLM continueranno a fallire in compiti che richiedono un vero tracciamento temporale dell'identità. Il lavoro funge da diagnostica cautelativa per il settore, esortando a un passaggio da metriche di accuratezza aggregata a valutazioni sensibili all'identità.