VidHal: Benchmarking Temporal Hallucinations in Vision LLMs

1. Il Problema: Allucinazioni Temporali nei VLLM

I Large Language Models basati sulla visione (VLLM) hanno mostrato prestazioni impressionanti nella comprensione di immagini e video. Tuttavia, sono notoriamente soggetti a allucinazioni, ovvero generano risposte che sembrano plausibili ma contraddicono il contesto visivo.
Mentre la ricerca esistente si è concentrata principalmente su allucinazioni statiche (basate su immagini) e su oggetti specifici, c'è una carenza significativa nello studio delle allucinazioni temporali nei video. I video presentano dinamiche spaziotemporali complesse (direzione del movimento, ordine cronologico degli eventi) che i modelli attuali faticano a interpretare correttamente. Le metriche di valutazione attuali, spesso basate su domande binarie (Vero/Falso) o su coppie "positivo/allucinazione", non riescono a catturare le sfumature degli errori, specialmente quando si tratta di distinguere tra diversi gradi di gravità di un'allucinazione.

2. Metodologia: Il Benchmark VidHal

Per colmare questo vuoto, gli autori introducono VidHal, un benchmark progettato specificamente per valutare le allucinazioni basate sui video.

Costruzione del Dataset

• Fonti: Il dataset è stato costruito "bootstrapping" (riutilizzando e ampliando) istanze video da quattro dataset pubblici: TempCompass, Perception Test, MVBench e AutoEval-Video.
• Aspetti Temporali: VidHal copre cinque dimensioni temporali chiave, divise in due livelli semantici:
  1. Semantica Lessicale (L-Sem):
     • Attributi: Caratteristiche fine-grained (Dimensione, Forma, Colore, Conteggio, Cambiamento di Stato).
     • Oggetti: Riconoscimento e Classificazione delle interazioni.
     • Azioni: Movimenti e comportamenti.
     • Direzione: Orientamento e traiettoria del movimento.
  2. Semantica Clausale (C-Sem):
     • Ordine degli Eventi: La sequenza cronologica corretta degli eventi nel video.
• Generazione delle Didascalie: Per ogni video, viene generata una "didascalia ancoretta" (ground truth) basata sui metadati originali. Successivamente, utilizzando GPT-4o con prompt specifici, vengono generate M-1 didascalie allucinate con livelli crescenti di errore (da moderato ad alto). Questo permette di valutare non solo se un modello sbaglia, ma quanto sbaglia.
• Validazione Umana: Un processo di validazione umana su un campione di 100 video (con 15 annotatori ciascuno) ha confermato un accordo dell'87% tra l'ordinamento automatico delle didascalie e il giudizio umano, garantendo l'affidabilità del benchmark.

Protocollo di Valutazione

Gli autori propongono due nuovi compiti di valutazione per superare i limiti delle metriche binarie:

1. Risposta a Domande a Scelta Multipla (MCQA): Il modello deve scegliere la didascalia corretta tra le opzioni fornite.
2. Ordinamento delle Didascalie (Caption Ordering): Un compito innovativo in cui il modello deve ordinare le didascalie fornite in base al loro livello di allucinazione (dal più accurato al più errato).
   • Viene introdotta una variante "Relativa" che scompone il compito in confronti a coppie per evitare ranking ciclici o non transitivi.
   • Metriche: Oltre all'accuratezza per l'MCQA, viene utilizzato un NDCG (Normalized Discounted Cumulative Gain) adattato per l'ordinamento delle didascalie. Questo permette di assegnare crediti parziali anche se il ranking non è perfetto, catturando così le sfumature degli errori.

3. Risultati Sperimentali

Il benchmark è stato testato su 23 VLLM (10 open-source e 3 proprietari, inclusi GPT-4.1, Gemini 2.5, Qwen2.5-VL, VideoLLaMA2, ecc.).

• Prestazioni Generali: Nessun modello ha mostrato una padronanza completa. Anche i modelli proprietari più avanzati (come Gemini 2.5 Pro e GPT-4.1) hanno ottenuto punteggi NDCG intorno a 0.87, indicando che c'è ancora spazio significativo per il miglioramento.
• Open Source vs Proprietari: I modelli open-source (es. LongVU, Qwen2.5-VL) hanno raggiunto prestazioni competitive, talvolta superando modelli proprietari su specifici task di ordinamento relativo.
• Scalabilità dei Parametri: Contrariamente alle aspettative, aumentare la scala dei parametri (es. da 7B a 72B) non ha sempre portato a miglioramenti significativi nella riduzione delle allucinazioni temporali. In alcuni casi, varianti più piccole hanno performato meglio.
• Debolezze Specifiche:
  • I modelli eccellono su aspetti come Azione e Oggetti, probabilmente a causa dell'addestramento su dataset focalizzati sul riconoscimento di oggetti statici.
  • I modelli falliscono sistematicamente su aspetti temporali puri come Direzione e Ordine degli Eventi, che richiedono una comprensione dinamica del video.
• Analisi delle Cause:
  • Dipendenza da Priors di Immagine: Gli esperimenti di ablazione mostrano che molti VLLM si affidano eccessivamente a singoli fotogrammi (priors spaziali) piuttosto che sfruttare il contesto temporale completo. Questo bias è particolarmente forte nei modelli più piccoli.
  • Difficoltà di Distinzione: I modelli faticano a distinguere tra didascalie con livelli di allucinazione "moderati" e "alti", spesso preferendo didascalie altamente allucinate rispetto a quelle leggermente errate.

4. Contributi Chiave

1. VidHal Dataset: Un nuovo benchmark dedicato alle allucinazioni video, caratterizzato da una copertura diversificata di concetti temporali e da didascalie con livelli di allucinazione graduati.
2. Nuovo Task di Valutazione: Introduzione del task di "Ordinamento delle Didascalie" e della metrica NDCG adattata, che permettono una valutazione fine-grained delle capacità di ragionamento temporale, superando i limiti delle valutazioni binarie.
3. Analisi Empirica Estesa: Un'analisi approfondita di 23 modelli che rivela limitazioni critiche nel ragionamento video fine-grained e nell'eccessiva dipendenza da informazioni spaziali statiche.

5. Significato e Implicazioni

Il lavoro di VidHal è fondamentale perché sposta il focus dalla semplice rilevazione di errori "grossolani" alla comprensione delle sfumature nelle allucinazioni temporali. Dimostra che i VLLM attuali, pur essendo potenti, non hanno ancora una comprensione olistica della dinamica video, fallendo spesso nel distinguere tra scenari plausibili ma errati e scenari corretti.

Le implicazioni per la ricerca futura includono:

• La necessità di incorporare una gamma più ampia di caratteristiche temporali durante il pre-addestramento.
• Lo sviluppo di architetture che riducano la dipendenza dai priors di singoli fotogrammi a favore di una comprensione spaziotemporale integrata.
• L'adozione di metriche di valutazione più sofisticate (come l'ordinamento) per guidare lo sviluppo di modelli più robusti per applicazioni reali (es. sorveglianza, analisi medica, guida autonoma).

Il dataset e il codice di valutazione sono disponibili pubblicamente per favorire ulteriori ricerche in questo settore.