INFACT: A Diagnostic Benchmark for Induced Faithfulness and Factuality Hallucinations in Video-LLMs

Il paper introduce INFACT, un benchmark diagnostico composto da 9.800 domande e risposte su video reali e sintetici, progettato per valutare la fedeltà e la fattualità dei Video-LLM in condizioni degradate, rivelando che l'accuratezza di base non garantisce affidabilità sotto manipolazioni visive o temporali.

L'essenziale

Immagina di avere un assistente super intelligente che guarda video e ti racconta cosa succede. Sembra magico, vero? Ma c'è un problema: a volte questo assistente inventa cose.

Questo è il cuore del paper che hai condiviso. Gli autori hanno creato un nuovo "esame di realtà" chiamato INFACT per capire quanto questi assistenti (chiamati Video-LLM) siano affidabili o se stiano solo "fantasticando".

Ecco come funziona, spiegato con parole semplici e qualche metafora divertente:

1. Il Problema: L'Assistente che Sogna a Occhi Aperti

Immagina di guardare un video di un gatto che salta su un tavolo.

• Allucinazione di Fedeltà (Faithfulness): L'assistente dice: "Il gatto ha le ali e vola". Questo è un errore perché il video non mostra ali. L'assistente ha ignorato ciò che ha visto.
• Allucinazione di Fattualità (Factuality): L'assistente dice: "Quello è un gatto che sta facendo un'operazione chirurgica". Questo è un errore perché, anche se il video mostra un gatto, la conoscenza del mondo ci dice che i gatti non fanno operazioni chirurgiche.

Fino a oggi, i test per questi assistenti erano come esami scolastici fatti in una stanza silenziosa e perfetta. Funzionavano bene se tutto era chiaro. Ma nella vita reale? I video sono sgranati, hanno sottotitoli sbagliati, o le azioni sono confuse.

2. La Soluzione: INFACT, il "Campo di Addestramento Estremo"

Gli autori hanno creato INFACT, un banco di prova con quasi 10.000 domande. Non si limitano a chiedere "Cosa vedi?", ma mettono l'assistente in situazioni difficili per vedere se crolla o rimane lucido.

Hanno diviso il test in 4 modalità, come se fossero livelli di un videogioco:

• Livello 1: La Stanza Pulita (Base)
  È il test normale. Video chiaro, domanda semplice. Qui vediamo quanto è bravo l'assistente in condizioni ideali.

  • Metafora: È come guidare un'auto su un'autostrada asfaltata con il sole che splende.

• Livello 2: La Nebbia e la Pioggia (Visual Degradation)
  Qui prendono il video e lo "sporcano": lo rendono sfocato, aggiungono rumore, o lo comprimono come quando la connessione internet è lenta.

  • La domanda: Se non riesco a vedere bene, l'assistente inventa dettagli o ammette di non sapere?
  • Metafora: È come guidare sotto una forte pioggia. Un bravo guidatore rallenta e usa il buon senso, non si inventa la strada.

• Livello 3: Il Bugiardo nel Sottotitolo (Evidence Corruption)
  Questa è la parte più insidiosa. Mantengono il video uguale, ma cambiano i sottotitoli o aggiungono note a voce che dicono il contrario di ciò che si vede.

  • Esempio: Nel video vedi qualcuno che apre una porta, ma il sottotitolo dice "Sta chiudendo la porta".
  • La domanda: L'assistente si fida dei suoi occhi (il video) o delle parole scritte (il sottotitolo bugiardo)?
  • Metafora: È come guidare mentre un passeggero urla: "Gira a destra!" mentre il cartello stradale indica chiaramente "Gira a sinistra". Un buon assistente guarda il cartello, non urla il passeggero.

• Livello 4: Il Video Capovolto (Temporal Intervention)
  Qui prendono il video e mescolano i fotogrammi o lo fanno andare all'indietro.

  • La domanda: Se l'ordine delle cose cambia, l'assistente capisce che la storia non ha più senso?
  • Metafora: È come guardare un film di cucina dove prima si frigge l'uovo e poi si rompe il guscio. Se l'assistente dice "È una ricetta perfetta", allora non sta capendo la logica del tempo.

3. Cosa Hanno Scoperto? (I Risultati Sorprendenti)

Hanno testato 14 assistenti diversi (alcuni famosi, altri meno) e hanno trovato cose interessanti:

1. Essere bravi non basta: Un assistente che prende il 90% di voti nel "Livello 1" (stanza pulita) potrebbe prendere un 40% nel "Livello 3" (sottotitoli bugiardi). Essere intelligenti in condizioni perfette non significa essere affidabili nel caos.
2. La paura delle bugie: Gli assistenti sono molto fragili quando c'è un testo che contraddice il video. Sembrano più fiduciosi delle parole scritte che di ciò che vedono con i loro "occhi" digitali.
3. Il problema del tempo: Molti assistenti (specialmente quelli open-source) sembrano avere una "inerzia temporale". Se mescoli i fotogrammi di un video, loro continuano a dire la stessa cosa come se nulla fosse cambiato. Non capiscono davvero l'ordine delle cose, ma indovinano basandosi su ciò che hanno imparato prima.

4. Perché è Importante?

Questo studio ci dice che non dobbiamo fidarci ciecamente di questi assistenti video. Se li usiamo per cose importanti (come diagnosi mediche, sicurezza o notizie), dobbiamo sapere che:

• Se il video è un po' sgranato, potrebbero inventare cose.
• Se c'è un sottotitolo sbagliato, potrebbero seguire quello invece della realtà.
• Se la sequenza degli eventi è strana, potrebbero non accorgersene.

In sintesi: INFACT è come un istruttore di guida severo che non si accontenta di vedere l'auto andare dritta in un giorno di sole. Mette l'auto sotto la pioggia, con un passeggero che urla indicazioni sbagliate e con la strada che va all'indietro, per vedere se il guidatore (l'assistente AI) sa davvero guidare o se sta solo fantasticando.

Sommario tecnico

1. Il Problema: Allucinazioni nei Video-LLM

Nonostante i rapidi progressi nei Large Language Models per Video (Video-LLM), questi modelli rimangono inaffidabili a causa delle allucinazioni. Il paper definisce due categorie principali di allucinazioni:

• Mancanza di Fedeltà (Faithfulness): L'output del modello contraddice le evidenze visive presenti nel video (es. descrivere oggetti non presenti o azioni errate).
• Mancanza di Fattualità (Factuality): L'output contraddice la conoscenza del mondo verificabile (es. errori su fatti storici, procedure scientifiche o leggi fisiche), anche se il video è corretto.

Limiti degli approcci attuali:

• I benchmark esistenti si concentrano prevalentemente su allucinazioni di fedeltà (verificabili solo dal video) e trascurano la fattualità.
• Le valutazioni avvengono spesso in "ambienti puliti" (clean settings), dove i modelli possono ottenere punteggi alti sfruttando shortcut (priors linguistici, indizi statici) invece di comprendere realmente il contenuto video.
• Manca una valutazione sistematica della robustezza del modello quando le evidenze vengono perturbate o corrotte.

2. Metodologia: Il Benchmark INFACT

Gli autori introducono INFACT, un benchmark diagnostico progettato per valutare la fedeltà e la fattualità sia in scenari puliti che in scenari rumorosi (perturbati).

A. Costruzione del Dataset

• Scala: Comprende 9.800 istanze di domande e risposte (QA).
• Fonti: Video reali e sintetici, provenienti da dataset esistenti (MVBench, Video-MME, ecc.), risorse instructional e video generati da modelli T2V (Text-to-Video) per creare violazioni fisiche.
• Tassonomia Fine-Grained:
  • Fedeltà: Divisa in tre livelli di complessità spaziotemporale:
    1. Entità e attributi statici (riconoscimento oggetti, testo, attributi).
    2. Azioni e moti dinamici (riconoscimento azioni, conteggio, attributi di movimento).
    3. Relazioni spaziotemporali (relazioni spaziali, temporali, transizioni di stato, localizzazione temporale).
  • Fattualità: Divisa in tre categorie di conoscenza:
    1. Conoscenza di Dominio (Know-WHAT): Eventi culturali, storia, geolocalizzazione, intrattenimento.
    2. Conoscenza Procedurale (Know-HOW): Validità di sequenze di istruzioni (elettronica, meccanica, domestica, clinica).
    3. Conoscenza Fisica (Know-WHY): Adesione alle leggi fisiche (meccanica newtoniana, fluidi, proprietà dei materiali).

B. Protocollo di Valutazione a 4 Modalità

INFACT valuta i modelli in quattro modalità distinte per isolare diverse cause di fallimento:

1. Base (Pulita): Valutazione standard su video e domande originali.
2. Visual Degradation (II): Introduzione di rumore percettivo (Gaussiano, sfocatura da movimento, compressione video) per testare la stabilità semantica.
3. Evidence Corruption (III): Introduzione di segnali testuali fuorvianti (sottotitoli iniettati, corruzione ASR, rumore avversario) per testare la capacità del modello di privilegiare la prova visiva rispetto a segnali esterni ingannevoli.
4. Temporal Intervention (IV): Alterazione della struttura temporale (mescolamento o inversione dei frame) su domande sensibili all'ordine. Qui l'etichetta originale diventa invalida; si testa se il modello cambia risposta quando la logica temporale viene distrutta.

C. Metriche di Valutazione

• Resist Rate (RR): Misura la stabilità in modalità II e III. Calcola la percentuale di risposte corrette nella modalità Base che rimangono corrette anche dopo la perturbazione. Un RR alto indica robustezza.
• Temporal Sensitivity Score (TSS): Misura la sensibilità temporale nella modalità IV. Calcola la percentuale di risposte che cambiano dopo l'intervento temporale su un sottoinsieme dove l'ordine è cruciale. Un TSS alto indica che il modello è sensibile alla struttura temporale (non soffre di "inerzia temporale").

3. Risultati Sperimentali

Il benchmark è stato testato su 14 modelli Video-LLM rappresentativi (inclusi GPT-5.1, Gemini 3-flash e vari modelli open-source come Qwen, InternVL, PLLaVA).

• Correlazione tra Accuratezza Base e Affidabilità: Esiste una forte correlazione tra l'accuratezza nella modalità Base e l'affidabilità nelle modalità indotte, ma non è perfetta. Modelli con prestazioni simili nella modalità Base possono divergere significativamente sotto perturbazioni.
• Fragilità sotto Corruzione delle Evidenze: I modelli tendono a essere più fragili quando esposti a evidenze fuorvianti (es. sottotitoli contraddittori) rispetto alla semplice degradazione visiva. L'iniezione di sottotitoli errati riduce drasticamente la stabilità.
• Inerzia Temporale (Temporal Inertia): Un risultato critico è che molti modelli open-source mostrano un TSS vicino allo zero sulle domande di fattualità. Questo indica che, anche quando l'ordine temporale viene distrutto, il modello mantiene la stessa risposta (basandosi su priors statici o conoscenza esterna) invece di riconoscere che la sequenza è ora illogica.
• Difficoltà Specifiche:
  • La fattualità (specialmente il giudizio procedurale e il ragionamento fisico) rimane più difficile della fedeltà.
  • Gli errori di fedeltà si concentrano su dimensioni legate al movimento e alla struttura (localizzazione temporale, attributi di movimento).
• Impatto del Campionamento dei Frame: Aumentare il numero di frame campionati (da 8 a 32) migliora l'accuratezza Base ma non garantisce un miglioramento consistente nella robustezza (RR) o nella sensibilità temporale (TSS).

4. Contributi Chiave

1. INFACT: Il primo benchmark diagnostico su larga scala (9.800 campioni) che copre sistematicamente sia la fedeltà che la fattualità, utilizzando video reali e sintetici.
2. Protocollo di Induzione Controllata: Introduzione di quattro modalità di valutazione (Base, Degradazione Visiva, Corruzione Evidenze, Intervento Temporale) con metriche specifiche (RR e TSS) per quantificare la stabilità e la sensibilità.
3. Analisi Sistematica: Dimostrazione che l'accuratezza in ambienti puliti non è un indicatore affidabile di affidabilità in scenari reali, evidenziando la "inerzia temporale" e la vulnerabilità ai segnali testuali ingannevoli nei modelli attuali.

5. Significato e Implicazioni

Il lavoro di INFACT è fondamentale perché sposta il focus dalla semplice valutazione delle capacità (capability) alla valutazione dell'affidabilità (reliability) e della robustezza.

• Rivela che i modelli attuali spesso "indovinano" basandosi su conoscenze pregresse o indizi statici piuttosto che analizzare dinamicamente il video.
• Fornisce uno strumento per identificare i punti deboli specifici (es. incapacità di gestire sottotitoli errati o sequenze temporali alterate).
• Suggerisce che per migliorare i Video-LLM, è necessario non solo aumentare la conoscenza, ma anche rafforzare l'allineamento temporale e la capacità di ignorare segnali fuorvianti, specialmente in scenari di deployment reale dove i dati possono essere rumorosi o corrotti.