AVFakeBench: A Comprehensive Audio-Video Forgery Detection Benchmark for AV-LMMs

1. Il Problema

Con il rapido sviluppo dei modelli generativi (come Sora, Kling, FoleyCrafter), la minaccia delle falsificazioni audio-video (AV) si è evoluta oltre i semplici "deepfake" centrati sul volto umano. Attualmente, gli attori malevoli possono manipolare scene naturali complesse, combinando editing e sintesi in modi sofisticati.

Tuttavia, i benchmark esistenti presentano gravi limitazioni:

• Soggetti limitati: Si concentrano quasi esclusivamente su volti umani (es. FF++, Celeb-DF), ignorando scenari generali (natura, animali, industria).
• Tipologie di falsificazione ridotte: Trattano la falsificazione come un compito binario (Reale vs Falso) o si limitano a un singolo tipo di manipolazione (solo editing o solo sintesi), ignorando le combinazioni ibride multimodali.
• Annotazioni superficiali: Mancano di annotazioni granulari e spiegabili. Non offrono dettagli su dove o come è stata effettuata la falsificazione, rendendo difficile valutare la capacità di ragionamento dei modelli.

2. Metodologia: AVFakeBench

Gli autori introducono AVFakeBench, il primo benchmark completo per la rilevazione di falsificazioni audio-video, progettato specificamente per valutare i Large Multimodal Models (AV-LMM).

A. Struttura del Dataset

Il dataset comprende 3.000 clip audio-video (per un totale di 12.000 coppie domanda-risposta) che coprono:

• Soggetti: Sia "Umano" (discorso umano) che "Generale" (11 scenari del mondo reale: paesaggi, animali, attività sociali, musica, trasporti, vita quotidiana, sport, industria, segnali di allarme, scienza).
• Tipologie di Falsificazione: Il benchmark definisce 7 combinazioni multimodali distinte basate su tre stati canonici: Reale (R), Editato (E), Sintetizzato (S). Le combinazioni includono, ad esempio, Audio Reale + Video Sintetizzato (RA&SV) o Audio Editato + Video Editato (EA&EV).
• Annotazioni Multi-Livello: Oltre alla semplice classificazione binaria, il dataset include quattro livelli di annotazione:
  1. L1: Giudizio binario (Reale/Falso).
  2. L2: Classificazione del tipo di falsificazione (tra le 7 combinazioni).
  3. L3: Selezione dei dettagli della falsificazione (identificazione della prova specifica).
  4. L4: Ragionamento esplicativo (spiegazione testuale delle anomalie).

B. Framework di Falsificazione Ibrido Multi-Stadio

Per generare falsificazioni ad alta fedeltà e diversificate, gli autori hanno sviluppato un framework innovativo che separa la pianificazione dell'intento dalla manipolazione specifica:

1. Pianificazione (Proprietary Models): Un modello linguistico multimodale (LMM) genera piani dettagliati (descrizioni dinamiche per la sintesi o istruzioni di editing specifiche per la rimozione/sostituzione di oggetti) basandosi su frame reali o scenari.
2. Esecuzione (Expert Generative Models): Modelli generativi specializzati (es. Kling, QingYing per la sintesi; SAM2 e modelli di editing video per la manipolazione) eseguono le istruzioni con precisione.
3. Combinazione: I flussi audio e video reali e manipolati vengono ricombinati per creare le 7 tipologie di falsificazione.
4. Supervisione Umana: Interventi umani critici in ogni fase garantiscono coerenza semantica, realismo fisico e diversità dei campioni.

C. Pipeline di Annotazione

Per generare le 12.000 coppie Q&A, gli autori utilizzano un annotatore basato su LMM assistito da evidenze multimodali (frame video, mappe di movimento, spettrogrammi audio, mappe ad alta frequenza). L'LLM genera prima il ragionamento (L4) e poi estrae le opzioni per la selezione dei dettagli (L3), tutto sottoposto a verifica umana per garantire accuratezza e chiarezza.

3. Risultati Sperimentali

Il benchmark è stato utilizzato per valutare 11 AV-LMM (5 open-source, 6 proprietari come GPT-4o e Gemini) e 2 modelli di rilevazione esperti (specializzati).

Punti Chiave delle Performance:

1. Potenziale come Rilevatori Unificati: Gli AV-LMM mostrano un potenziale significativo nel rilevamento binario (L1), superando spesso i modelli di rilevazione tradizionali (specializzati) sia su soggetti umani che generali. Ad esempio, Gemini-2.5-Pro raggiunge un F1 del 63,3% su soggetti umani e 54,3% su soggetti generali.
2. Crollo sulle Complessità (L2 e L3): Le performance crollano drasticamente (circa -70%) quando il compito richiede una classificazione fine-granulare o l'identificazione di dettagli specifici. I modelli faticano a distinguere tra editing locale e sintesi completa, specialmente nelle manipolazioni editate (F1 < 10% per i modelli migliori su alcune categorie).
3. Scarsa Capacità di Ragionamento Esplicativo (L4): Gli AV-LMM ottengono punteggi molto bassi nella generazione di spiegazioni coerenti e nell'identificazione delle prove specifiche. Spesso falliscono nel correlare le anomalie visive con quelle audio.
4. Squilibrio Modale: I modelli mostrano una forte dipendenza dalla modalità video, con prestazioni quasi nulle sulla rilevazione di falsificazioni puramente audio.
5. Bias di Modello: Molti modelli tendono a bias verso la categoria "Reale", fallendo nel riconoscere manipolazioni complesse quando non sono sicuri, basandosi su prior statistiche piuttosto che su evidenze multimodali.

4. Contributi Chiave

1. AVFakeBench: Il primo benchmark completo che copre soggetti umani e generali, 11 scenari reali, 7 tipi di falsificazione multimodale e annotazioni a 4 livelli.
2. Framework di Generazione: Un metodo ibrido multi-stadio che integra modelli proprietari per la pianificazione e modelli generativi esperti per l'esecuzione, garantendo alta fedeltà e diversità.
3. Valutazione Sistematica: La prima analisi su larga scala delle capacità di rilevazione, percezione fine e ragionamento esplicativo degli AV-LMM, rivelando che, sebbene promettenti, hanno lacune critiche nella percezione dettagliata e nel ragionamento causale.

5. Significato e Impatto

Questo lavoro segna un punto di svolta nella ricerca sulla sicurezza dei media generati dall'IA.

• Superamento dei Limiti Attuali: Sposta il focus dai deepfake facciali a scenari del mondo reale complessi, riflettendo meglio le minacce future.
• Nuovo Standard di Valutazione: Introduce la necessità di valutare non solo se un contenuto è falso, ma come è stato falsificato e perché, spingendo la ricerca verso modelli più interpretabili e robusti.
• Guida per lo Sviluppo Futuro: I risultati evidenziano che i modelli attuali mancano di una percezione fine-granulare e di una coerenza cross-modale robusta, indicando le direzioni necessarie per lo sviluppo di futuri sistemi di difesa contro le falsificazioni audio-video.

In sintesi, AVFakeBench funge da banco di prova rigoroso per guidare lo sviluppo di sistemi di rilevazione che siano non solo accurati, ma anche capaci di fornire spiegazioni forensi affidabili in scenari complessi.