Referee: Reference-aware Audiovisual Deepfake Detection

1. Il Problema

I deepfake generati da modelli di intelligenza artificiale avanzati rappresentano una minaccia crescente per la sicurezza digitale. Le attuali metodologie di rilevamento presentano due limiti fondamentali:

• Scarsa generalizzazione: I metodi esistenti tendono a sovrapporsi (overfitting) su artefatti spaziotemporali transitori o specifici di un determinato metodo di manipolazione, fallendo nel rilevare tecniche di forgery mai viste prima (unseen manipulations).
• Vulnerabilità unimodale: I metodi basati solo su video (artefatti visivi, distorsioni dei bordi) o solo su audio (pattern spettrali) sono fragili in condizioni di bassa risoluzione, occlusione (es. mani o microfoni che coprono la bocca) o quando la sincronizzazione labiale è manipolata in modo sottile.
• Limiti dei metodi basati sull'identità: Le soluzioni precedenti che utilizzano l'identità (come ID-Reveal o POI-Forensics) spesso si basano su confronti puramente visivi o su concatenazioni naive di feature, richiedendo clip di riferimento eccessivamente lunghe (es. >5 minuti) e fallendo nel catturare le dipendenze cross-modali complesse tra voce e volto.

2. Metodologia: Referee

Gli autori propongono Referee, un nuovo framework di rilevamento deepfake "consapevole del riferimento" (reference-aware) che integra la coerenza dell'identità del parlante con la sincronizzazione audiovisiva.

L'architettura si compone di tre moduli principali:

1. Estrazione delle Feature Audiovisive:

   • Utilizza encoder audiovisivi pre-addestrati (basati su Synchformer) per estrarre token da segmenti video e audio.
   • Le sequenze visive e audio vengono concatenate con un token separatore per creare una rappresentazione congiunta sia per il video target (sospetto) che per il video di riferimento (genuino).

2. Identity Bottleneck (IDB):

   • Questo modulo è progettato per isolare i segnali di identità dai fattori transitori (es. contenuto del discorso, espressioni facciali, pose della testa).
   • Utilizza un set di query di identità apprendibili ($Q_{ID}$) condivise tra il ramo target e quello di riferimento.
   • Attraverso meccanismi di cross-attention, le query estraggono e riassumono le cue biometriche cross-modali (voce + volto) in un vettore di rappresentazione unificato, ignorando le variazioni temporali non pertinenti.

3. Modulo di Matching dell'Identità (ID Matching):

   • Allinea i token di identità del target con quelli di riferimento utilizzando blocchi di cross-attention.
   • Genera token di identità "consapevoli del riferimento" ($\bar{T}^{TGT}_{ID}$) che codificano sia le caratteristiche intrinseche del target che le discrepanze rispetto al riferimento.
   • Loss di Matching: Viene introdotta una task ausiliaria di verifica dell'identità (con Binary Cross-Entropy) per forzare il modello a distinguere se target e riferimento appartengono alla stessa persona. Questo impedisce al modello di imparare artefatti superficiali, focalizzandosi invece sulla coerenza biometrica.

4. Classificazione Finale:

   • I token di identità raffinati vengono concatenati alle feature audiovisive originali e al token [CLS].
   • Un trasformatore audiovisivo (AV-Transformer) integra queste informazioni per valutare due aspetti critici: (1) la coerenza temporale della sincronizzazione labiale e (2) l'integrità dell'identità.
   • L'obiettivo di training combina la loss di classificazione deepfake e la loss di matching identità.

3. Contributi Chiave

• Approccio Ibrido Identità-Tempo: Referee è il primo framework che sfrutta sistematicamente la corrispondenza audiovisiva sia a livello di identità (biometria) che temporale (sincronizzazione) utilizzando un singolo esempio di riferimento (one-shot).
• Modulo IDB e Matching: Introduce un collo di bottiglia dell'identità con query apprendibili e un meccanismo di matching cross-identità, permettendo un ragionamento robusto sull'integrità audiovisiva senza sovrapporsi a specifici artefatti di sintesi.
• Efficienza dei Dati: Dimostra che è possibile apprendere prior biometrici universali senza la necessità di dataset esterni su scala di milioni di voci (come VoxCeleb2), utilizzando invece solo clip autentiche limitate (14k clip).

4. Risultati Sperimentali

Il modello è stato valutato su tre dataset principali: FakeAVCeleb, FaceForensics++ (FF++) e KoDF (deepfake audio-video in lingua coreana).

• Performance Cross-Dataset: Su FF++, Referee ottiene un AUC competitivo e la più alta Average Precision (AP), dimostrando una forte capacità di generalizzazione su manipolazioni non viste durante l'addestramento.
• Performance Cross-Lingua (KoDF): Il modello raggiunge un risultato SOTA (State-of-the-Art) con un AUC del 99,4% e un AP del 99,4% su KoDF. Questo è significativo perché molti modelli basati sull'identità crollano in scenari cross-lingua; Referee mantiene la sua efficacia basandosi sulla coerenza cross-modale piuttosto che su anomalie a livello di pixel o fonemi specifici.
• Robustezza:
  • Occlusione e Cropping: Mantiene prestazioni stabili anche con il 90% del volto oscurato o tagliato.
  • Lunghezza del Riferimento: Funziona efficacemente anche con clip di riferimento molto brevi (1 secondo), rendendolo pratico per scenari reali dove non si hanno minuti di video puliti.
• Ablation Study: La rimozione del modulo di matching dell'identità o delle query di riferimento causa un calo misurabile delle prestazioni, confermando che entrambi i componenti sono essenziali.

5. Significato e Impatto

Il lavoro di Referee segna un cambio di paradigma nella forense audiovisiva:

• Dall'Artefatto alla Biometria: Sposta il focus dal rilevamento di artefatti transitori (che i generatori AI possono facilmente eliminare) alla verifica della coerenza biometrica intrinseca tra voce e volto.
• Generalizzazione Universale: Dimostra che correlare esplicitamente le prior biometriche basate su un riferimento è la chiave per creare sistemi di difesa robusti contro deepfake sempre più sofisticati e generati in lingue o con tecniche sconosciute.
• Efficienza: Offre una soluzione praticabile per il deployment reale, non richiedendo enormi dataset di addestramento esterni o clip di riferimento lunghe, rendendo la tecnologia accessibile e scalabile.

In sintesi, Referee stabilisce un nuovo standard per la rilevazione dei deepfake, combinando robustezza, efficienza dei dati e capacità di generalizzazione superiore rispetto alle tecniche unimodali o basate su artefatti tradizionali.