Attribution-Guided Multimodal Deepfake Detection via Cross-Modal Forensic Fingerprints

1. Enunciato del Problema

Il rapido avanzamento della generazione di deepfake audio-visivi (ad esempio FaceSwap, Wav2Lip, FSGAN) ha reso inaffidabile il rilevamento percettivo. Sebbene il rilevamento multimodale (che combina audio e video) abbia mostrato promesse, gli approcci attuali trattano largamente il problema come un compito di classificazione binaria (Reale vs Falso).

• Il Problema Centrale: L'ottimizzazione puramente binaria incoraggia i modelli ad apprendere "scorciatoie" o artefatti specifici del dataset (ad esempio, pattern di compressione, rumore di fondo) piuttosto che le tracce generative sottostanti (impronte digitali forensi) che distinguono metodi di manipolazione specifici.
• La Conseguenza: I modelli addestrati in questo modo spesso falliscono nel generalizzare a generatori o dataset non visti, poiché non hanno appreso le caratteristiche causali della falsificazione.
• L'Ipotesi: Se un rilevatore è costretto a rispondere alla domanda più difficile di "Quale generatore ha prodotto questo?" (attribuzione), apprenderà intrinsecamente una rappresentazione più robusta e forensamente significativa che risolve anche la domanda più semplice di "È questo falso?".

2. Metodologia: Il Framework AMDD

Gli autori propongono il framework Attribution-Guided Multimodal Deepfake Detection (AMDD). L'innovazione principale consiste nel trattare l'attribuzione del generatore non come un compito finale separato, ma come un regolarizzatore strutturato all'interno di uno spazio di embedding condiviso.

A. Architettura

Il framework utilizza un codificatore a doppio flusso con capacità bilanciata per prevenire che il segnale audio sia sottoutilizzato (un difetto comune nei lavori precedenti):

• Codificatore Visivo: Un backbone ResNet50 con un modulo di Attenzione Temporale (Multi-Head Attention) per catturare artefatti a livello di frame e incoerenze temporali.
• Codificatore Audio: Un ResNet18 pre-addestrato adattato per gli spettrogrammi mel. Gli autori hanno scelto deliberatamente un'architettura profonda (11,4M di parametri) per corrispondere alla capacità del codificatore visivo (25,6M di parametri), colmando il "divario di capacità del codificatore" trovato nei precedenti rilevatori multimodali.
• Attenzione Cross-Modale: Un modulo di attenzione bidirezionale allinea gli embedding visivi e audio, permettendo al modello di identificare artefatti correlati introdotti da un generatore specifico attraverso entrambe le modalità.
• Teste (Heads): L'embedding fuso viene passato a due teste:
  1. Testa di Rilevamento: Classificazione binaria (Reale/Falso).
  2. Testa di Attribuzione: Classificazione multiclasse che identifica il generatore specifico (o Reale).

B. Funzioni di Perdita

Il modello è ottimizzato congiuntamente utilizzando cinque componenti di perdita:

1. Perdita di Rilevamento ($L_{det}$): Perdita focalizzata per la classificazione binaria per gestire lo squilibrio delle classi.
2. Perdita di Attribuzione ($L_{attr}$): Perdita di entropia incrociata sulle classi dei generatori. Questa agisce come regolarizzatore primario, costringendo lo spazio di embedding a separare i campioni in base al loro generatore di origine.
3. Perdita Contrastiva Cross-Modale ($L_{cont}$): Allinea le proiezioni visive e audio dello stesso campione video.
4. Coerenza dell'Impronta Digitale Forense Cross-Modale ($L_{fp}$): Novità Chiave. Questa perdita impone un allineamento tra le rappresentazioni visive e audio di campioni dallo stesso generatore. Sfrutta l'accoppiamento fisico tra produzione del parlato e articolazione facciale; le pipeline sintetiche spesso interrompono questa coerenza, mentre le registrazioni autentiche la mantengono.
5. Regolarizzazione del Centroide ($L_{cen}$): Attira gli embedding verso i loro centroidi specifici del generatore (aggiornati tramite Media Mobile Esponenziale) per stabilizzare la geometria dello spazio di embedding.

3. Contributi Chiave

1. Apprendimento Guidato dall'Attribuzione: Il paper dimostra che l'uso della supervisione per l'attribuzione come regolarizzatore modella la geometria della rappresentazione verso caratteristiche forensamente significative, anche quando l'accuratezza del rilevamento binario è già alta.
2. Coerenza dell'Impronta Digitale Forense Cross-Modale (CMFFC): Una nuova funzione di perdita che impone esplicitamente l'allineamento tra artefatti audio e visivi per lo stesso generatore, sfruttando i vincoli fisici del parlato e dell'articolazione umana.
3. Design del Codificatore Bilanciato: Gli autori affrontano il problema del "sottoutilizzo dell'audio" nel rilevamento multimodale accoppiando un codificatore visivo ResNet50 profondo con un codificatore audio ResNet18 comparabilmente profondo, piuttosto che utilizzare CNN superficiali per l'audio.
4. Analisi Completa: Lo studio fornisce una rigorosa scomposizione di dove la generalizzazione ha successo (rilevamento di video reali) e dove fallisce (rilevamento di falsi su generatori non visti), offrendo una spiegazione meccanicistica basata sulla teoria dell'adattamento del dominio.

4. Risultati Sperimentali

Il framework è stato valutato principalmente su FakeAVCeleb (contenente FaceSwap, Wav2Lip e FSGAN) e testato cross-dataset su DeepfakeTIMIT, DFDM e LAV-DF.

• Prestazioni In-Domain (FakeAVCeleb):

  • Accuratezza Bilanciata: 99,7%
  • AUC: 99,8%
  • Accuratezza di Attribuzione: 95,9%
  • Rilevamento per Generatore: Quasi perfetto (100%) per Wav2Lip e FSGAN; 98,2% per FaceSwap.

• Studi di Ablazione:

  • La rimozione della perdita di attribuzione ha causato il crollo dell'accuratezza di attribuzione all'11,0% (sotto il caso casuale per 4 classi), mentre il rilevamento binario è rimasto alto (~98,3%).
  • Interpretazione: Questo conferma che senza guida per l'attribuzione, il modello apprende scorciatoie superficiali (artefatti del dataset) piuttosto che vere impronte digitali forensi. Il compito di attribuzione costringe il modello ad apprendere le caratteristiche "difficili" necessarie per un rilevamento robusto.

• Generalizzazione Cross-Dataset:

  • Rilevamento Video Reale: Generalizza in modo robusto (>92% di accuratezza) su dataset non visti, suggerendo che il modello apprende statistiche temporali naturali e coerenza audio-visiva.
  • Rilevamento Video Falso: Le prestazioni calano significativamente su generatori non visti (ad esempio, scendendo a ~50% su DFDM). Questo conferma che i metodi basati su impronte digitali faticano con lo shift di dominio quando i generatori utilizzano pipeline di fusione fondamentalmente diverse.

• Visualizzazione:

  • t-SNE: Mostra che il modello AMDD completo crea cluster distinti e compatti per ogni generatore, mentre i modelli puramente binari collassano tutti i falsi in un'unica regione non strutturata.
  • GradCAM: Il modello si concentra correttamente sui confini facciali (bocca, occhi, mento) dove si verificano artefatti di fusione, piuttosto che sul rumore di fondo.

5. Significato e Conclusione

• Cambiamento di Paradigma: Il paper sostiene che l'attribuzione è un vincolo geometrico più forte del rilevamento binario. Costringendo il modello a distinguere come un video è stato falsificato, impara naturalmente a distinguere se è stato falsificato.
• Interpretabilità Forense: Gli embedding risultanti non sono solo "falsi" o "reali", ma sono organizzati per metodo di manipolazione specifico, fornendo intelligence attuabile per gli investigatori forensi.
• Limiti Onesti: Gli autori riconoscono trasparentemente che, sebbene il rilevamento di video reali generalizzi bene, il rilevamento di falsi da generatori non visti rimane una sfida aperta. Attribuiscono questo alla natura fondamentale della forense basata su impronte digitali piuttosto che a un fallimento della loro architettura specifica.
• Impatto Pratico: AMDD raggiunge prestazioni all'avanguardia senza fare affidamento su massicci modelli audio-visivi pre-addestrati, rendendolo una soluzione leggera ma altamente efficace per il rilevamento e l'attribuzione di deepfake.