MSCT: Differential Cross-Modal Attention for Deepfake Detection

1. Il Problema

La rilevazione dei deepfake audio-visivi rappresenta una sfida critica a causa della rapida evoluzione degli algoritmi generativi (come VAE, GAN e modelli di diffusione). Sebbene esistano metodi basati su singole modalità (solo audio o solo video), questi sono limitati nella gestione di tecniche di generazione sempre più sofisticate.

I metodi attuali basati su modalità multiple (audio e video) si concentrano principalmente sull'allineamento e sulla coerenza tra le due modalità, cercando incongruenze. Tuttavia, gli autori identificano due limiti fondamentali negli approcci tradizionali:

1. Conflitto tra Attenzione Incrociata e Allineamento: I meccanismi di cross-modal attention tradizionali moltiplicano le matrici di query e key provenienti da modalità diverse. Poiché la funzione di perdita per l'allineamento richiede che la similarità tra video falsi sia vicina a 0 e quella tra video reali vicina a 1, l'attenzione tradizionale tende a rafforzare i contenuti reali e a sopprimere quelli falsi. Questo riduce la sensibilità del modello alle regioni forgiate, danneggiando la rilevazione.
2. Mancanza di Consapevolezza Temporale Multi-Scala: La maggior parte degli algoritmi estrae informazioni spaziali complesse all'interno di singoli frame, ignorando che i dettagli semantici incompleti in un frame possono risiedere nei frame adiacenti. L'estrazione di caratteristiche a livello di singolo frame non cattura appieno le informazioni semantiche temporali.

2. Metodologia Proposta: MSCT

Gli autori propongono un Encoder Trasformatore Cross-Modale Multi-Scala (MSCT) per la rilevazione dei deepfake. Il framework include un modulo di estrazione delle caratteristiche a singola modalità e un modulo di fusione delle caratteristiche multi-modalità, arricchiti da due nuovi moduli di attenzione specifici per il compito.

A. Modulo di Attenzione Cross-Modale Differenziale (DCA)

Ispirato al Differential Transformer, questo modulo è progettato per risolvere il conflitto tra l'attenzione incrociata e la perdita di allineamento.

• Meccanismo: Invece di utilizzare direttamente la matrice di attenzione incrociata ($Attn_{BA}$), il modulo calcola la differenza tra la matrice di auto-attenzione ($Attn_{AA}$) e quella di attenzione incrociata: $DiffAttn_A = Attn_{AA} - Attn_{BA}$.
• Funzionamento: Poiché la perdita di allineamento vincola fortemente la similarità incrociata dei video falsi (spingendola verso 0), la matrice $Attn_{BA}$ per i falsi viene fortemente limitata. Di conseguenza, la differenza ($DiffAttn_A$) aumenta per i video falsi, permettendo al modello di focalizzarsi meglio sulle tracce di falsificazione. Al contrario, per i video reali, la differenza è minore, preservando l'informazione coerente.

B. Modulo di Auto-Attenzione Multi-Scala (MSSA)

Questo modulo affronta la limitazione temporale degli approcci tradizionali.

• Meccanismo: L'input viene processato attraverso tre strati lineari per ottenere $Q, K, V$. La matrice $K$ viene divisa in quattro parti lungo la dimensione delle "teste" (heads).
• Elaborazione: Ogni parte di $K$ viene elaborata da una convoluzione 2D a una scala specifica. Questo permette di integrare informazioni dai vettori di embedding adiacenti in modo multi-scala.
• Risultato: Le parti elaborate vengono riconcatenate e moltiplicate con $Q$ per generare una matrice di attenzione che cattura dipendenze temporali a diverse scale, migliorando la flessibilità del trasformatore nel dominio temporale.

C. Funzione di Perdita

Il modello ottimizza una combinazione di:

• Cross-Entropy Loss ($L_{ce}$): Per la classificazione singola e multi-modale.
• Perdita di Allineamento Cross-Modale ($L_c$): Misura la similarità tra le embedding audio e video, penalizzando le incongruenze nei video reali e favorendo la distinzione nei video falsi.

3. Contributi Chiave

1. DCA (Differential Cross-Modal Attention): Un nuovo meccanismo che utilizza la differenza tra matrici di attenzione per allineare meglio l'attenzione incrociata con l'obiettivo di rilevare le incongruenze, evitando il bias verso i contenuti reali tipico dei metodi tradizionali.
2. MSSA (Multi-Scale Self-Attention): Un modulo che integra convoluzioni 2D all'interno dell'architettura Transformer per estrarre caratteristiche temporali multi-scala, catturando informazioni semantiche dai frame adiacenti.
3. Architettura Integrata: Un framework completo che combina pre-encoder specifici (Res2Net con wavelet convolution per il video) e i nuovi moduli di attenzione in un encoder Transformer.

4. Risultati Sperimentali

Il metodo è stato valutato sul dataset pubblico FakeAVCeleb, che contiene oltre 20.000 video falsi e 500 video reali, suddivisi in quattro categorie (Audio Reale/Video Reale, Audio Falso/Video Reale, ecc.).

• Performance: Il modello MSCT ha ottenuto risultati eccezionali:
  • Accuratezza (ACC): 98.75%
  • AUC: 98.83%
• Confronto: Ha superato significativamente gli stati dell'arte precedenti, tra cui:
  • MRDF-CE: 94.05% ACC / 92.43% AUC
  • BusterX: 96.30% ACC
  • AVOID-DF: 83.70% ACC
• Studio Ablativo: Gli esperimenti hanno dimostrato che l'uso combinato di DCA e MSSA porta al miglioramento maggiore. In particolare, la sostituzione dell'attenzione incrociata tradizionale con DCA ha portato un guadagno significativo, confermando l'efficacia della strategia differenziale.
• Visualizzazione (T-SNE): Le visualizzazioni mostrano che il modello proposto separa chiaramente le categorie reali e false, mentre i modelli baseline faticano a distinguere tra video reali con audio falso e video falsi con audio reale.

5. Significato e Impatto

Questo lavoro è significativo perché:

• Ridefinisce l'attenzione incrociata: Dimostra che l'attenzione incrociata standard può essere controproducente per la rilevazione di deepfake e propone una soluzione matematica (differenziale) per allinearla correttamente all'obiettivo di rilevazione.
• Migliora la comprensione temporale: Introduce un approccio multi-scala per l'analisi temporale nei deepfake, riconoscendo che le tracce di falsificazione spesso si estendono oltre il singolo frame.
• Stato dell'arte: Stabilisce un nuovo benchmark di performance sul dataset FakeAVCeleb, offrendo un modello robusto e ad alta precisione per la sicurezza dei contenuti multimediali.

In sintesi, MSCT rappresenta un avanzamento sostanziale nella rilevazione dei deepfake audio-visivi, combinando una teoria di attenzione innovativa con un'architettura di estrazione temporale più profonda.