Hybrid CNN-ViT-BiLSTM Framework for Robust Deepfake Video Detection

Sintesi Tecnica: Framework Ibrido CNN-ViT-BiLSTM per il Rilevamento Robusto di Deepfake Video

Problematica
Il rapido avanzamento delle Reti Generative Avversarie (GAN) e del deep learning ha permesso la creazione di video deepfake estremamente convincenti, ponendo significativi rischi per la sicurezza dei media digitali, l'integrità dell'identità e la fiducia sociale. Sebbene i metodi di rilevamento esistenti che utilizzano Reti Neurali Convoluzionali (CNN), transformer e analisi delle sequenze temporali abbiano mostrato risultati promettenti, essi soffrono spesso di critiche limitazioni. Molti approcci si affidano pesantemente a caratteristiche spaziali statiche, trascurando le incongruenze temporali cruciali per rilevare le manipolazioni attraverso intere sequenze video. Inoltre, i modelli addestrati su singoli dataset spesso non riescono a generalizzare su tecniche di manipolazione o ambienti operativi non visti a causa di shift di dominio, artefatti di compressione e variazioni nella qualità del video. Gli attuali metodi di ensemble mancano frequentemente di una fusione profonda a livello di feature o non riescono a integrare il ragionamento spaziale e temporale all'interno di una pipeline modulare unificata, risultando in una robustezza subottimale negli scenari reali.

Metodologia
Per affrontare tali sfide, gli autori propongono un framework ensemble modulare ed end-to-end che unifica rappresentazioni spaziali e temporali complementari. L'architettura opera attraverso le seguenti fasi:

1. Pre-elaborazione dei Dati e Campionamento:

   • Il sistema utilizza video con ritaglio del volto (face-cropped) dai dataset DeepFake Detection (DFD) e FaceForensics++ (FF++).
   • I fotogrammi vengono campionati a intervalli fissi (ogni 20° fotogramma) per garantire la copertura temporale mantenendo l'efficienza.
   • Fino a 50 ritagli del volto vengono estratti per ogni video utilizzando il detector RetinaFace, ridimensionati a dimensioni specifiche (224×224 per ResNet-50 e ViT; 299×299 per XceptionNet) e normalizzati.

2. Estrazione delle Caratteristiche Spaziali Multi-Branch:
   Il framework impiega tre reti backbone distinte per catturare diverse caratteristiche spaziali:

   • ResNet-50: Estrae caratteristiche spaziali gerarchiche, producendo un vettore a 2048 dimensioni tramite average pooling.
   • XceptionNet: Utilizza convoluzioni depthwise separable per rilevare anomalie della texture locale fine e artefatti ad alta frequenza, producendo un vettore a 2048 dimensioni.
   • Vision Transformer (ViT): Modella le dipendenze contestuali globali e le relazioni spaziali a lungo raggio utilizzando meccanismi di self-attention, producendo un vettore a 768 dimensioni dal token [CLS].

3. Fusione a Livello di Feature:
   Gli output dei tre backbone vengono concatenati e L2-normalizzati per formare un vettore di feature unificato a 4864 dimensioni per ogni ritaglio del volto. Questa strategia integra i dettagli CNN locali con il contesto globale del transformer prima della modellazione temporale.

4. Modellazione della Sequenza Temporale:

   • Le feature spaziali fuse sono raggruppate in sequenze di lunghezza fissa di 5 ritagli del volto consecutivi.
   • Una rete Bidirectional Long Short-Term Memory (BiLSTM) elabora queste sequenze per catturare sia le dipendenze temporali in avanti che all'indietro, come irregolarità del movimento, pattern di ammiccamento e incongruenze tra i fotogrammi.
   • La BiLSTM produce un embedding temporale a 512 dimensioni che rappresenta il segmento video.

5. Classificazione:
   Gli embedding temporali vengono aggregati (tramite average pooling) per formare una rappresentazione a livello di video, che viene passata attraverso uno strato completamente connesso con una funzione di attivazione sigmoid per produrre una classificazione binaria (Reale vs Fake). Il modello è addestrato utilizzando l'ottimizzatore Adam e la perdita di cross-entropy binaria.

Contributi Chiave

• Nuova Architettura Modulare: Il documento introduce un framework unificato che integra ResNet-50, XceptionNet e ViT per un'analisi spaziale completa, accoppiato con BiLSTM per l'apprendimento delle dipendenze temporali.
• Strategia di Fusione a Livello di Feature: A differenza dei precedenti metodi di ensemble che si affidano a una fusione tardiva o statica, questo approccio esegue la fusione a livello di feature prima della modellazione temporale, consentendo rappresentazioni spazio-temporali più ricche.
• Ragionamento Temporale Esplicito: L'inclusione di BiLSTM migliora significativamente la robustezza contro gli artefatti di compressione e le diverse tecniche di frode, modellando il movimento e le incongruenze temporali.
• Generalizzazione Cross-Dataset: Il framework è valutato congiuntamente sui dataset DFD e FF++, dimostrando capacità di generalizzazione migliorate attraverso diverse tecniche di manipolazione e fonti di dati.
• Scalabilità: Il design modulare consente l'integrazione facile di ulteriori modelli backbone o moduli temporali in estensioni future.

Risultati Sperimentali
Il metodo proposto è stato valutato su un set di test combinato di DFD e FF++ utilizzando una GPU NVIDIA A100. I risultati indicano prestazioni superiori rispetto ai singoli backbone e ai metodi state-of-the-art (SOTA) esistenti:

• Accuratezza: 91.07%
• AUC (Area Under the Curve): 0.971
• Macro F1-Score: 0.91
• Precisione Media: 0.9646

Gli studi di ablazione hanno confermato che ogni componente contribuisce significativamente alla performance finale. La fusione di ResNet-50 e XceptionNet ha migliorato l'AUC a 0.95, mentre l'aggiunta di BiLSTM l'ha elevata a 0.97. L'integrazione finale di ViT ha raggiunto il picco di AUC di 0.971. Il modello ha superato i singoli baseline (ad esempio, XceptionNet al 88% di AUC, ViT al 90% di AUC) e ha eguagliato o superato diversi recenti modelli ibridi e di ensemble SOTA.

Significatività e Rivendicazioni
Gli autori affermano che questo lavoro stabilisce un nuovo benchmark per il rilevamento pratico dei deepfake raggiungendo prestazioni robuste attraverso diversi set di dati e tecniche di frode. La significatività del framework risiede nella sua capacità di sfruttare simultaneamente indizi spaziali, semantici e temporali, affrontando i limiti dei metodi che si concentrano esclusivamente su caratteristiche statiche o mancano di una profonda integrazione di diverse architetture. Il documento sostiene che l'ensemble spaziale-temporale proposto è particolarmente efficace negli scenari cross-dataset, offrendo una soluzione più affidabile per le applicazioni forensi reali. Pur riconoscendo la complessità computazionale come un limite per l'implementazione edge in tempo reale, gli autori sottolineano l'efficacia del framework per l'analisi forense scalabile e il suo potenziale come base per la ricerca futura in termini di spiegabilità e rilevamento multimodale.