Face2Parts: Exploring Coarse-to-Fine Inter-Regional Facial Dependencies for Generalized Deepfake Detection

1. Il Problema

L'ascesa delle tecnologie di intelligenza artificiale, in particolare le Reti Avversariali Generative (GAN), ha reso la creazione di "deepfake" (video e immagini manipolate) sempre più realistica e accessibile. Sebbene esistano numerosi metodi forensi per rilevare queste manipolazioni, la maggior parte delle soluzioni attuali (State-of-the-Art o SoTA) presenta limiti significativi:

• Mancanza di generalizzazione: I modelli addestrati su un tipo specifico di manipolazione (es. scambio di volti) spesso falliscono su altri tipi (es. sincronizzazione labiale o alterazione delle espressioni).
• Focus limitato: La maggior parte dei metodi analizza esclusivamente la regione del volto (livello medio), ignorando il contesto globale (l'intero frame) o i dettagli fini di specifiche aree facciali (occhi, naso, labbra).
• Vulnerabilità alle manipolazioni localizzate: Quando un deepfake modifica solo una piccola parte del viso (es. solo le labbra), l'analisi basata solo sul volto intero può non catturare le tracce sottili dell'alterazione.

2. Metodologia Proposta: Face2Parts

Gli autori propongono Face2Parts, un approccio ibrido innovativo basato sulla Rappresentazione Gerarchica delle Caratteristiche (HFR - Hierarchical Feature Representation). L'obiettivo è sfruttare le relazioni "dal grezzo al fine" (coarse-to-fine) tra diverse regioni facciali per migliorare la rilevazione e la generalizzazione.

L'architettura si articola in tre fasi principali:

A. Estrazione Gerarchica delle Caratteristiche (Livelli 1-3)

Invece di analizzare solo il volto, il sistema estrae caratteristiche da tre livelli gerarchici distinti:

1. Livello 1 (Coarse - Inquadratura): Caratteristiche globali estratte dall'intero frame ($I_{Frame}$).
2. Livello 2 (Medium - Volto): Caratteristiche della regione del volto ritagliata ($I_{Face}$).
3. Livello 3 (Fine - Aree Chiave): Caratteristiche estratte da regioni specifiche e fini: occhi sinistro e destro, labbra e naso ($I_{LeftEye}, I_{RightEye}, I_{Lips}, I_{Nose}$).

• Implementazione: Vengono utilizzati encoder pre-addestrati (basati su CLIP, come ViT-B16, ViT-B32, ViT-L14) per estrarre i vettori di caratteristica da ciascuna di queste regioni.

B. Apprendimento delle Relazioni (Triplet Learning + CA-MLP)

Per integrare le informazioni provenienti dai diversi livelli, il metodo utilizza:

• Triplet Learning: Un approccio di metric learning che seleziona triplette di campioni (Ancora, Positivo, Negativo) per apprendere le relazioni di similarità e dissimilarità tra le diverse regioni facciali. Questo forza il modello a comprendere come le diverse parti del viso interagiscono tra loro.
• Meccanismo di Attenzione ai Canali (CA-MLP): Un blocco di attenzione che pesa l'importanza di ciascun livello di caratteristica (frame, volto, occhi, ecc.). Questo permette al modello di focalizzarsi dinamicamente sulle regioni più informative per un dato tipo di manipolazione.
• Funzione di Perdita: Viene utilizzata una margin ranking loss per ottimizzare la separazione tra campioni reali e falsi nello spazio delle embedding.

C. Classificazione

Le embedding discriminative risultanti (256 dimensioni) vengono passate a un classificatore (un Fully Connected layer) per la previsione finale binaria (Reale/Falso).

3. Contributi Chiave

• Nuova Architettura Ibrida (HFR): Introduzione di un framework che combina informazioni globali (frame), medie (volto) e fini (parti del viso) per catturare dipendenze inter-regionali.
• Analisi delle Dipendenze Inter-Regionali: Dimostrazione che le relazioni tra diverse parti del viso (es. la coerenza tra il movimento delle labbra e l'espressione degli occhi) sono cruciali per rilevare deepfake che manipolano solo aree specifiche.
• Generalizzazione Superiore: Il metodo è progettato specificamente per funzionare bene su dataset non visti durante l'addestramento (cross-dataset) e su tipi di manipolazione non visti (cross-manipulation).
• Validazione Estensiva: Sperimentazione su 8 benchmark diversi (FF++, Celeb-DF, DFD, DFDC, ecc.) e confronto con numerosi metodi SoTA.

4. Risultati Sperimentali

Il metodo è stato valutato su otto dataset di riferimento in scenari intra-dataset, inter-dataset e inter-manipolazione.

• Performance Intra-Dataset: Face2Parts ha ottenuto risultati eccellenti, superando i metodi basati solo sul volto. Ad esempio, su FF++ ha raggiunto un AUC medio del 98.42%, e su DTIM e WLDR ha raggiunto il 100% di accuratezza.
• Performance Inter-Dataset (Generalizzazione): Questo è il punto di forza principale. Addestrando su FF++ e testando su altri dataset:
  • CDF1: 79.80%
  • CDF2: 85.34%
  • DFD: 89.41%
  • DFDC: 84.07%
  • PDD: 80.76%
  • WLDR: 100%
  • Questi risultati superano costantemente i metodi SoTA comparati (come EfficientB4, Xception, F3Net, CORE, ecc.), che spesso mostrano un calo drastico di performance quando il dataset di test differisce da quello di addestramento.
• Analisi di Abitazione: Gli esperimenti hanno confermato che la combinazione dei tre livelli (1, 2 e 3) è superiore all'uso di singoli livelli o combinazioni parziali. Inoltre, l'uso del meccanismo di attenzione (CA-MLP) e del triplet learning ha dimostrato di essere fondamentale per la discriminazione.

5. Significato e Impatto

Il lavoro di Face2Parts rappresenta un passo avanti significativo nella lotta ai deepfake per i seguenti motivi:

1. Superamento del "Collo di Bottiglia" del Volto: Dimostra che limitare l'analisi alla sola regione del volto è insufficiente per la rilevazione generalizzata. L'approccio multi-livello cattura artefatti che altrimenti rimarrebbero invisibili.
2. Robustezza: Offre una soluzione più robusta contro l'evoluzione rapida delle tecniche di generazione dei deepfake, poiché non dipende da un singolo tipo di artefatto ma da una rappresentazione gerarchica completa.
3. Versatilità: L'approccio funziona efficacemente sia su encoder spaziali (ViT) che temporali (MViT, ViViT), adattandosi a diverse architetture di base.
4. Implicazioni Future: Sebbene vi sia un costo computazionale aggiuntivo dovuto all'estrazione di più regioni, i risultati giustificano questo overhead per ottenere un'affidabilità superiore in scenari reali, dove i deepfake possono essere generati con tecniche sconosciute.

In sintesi, il paper propone un cambio di paradigma: invece di cercare di "indovinare" quale regione del volto contiene l'artefatto, il sistema analizza sistematicamente tutte le regioni e le loro interrelazioni, ottenendo una capacità di generalizzazione senza precedenti rispetto agli attuali metodi forensi.