Sintesi Tecnica: Verso un Rilevamento dei Deepfake Calibrato, Equo e Accurato

Definizione del Problema

I rilevatori di deepfake attualmente mostrano disparità di prestazioni significative tra i diversi gruppi demografici. Sebbene l'accuratezza aggregata possa apparire elevata, specifici sottogruppi (ad esempio, donne, maschi africani o carnagioni più scure) soffrono di tassi di falsi positivi (FPR) sostanzialmente più alti o di tassi di veri positivi (TPR) inferiori. Questi divari pongono gravi rischi di implementazione: i sistemi di moderazione dei contenuti possono segnalare in modo sproporzionato video autentici appartenenti a gruppi minoritari come falsi, e i sistemi di verifica dell'identità possono fallire più frequentemente per determinati dati demografici. Inoltre, gli avversari possono sfruttare questi punti ciechi per colpire le popolazioni vulnerabili con deepfake capaci di eludere il rilevamento.

Le strategie di mitigazione esistenti affrontano limitazioni critiche per l'implementazione pratica:

• Pre-processing: Il bilanciamento dei dati o la generazione sintetica spesso scartano campioni preziosi, richiedono un impegno manuale significativo e soffrono di gap di dominio quando vengono utilizzati dati sintetici.
• In-processing: I metodi che modificano gli obiettivi di addestramento (ad esempio, perdite di equità o riponderazione) richiedono tipicamente un intero riaddestramento del modello e l'uso esplicito di etichette demografiche, che spesso non sono disponibili negli ambienti di produzione.
• Post-processing: Gli esistenti metodi di regolazione della soglia richiedono spesso etichette di gruppo durante l'inferenza o sacrificano l'accuratezza complessiva per raggiungere l'equità. Inoltre, i metodi ottimizzati per specifici dataset spesso non riescono a generalizzare su generatori non visti.

Esiste una mancanza di soluzioni che siano privi di etichette demografiche, privi di necessità di riaddestramento e capaci di migliorare simultaneamente sia l'equità che l'accuratezza complessiva.

Metodologia: Il Framework Face-Fairness (FF)

Gli autori propongono Face-Fairness (FF), un framework plug-and-play composto da tre varianti progettate per mitigare i bias senza riaddestrare il rilevatore di base o richiedere annotazioni demografiche.

1. Face-Feature Tuning (FFT)

FFT è il contributo principale ed è il primo metodo di equità privo di etichette demografiche per il rilevamento dei deepfake.

• Intuizione Centrale: Gli embedding facciali pre-addestrati (ad esempio, da ArcFace) codificano implicitamente pattern visivi correlati ai fallimenti del rilevatore. Questi embedding fungono da proxy per gli attributi protetti senza richiedere etichette esplicite.
• Meccanismo: FFT impiega un Multi-Layer Perceptron (MLP) leggero a due strati che funge da calibratore condizionale. Esso prende come input la concatenazione dell'output logit del rilevatore base congelato ($Z(x)$) e dell'embedding facciale congelato ($\phi(x)$).
• Funzione: L'MLP apprende una mappatura non lineare per rimappare i logit ($\tilde{Z}(x)$), apprendendo efficacementmente una correzione residua $r_\psi(\phi(x), Z(x))$. Ciò consente al modello di regolare i confini decisionali condizionalmente in base allo spazio degli embedding, correggendo i bias sistematici in specifici "vicinati" dello spazio delle caratteristiche pur preservando decisioni affidabili altrove.
• Addestramento: Il rilevatore base e l'encoder facciale rimangono congelati. Solo l'MLP leggero viene addestrato su un set di validazione tenuto separato utilizzando la cross-entropy binaria.

2. FF-Max (Ottimizzazione della Soglia Condizionata al Gruppo)

Questa variante viene utilizzata quando le etichette demografiche sono disponibili durante la calibrazione e l'inferenza.

• Meccanismo: Apprende soglie decisionali specifiche per gruppo ($t_g$) per massimizzare l'accuratezza del gruppo peggiore.
• Ottimizzazione: Risolve un problema di ottimizzazione max-min: $\max_{t} \min_{g} \text{Acc}_g$. Le soglie vengono enumerate su una griglia e fissate per il tempo di test in base alle etichette di gruppo note.

3. FF-Discover (Soglia Basata sul Clustering)

Questa variante opera senza alcuna etichetta demografica.

• Meccanismo: Scopre gruppi latenti applicando il clustering K-means agli embedding facciali normalizzati L2.
• Ottimizzazione: Similmente a FF-Max, apprende soglie specifiche per cluster per massimizzare l'accuratezza minima tra i cluster scoperti. Il numero di cluster ($K$) è selezionato tramite l'analisi della silhouette.

Contributi Chiave

1. FFT (Face-Feature Tuning): Un nuovo metodo di post-processing privo di etichette e privo di necessità di riaddestramento che migliora sia l'accuratezza del gruppo peggiore che l'accuratezza complessiva, apprendendo un calibratore condizionale sopra gli embedding facciali congelati.
2. FF-Max & FF-Discover: Due varianti pratiche che ottimizzano l'accuratezza del gruppo peggiore utilizzando o etichette esplicite (FF-Max) o cluster latenti derivati dagli embedding (FF-Discover), fungendo da solidi baseline per scenari di implementazione in cui l'addestramento di reti neurali rappresenta una barriera.
3. Agnosticismo del Rilevatore: Il framework è compatibile con qualsiasi backbone di rilevamento deepfake (dimostrato su Xception e MobileNetV3-Small) e aggiunge un carico computazionale trascurabile durante l'esecuzione.
4. Complementarità: Il framework può essere impilato con i metodi di equità in-processing esistenti per correggere i bias residui che sopravvivono all'addestramento orientato all'equità.

Risultati Sperimentali

Gli autori hanno valutato il framework su OpenForensics (in-domain) e FaceForensics++ (FF++) (cross-dataset, leave-one-manipulation-out) utilizzando i backbone Xception e MobileNetV3-Small.

• Performance In-Domain (OpenForensics):

  • FFT ha ridotto costantemente i gap di Tasso di Falsi Positivi (FPR) e Tasso di Veri Positivi (TPR) attraverso 14 gruppi di genere/etnia.
  • Ha migliorato l'Accuratezza del Peggior Gruppo (WGA) aumentando simultaneamente l'accuratezza complessiva (Acc@0.5) e l'AUC.
  • Su MobileNetV3-Small, FFT ha ottenuto l'AUC migliore (0.9919) e la WGA migliore (0.9395) tra i metodi di post-processing, senza alcun "abbassamento del livello" (ovvero, nessun gruppo ha subito una degradazione dell'accuratezza rispetto al baseline).
  • FFT ha superato gli altri baseline di post-processing (Fair-FLIP, BPFA) e ha eguagliato o superato i metodi in-processing (DAG-FDD, DAW-FDD) nelle metriche di equità senza richiedere riaddestramento.

• Performance Cross-Dataset (FF++ Leave-One-Out):

  • Nell'impegnativa impostazione F2F hold-out, dove i rilevatori spesso collassano verso il caso, FFT ha aumentato significativamente l'accuratezza da quasi casuale (0.4140) a 0.6392 su Xception.
  • Mentre alcuni metodi alternativi mostravano una riduzione dei gap di equità, gli autori sostengono che ciò sia dovuto al fatto che le predizioni collassano verso punteggi non discriminativi (regressione verso il caso). FFT è stato l'unico metodo di post-processing a ottenere guadagni di accuratezza sopra il caso migliorando l'utilità.
  • FF-Discover ha ottenuto la WGA più alta (0.4800) tra tutti i metodi in questa impostazione, dimostrando che i cluster derivati dagli embedding catturano la struttura critica per l'equità anche senza etichette.

• Calibrazione:

  • Le curve di calibrazione hanno mostrato che FFT riduce sostanzialmente l'Errore di Calibrazione Atteso (ECE) rispetto al baseline e ad altri metodi di post-processing, che spesso degradano la calibrazione.

Significato e Rivendicazioni

Il paper sostiene che Face-Feature Tuning (FFT) offre una soluzione innovativa alla sfida di implementazione del rilevamento dei deepfake, raggiungendo l'equità senza etichette demografiche, riaddestramento o sacrificio dell'accuratezza.

• Praticità: Il metodo è altamente pratico per le organizzazioni che utilizzano modelli base commerciali, poiché non richiede l'accesso agli interni del modello, non richiede annotazioni demografiche e comporta un carico computazionale minimo.
• Privacy: Evitando la necessità di etichette demografiche esplicite, FFT è particolarmente prezioso in contesti sensibili alla privacy dove la raccolta di tali dati è legalmente o eticamente problematica.
• Meccanismo: L'efficacia deriva dalla capacità degli embedding facciali di fornire informazioni demografiche ricche e continue che catturano variazioni sottili oltre le categorie discrete, permettendo al calibratore di apprendere correzioni non lineari per complesse interazioni tra aspetto e comportamento del rilevatore.
• Limitazioni: Gli autori notano con modestia che il metodo assume che gli embedding facciali codifichino sufficientemente le informazioni demografiche, il che potrebbe non valere per immagini pesantemente occluse o di bassa qualità, e richiede un set di calibrazione rappresentativo.

In conclusione, il lavoro dimosta che sfruttare la struttura degli embedding facciali pre-addestrati permette di correggere i bias sistematici nei rilevatori di deepfake, consentendo un deployment più equo e accurato in scenari del mondo reale.