QBK-ProtoNet: Quality-Calibrated Bio-Kinematic Covariance Prototype Learning for Deepfake Video Detection

Sintesi Tecnica di QBK-ProtoNet: Apprendimento di Prototipi di Covarianza Bio-Cinematica Calibrati sulla Qualità per il Rilevamento di Deepfake Video

Problematica
I rilevatori di video deepfake soffrono frequentemente di un degrado delle prestazioni quando applicati a video che hanno subito processi di elaborazione dei social media, catture a bassa qualità o domini di manipolazione non visti. Molti modelli esistenti si affidano pesantemente ad artefatti visivi specifici del dataset (ad esempio, confini di fusione o inconsistenze di texture) piuttosto che a indizi forensi generalizzabili. Di conseguenza, questi modelli spesso falliscono nel generalizzare quando i video vengono ricompressi, sottocampionati, catturati in condizioni di scarsa illuminazione o generati da pipeline inedite. Inoltre, i rilevatori standard tipicamente restituiscono una decisione binaria senza indicare l'affidabilità dell'evidenza forense sotto la qualità osservata del video, limitando la loro utilità nei flussi di lavoro forensi pratici.

Metodologia: QBK-ProtoNet
Gli autori propongono QBK-ProtoNet, un framework leggero e interpretabile progettato per il rilevamento di deepfake calibrato sulla qualità. Invece di fare affidamento su un pesante backbone di deep learning end-to-end, il metodo opera su una rappresentazione a livello di feature che combina descrittori fisiologici, cinematici e di qualità.

1. Rappresentazione dell'Evidenza Bio-Cinematica:
   Ogni video viene convertito in un vettore di evidenza normalizzato ($x \in \mathbb{R}^d$) composto da quattro componenti chiave:

   • Consistenza Fisiologica: Cattura la variazione del colore tra le regioni associata ai segnali di fotopletismografia remota (rPPG).
   • Consistenza Cinematica: Misura le micro-mosizioni regionali del volto e il accoppiamento bocca-viso (sincronizzazione).
   • Instabilità Temporale: Valuta l'instabilità sotto perturbazioni di fase e di permutazione (shuffle).
   • Affidabilità della Qualità: Un vettore separato ($q \in \mathbb{R}^r$) contenente il conteggio dei frame, il frame rate, l'affidabilità del rilevamento del volto e le statistiche di luminanza.

2. Apprendimento del Prototipo di Covarianza:
   Il framework definisce dei "prototipi" per l'evidenza autentica ($\mu_0$) e manipolata ($\mu_1$) basandosi sulle medie del set di addestramento. Invece di utilizzare una semplice distanza euclidea, QBK-ProtoNet impiega la distanza di Mahalanobis per tenere conto della scala e della correlazione tra i descrittori forensi.

   • Metrica di Distanza: $d_c(x) = \sqrt{(x - \mu_c)^T \Sigma^{-1} (x - \mu_c)}$, dove $\Sigma$ è una matrice di covarianza.
   • Varianti di Covarianza: Il paper valuta due approcci:
     • Covarianza Condivisa (Shared Covariance): Una singola matrice stimata su tutti i dati di addestramento.
     • Covarianza Specifica per Classe (Class-Specific Covariance): Matrici separate stimate per le classi reali e fake.
   • Stabilità: Per garantire la stabilità numerica, viene applicata la contrazione della covarianza (shrinkage): $\hat{\Sigma} = (1 - \lambda)\Sigma + \lambda \text{diag}(\Sigma) + \epsilon I$, con $\lambda = 0.25$.

3. Scoring e Incertezza:

   • Scoring del Margine: Il video viene valutato in base al margine $m = d_0(x) - d_1(x)$. Un margine positivo suggerisce che il video è più vicino al prototipo manipolato.
   • Affidabilità della Qualità: Un punteggio di affidabilità ($r_q$) viene calcolato in base alla distanza del profilo di qualità del video dal centro di qualità del set di addestramento.
   • Incertezza: I video vicini al confine di decisione o lontani dal profilo di qualità di addestramento ricevono punteggi di incertezza più elevati, consentendo un protocollo di "set trattenuto" (retained-set) in cui i video incerti possono essere rifiutati o deferiti per una revisione umana.

Contributi Chiave

1. Rappresentazione Calibrata sulla Qualità: Una nuova rappresentazione dell'evidenza che combina indizi fisiologici, cinematici e temporali con espliciti descrittori di qualità del video.
2. Rilevatore di Prototipi Consapevole della Covarianza: L'introduzione della distanza di Mahalanobis (sia condivisa che specifica per classe) all'apprendimento dei prototipi, che penalizza le direzioni di feature ridondanti o instabili rispetto ai baseline euclidei.
3. Valutazione Consapevole dell'Incertezza: Un protocollo di valutazione che riporta la distanza del prototipo, l'affidabilità della qualità e le prestazioni del "retained-set" (dopo il rifiuto dei campioni incerti) invece di affidarsi esclusivamente alla classificazione binaria dell'accuratezza.
4. Analisi della Robustezza: Esperimenti esaustivi su cross-dataset e video degradati che dimostrano i trade-off tra specializzazione in-domain e generalizzazione cross-dataset.

Risultati Sperimentali
Il metodo è stato valutato su un manifesto bilanciato basato su Celeb (in-domain) e sul dataset FaceForensics++ (FF++) (cross-dataset), sotto varie condizioni di degradazione (bassa risoluzione, riduzione a 15 fps, scarsa illuminazione).

• Prestazioni In-Domain: Il prototipo di Mahalanobis specifico per classe ha ottenuto la migliore prestazione in-domain sullo split di test Celeb con un AUC del 80,09%.
• Generalizzazione Cross-Dataset: Il prototipo di Mahalanobis a covarianza condivisa ha dimostrato una generalizzazione superiore all'esterno del dataset FF++, raggiungendo un AUC del 66,49%, rispetto al 51,46% della variante specifica per classe. La variante specifica per classe ha mostrato segni di overfitting sulle statistiche di manipolazione specifiche di Celeb.
• Robustezza alla Degradazione: Entrambe le varianti Mahalanobis hanno superato sostanzialmente il baseline euclideo in tutte le impostazioni degradate (ad esempio, la Mahalanobis condivisa ha raggiunto un AUC del 77,02% sui video a bassa risoluzione contro il 63,49% dell'Euclideo).
• Rifiuto dell'Incertezza: Il rifiuto del 30% dei video più incerti ha migliorato l'AUC di FF++ per la variante a covarianza condivisa dal 66,49% al 68,52%, e l'AUC a 15-fps dal 74,41% all'80,76%.
• Efficienza: Lo scoring del prototipo è computazionalmente leggero, richiedendo circa 0,143 ms per video su una CPU dopo l'estrazione delle feature.

Significatività e Rivendicazioni
Gli autori posizionano esplicitamente QBK-ProtoNet non come un rilevatore universale state-of-the-art che sostituisce i modelli foundation ad alta capacità, ma come un framework interpretabile e orientato all'affidabilità.

• Interpretabilità: A differenza dei classificatori black-box, QBK-ProtoNet espone specifiche inconsistenze bio-cinematiche e metriche di affidabilità della qualità, permettendo agli analisti forensi di capire perché un video viene segnalato.
• Affidabilità sopra l'Accuratezza: Il paper sostiene che nei flussi di lavoro forensi, sapere quando un rilevatore è incerto (a causa della bassa qualità o del domain shift) è critico quanto il punteggio di rilevamento stesso. Il framework fornisce un meccanismo per deferire i casi incerti.
• Trade-off del Design della Covarianza: Una scoperta chiave è il trade-off tra specializzazione in-domain e affidabilità cross-domain. La covarianza specifica per classe cattura una geometria in-domain più ricca ma rischia l'overfitting, mentre la covarianza condivisa offre un approccio più sicuro e robusto per lo screening cross-dataset.
• Ambito Modesto: Gli autori riconoscono che il presente lavoro è un "manoscritto a livello di prototipo" che utilizza dati a livello di feature piuttosto che un modello foundation end-to-end completo. Affermano che il contributo è lo "strato di affidabilità del prototipo di covarianza" e la modellazione esplicita del trade-off tra in-domain e trasferimento, piuttosto che una rivendicazione di superiorità assoluta nelle classifiche.