Towards Sustainable Universal Deepfake Detection with Frequency-Domain Masking

Sintesi Tecnica: Verso un Rilevamento di Deepfake Universale e Sostenibile tramite Mascheramento nel Dominio delle Frequenze

Problematica
La proliferazione di immagini sintetiche generate dall'IA, che spaziano dai GAN ai modelli di diffusione, pone una sfida significativa per la diagnostica digitale (digital forensics). Sebbene il rilevamento dei deepfake nelle prime fasi si fosse concentrato su specifiche architetture di generatori, il campo si è spostato verso il rilevamento "universale", che richiede una robusta capacità di generalizzazione verso modelli non visti precedentemente. Tuttavia, gli attuali approcci allo stato dell'arte (SOTA) spesso si affidano pesantemente a modelli pre-addestrati su larga scala e a un'estrazione di caratteristiche complessa, portando a elevati costi computazionali e consumi energetici. Ciò contrasta con i principi della "Green AI", che promuove un apprendimento automatico sostenibile e a basso consumo di risorse. Inoltre, domini specializzati (ad es. l'acquacoltura) fanno sempre più affidamento su dati sintetici per l'addestramento, dove campioni sintetici di scarsa qualità o manipolati possono propagare errori in applicazioni critiche. La sfida centrale consiste nello sviluppare una strategia di rilevamento che raggiunga una forte generalizzazione attraverso diversi generatori non visti, rimanendo al contempo computazionalmente efficiente e resiliente alla compressione del modello.

Metodologia
Gli autori propongono una strategia di addestramento centrata sul Mascheramento nel Dominio delle Frequenze come forma di aumento dei dati supervisionato. A differenza del tradizionale modellamento di mascheramento delle immagini (MIM) utilizzato per il pre-addestramento auto-supervisionato, questo metodo applica il mascheramento durante l'addestramento alla classificazione supervisionata per costringere il rilevatore a imparare caratteristiche robuste e generalizzabili, anziché fare affidamento su artefatti superficiali specifici del generatore.

La metodologia prevede tre componenti primarie:

1. Mascheramento nel Dominio delle Frequenze: Le immagini in input vengono trasformate nel dominio delle frequenze utilizzando la Trasformata Rapida di Fourier (FFT). Bande di frequenza specifiche (Bassa, Media, Alta o Tutte) vengono selezionate casualmente e mascherate (azzerate) in base a un rapporto di mascheramento, mentre l'informazione di fase viene preservata per mantenere la coerenza spaziale. L'immagine viene quindi trasformata inversamente nel dominio spaziale per l'addestramento.
2. Augmentazioni Comparative: Lo studio confronta sistematicamente il mascheramento delle frequenze con:
   • Mascheramento Spaziale: Occlusione a livello di pixel e di patch nel dominio spaziale.
   • Trasformazioni Geometriche: Rotazione e traslazione casuale.
3. Analisi della Potatura Strutturata (Structured Pruning): Per valutare la sostenibilità e l'efficienza, gli autori applicano la potatura strutturata per livelli (rimozione dei canali di output in base all'importanza della norma L1) ai modelli addestrati. Valutano se la robustezza ottenuta tramite il mascheramento delle frequenze persista sotto una severa riduzione dei parametri (fino all'80% di potatura).

Contributi Chiave

1. Mascheramento delle Frequenze Supervisionato: Il documento introduce un nuovo aumento di addestramento che applica il mascheramento casuale nel dominio delle frequenze all'interno di un framework supervisionato. Questo approccio è distinto dai precedenti lavori MIM che si concentrano su obiettivi di ricostruzione.
2. Confronto Empirico delle Augmentations: Gli autori forniscono un'analisi completa confrontando il mascheramento spaziale, le trasformazioni geometriche e il mascheramento delle frequenze. Dimostrano che il mascheramento delle frequenze produce capacità di generalizzazione superiori rispetto ai metodi spaziali o geometrici.
3. Allineamento con la Green AI: Lo studio valida che il mascheramento delle frequenze migliora la robustezza del modello anche sotto una significativa compressione del modello (potatura strutturata), offrendo una via verso rilevatori di deepfake leggeri e sostenibili.
4. Validazione Cross-Domain: Il metodo è valutato non solo su benchmark standard di GAN e diffusione, ma anche su un dataset specializzato "FakeFish" per l'acquacoltura, dimostrando l'applicabilità in domini in cui la qualità dei dati sintetici è critica.

Risultati

• Prestazioni di Generalizzazione: Sui benchmark standard (Wang et al., Ojha et al.), il mascheramento delle frequenze ha raggiunto la più alta Precisione Media (mAP) e l'Area Sotto la Curva ROC (AUROC). Nello specifico, un rapporto di mascheramento del 15% applicato su tutte le bande di frequenza ha prodotto risultati ottimali (88,10% mAP, 88,72% AUROC), superando il mascheramento spaziale e le trasformazioni geometriche.
• Resilienza alla Potatura: Quando i modelli sono stati sottoposti a potatura strutturata (fino all'80% di riduzione dei parametri), quelli addestrati con il mascheramento delle frequenze hanno mantenuto prestazioni significativamente più elevate rispetto ai baseline e a quelli addestrati solo con traslazione o rotazione. Ad esempio, su MobileNetv2 con il 50% di potatura, il mascheramento delle frequenze ha mantenuto un mAP del 73,15%, mentre il baseline è sceso al 53,95%.
• Miglioramento dello Stato dell'Arte: L'integrazione del mascheramento delle frequenze con gli esistenti backbone SOTA (ad es. Wang et al., Gragnaniello et al.) ha costantemente migliorato le loro prestazioni in tutti i dataset testati, inclusi i modelli di diffusione non visti.
• Dominio Specializzato: Nel dataset "FakeFish" dell'acquacoltura, il metodo proposto ha superato i lavori precedenti con un ampio margine (ad es. 79,84% mAP rispetto al 73,38% di Wang et al. su immagini generate da ControlNet), dimostrando efficacia nel rilevare dati sintetici di bassa qualità o manipolati in applicazioni di nicchia.
• Studi di Ablazione: Lo studio ha rilevato che il mascheramento del canale Verde ha prodotto prestazioni leggermente superiori rispetto al Rosso o al Blu, ma il mascheramento di tutti i canali (RGB) rimane la scelta più robusta. Sebbene la Trasformata Discreta del Coseno (DCT) abbia mostrato guadagni marginali rispetto alla FFT, la FFT è stata mantenuta per la sua efficacia consolidata nella letteratura forense.

Significatività e Rivendicazioni
Il documento afferma che il mascheramento nel dominio delle frequenze funge da passo pratico e sostenibile verso un rilevamento universale dei deepfake. Sopprimendo la dipendenza dagli artefatti spettrali specifici del generatore durante l'addestramento, il metodo incoraggia l'apprendimento di caratteristiche strutturali intrinseche che si generalizzano attraverso diverse architetture generative. Gli autori sottolineano che questo approccio si allinea ai principi della Green AI consentendo un rilevamento ad alte prestazioni su modelli compressi e con risorse limitate senza sacrificare la generalizzazione. Il lavoro suggerisce che le rappresentazioni basate sulle frequenze sono particolarmente efficaci per identificare i media sintetici perché catturano i sottili artefatti periodici introdotti dalle pipeline di upsampling e generazione che sono spesso invisibili nel dominio spaziale. Gli autori concludono che, sebbene il metodo sia promettente, richiede una calibrazione attenta dei rapporti di mascheramento e potrebbe necessitare di ulteriori adattamenti per il video (indizi temporali) e scenari di compressione estrema.