High-Fidelity Face Content Recovery via Tamper-Resilient Versatile Watermarking

1. Il Problema

L'ascesa dei contenuti generati dall'intelligenza artificiale (AIGC) e dei deepfake ha creato minacce gravi per la provenienza dei media, l'integrità e la protezione del copyright. Le soluzioni esistenti presentano diverse limitazioni critiche:

• Trade-off Fedeltà-Funzionalità: I sistemi di filigrana (watermarking) versatili attuali spesso richiedono payload di grandi dimensioni per la localizzazione delle manipolazioni. Questo degrada la qualità visiva dell'immagine e riduce la robustezza del decodificatore sotto forti editing generativi.
• Mancanza di Recupero del Contenuto: La maggior parte dei metodi esistenti si limita a rilevare o localizzare le frodi, ma non supporta il recupero del contenuto originale. Questo limita il loro valore forense quando è necessario ricostruire prove originali fedeli.
• Robustezza Limitata: I metodi passivi (basati solo sull'analisi dell'immagine) faticano a generalizzare contro deepfake sofisticati e mai visti, mentre i metodi attivi spesso non riescono a localizzare le manipolazioni a livello di pixel senza introdurre artefatti visibili.

2. Metodologia: Il Framework VeriFi

Gli autori propongono VeriFi, un framework proattivo unificato che risolve il compromesso tra protezione del copyright, localizzazione delle manipolazioni e recupero del contenuto. L'architettura si basa su quattro moduli integrati:

A. Filigrana Unificata per Recupero e Copyright (URW)

Invece di usare payload separati, VeriFi codifica due segnali in un'unica filigrana compatta:

1. Codice di Proprietà ($w_{cop}$): Un codice binario discreto per l'autenticazione del copyright.
2. Latente Semantico Compatto ($z_{face}$): Un vettore continuo derivato da un Variational Autoencoder (VAE) pre-addestrato. Questo latente funge da "prior" semantico per il recupero ad alta fedeltà del volto originale, evitando la necessità di incorporare l'intera immagine (che richiederebbe troppa banda e causerebbe distorsioni).

B. Localizzazione Guidata dalla Filigrana

Il sistema sfrutta un'idea chiave: il degrado della filigrana è un forte indicatore di manipolazione.

• Quando un'immagine viene manipolata (es. face swapping), la filigrana incorporata in quella regione viene corrotta o distrutta.
• Una rete di localizzazione dual-branch (basata su Swin-Unet) confronta le caratteristiche visive dell'immagine manipolata con le caratteristiche spaziali derivate dalla filigrana decodificata.
• Calcolando la similarità coseno tra questi due flussi a diverse scale, il sistema genera una mappa di probabilità di manipolazione precisa a livello di pixel, senza bisogno di payload specifici per la localizzazione.

C. Recupero Deepfake Guidato dalla Filigrana

Per ricostruire il volto originale:

• Il latente semantico decodificato ($\hat{z}_{face}$) viene usato per generare un "proxy" grezzo del volto originale tramite il decoder VAE.
• Una rete di recupero basata su Transformer a doppio flusso fonde l'immagine manipolata, il proxy grezzo e la mappa di manipolazione prevista.
• Un meccanismo di attenzione incrociata a cancellazione spaziale (spatial gating) assicura che i segnali semantici della filigrana vengano iniettati solo nelle regioni manipolate, preservando il contenuto originale non toccato.

D. Simulatore di Attacchi AIGC

Per addestrare il modello a resistere a manipolazioni realistiche, gli autori introducono un simulatore di attacchi che combina:

1. Mixing nello Spazio Latente: Mescola i codici latenti di un volto target e di un volto sorgente (simulando la sintesi generativa).
2. Fusione Poisson: Applica il Poisson blending per integrare seamless il volto generato nello sfondo originale.
3. Degradazioni Casuali: Aggiunge rumore e compressione JPEG per simulare le condizioni reali.

3. Contributi Chiave

1. Framework Unificato: VeriFi è il primo sistema versatile che unisce protezione del copyright, localizzazione a livello di pixel e recupero ad alta fedeltà del contenuto facciale in un'unica architettura.
2. Rimozione del Trade-off: Elimina la necessità di payload di localizzazione pesanti, utilizzando il segnale di copyright stesso come prior spaziale per rilevare le incongruenze.
3. Recupero Semantico: Introduce un meccanismo di recupero basato su latenti semantici compatti, permettendo la ricostruzione fedele del volto originale anche dopo manipolazioni gravi.
4. Simulatore di Attacchi Realistici: Il simulatore di attacchi AIGC migliora significativamente la robustezza del modello esponendolo a perturbazioni che mimano i pipeline di deepfake reali durante l'addestramento.

4. Risultati Sperimentali

Il metodo è stato valutato sui dataset CelebA-HQ e FFHQ, confrontandosi con lo stato dell'arte (es. EditGuard, OmniGuard, StableGuard, Imuge+, DFREC).

• Localizzazione delle Manipolazioni: VeriFi supera tutti i baselines. Su CelebA-HQ, ottiene un F1-score di 0.946 (SD Inpainting), 0.975 (HD-painter) e 0.989 (Splicing), con un'accuratezza di localizzazione superiore e confini più netti rispetto ai metodi passivi e attivi esistenti.
• Recupero del Contenuto: In termini di qualità di recupero (PSNR e SSIM), VeriFi mostra miglioramenti sostanziali. Ad esempio, sotto attacco SD Inpainting su CelebA-HQ, raggiunge 31.05 dB di PSNR e 0.894 di SSIM, superando di gran lunga Imuge+ (21.49 dB) e DFREC (21.14 dB). I volti recuperati sono visivamente plausibili e semanticamente coerenti.
• Robustezza del Copyright: VeriFi mantiene un'accuratezza di estrazione media del 97.70% sotto vari attacchi AIGC e degradazioni comuni, mantenendo al contempo un'alta fedeltà visiva dell'immagine filigranata (PSNR 42.53 dB, SSIM 0.948).
• Efficienza: L'inferenza end-to-end (embedding, estrazione, localizzazione e recupero) richiede circa 82.75 ms per immagine su una GPU RTX 3090, rendendolo adatto per applicazioni quasi in tempo reale.

5. Significato e Impatto

Il lavoro di VeriFi rappresenta un passo avanti significativo nella forensica digitale proattiva.

• Superamento dei Limiti Attuali: Risolve il dilemma storico tra qualità visiva e funzionalità forense, dimostrando che è possibile avere un sistema robusto senza sacrificare la fedeltà dell'immagine.
• Valore Forense Pratico: La capacità di recuperare il contenuto originale trasforma la filigrana da un semplice strumento di rilevamento a uno strumento di ripristino delle prove, cruciale per contesti legali e investigativi.
• Resilienza all'AIGC: L'approccio proattivo e l'uso di un simulatore di attacchi specifici per l'AIGC rendono il sistema più resistente alle tecniche di manipolazione più avanzate rispetto ai metodi reattivi tradizionali.

In sintesi, VeriFi stabilisce un nuovo benchmark per la difesa contro i deepfake, offrendo una soluzione completa che protegge, localizza e ripara i contenuti digitali manipolati.