High-Fidelity Face Content Recovery via Tamper-Resilient Versatile Watermarking

Probleemstelling

De snelle opkomst van door AI gegenereerde content (AIGC) en deepfakes vormt een ernstige bedreiging voor de authenticiteit, integriteit en auteursrechtbescherming van mediabestanden. Bestaande methoden voor digitale watermerken en dieptekunstdetectie kampen met drie fundamentele beperkingen:

1. Afweging tussen kwaliteit en functionaliteit: Systemen die auteursrecht en manipulatie-localisatie combineren, moeten vaak grote "payloads" (informatie) in het beeld embedden. Dit leidt tot visuele artefacten (verminderde beeldkwaliteit) en vermindert de robuustheid van het watermerk onder zware bewerkingen.
2. Gebrek aan herstel: Bestaande methoden kunnen vaak wel detecteren dat een beeld is gemanipuleerd, maar ze kunnen de oorspronkelijke inhoud niet herstellen. Dit beperkt hun forensische waarde, omdat het originele bewijsmateriaal niet kan worden gereconstrueerd.
3. Onvoldoende robuustheid tegen AIGC: Veel methoden zijn getraind op traditionele manipulaties en falen bij complexe, door generatieve modellen gegenereerde aanpassingen (zoals deepfakes).

Methodologie: Het VeriFi Framework

De auteurs stellen VeriFi voor, een unificerend proactief framework dat drie doelen tegelijk bereikt: robuust auteursrechtbescherming, pixel-precieze manipulatie-localisatie en hoogwaardig herstel van gezichtsinhoud. Het systeem bestaat uit vier geïntegreerde modules:

1. Unified Recovery-Copyright Watermark (URW) Embedder & Extractor

In plaats van aparte watermerken voor auteursrecht en herstel, embedt VeriFi twee signalen in één compact formaat:

• Auteursrechtcode ($w_{cop}$): Een discrete code voor eigendomsverificatie.
• Compact semantisch latent ($z_{face}$): Een compacte, continue vector die de gezichtsinhoud encodeert (gebaseerd op een voorgetrainde Variational Autoencoder - VAE). Dit dient als een "prior" voor het herstel van het originele gezicht.
  De embedder zorgt ervoor dat deze signalen onzichtbaar zijn en bestand tegen verstoringen.

2. Watermark-Guided Forgery Localization (Vervalsering)

VeriFi gebruikt een slimme observatie: manipulatie vernietigt of beschadigt het ingebedde watermertsignaal in de aangepaste gebieden.

• Mechanisme: Het netwerk vergelijkt de visuele kenmerken van het verdachte beeld met de kenmerken die worden afgeleid uit het gedecodeerde watermerk.
• Techniek: Een dual-branch Swin-Unet architectuur berekent per pixel de cosinus-ähnelijkheid tussen de beeld- en watermerk-features. Gebieden met lage overeenkomst worden geïdentificeerd als gemanipuleerd. Dit elimineert de noodzaak voor extra, zware localisatie-payloads, waardoor de beeldkwaliteit behouden blijft.

3. Watermark-Guided Deepfake Recovery

Om het originele gezicht te herstellen, gebruikt het systeem de gedecodeerde semantische latent ($z_{face}$) als een sterke prior.

• Architectuur: Een dual-stream Transformer-netwerk.
• Input: Het gemanipuleerde beeld, een ruwe proxy van het gezicht (gegenereerd uit de latent), de gedecodeerde latent zelf, en de voorspelde manipulatiemasker.
• Gated Cross-Attention: Een speciaal mechanisme zorgt ervoor dat de semantische informatie (het originele gezicht) alleen wordt ingebracht in de gebieden die als gemanipuleerd zijn gemarkeerd. Dit voorkomt dat de herstel-informatie de authentieke delen van het beeld verstoort.

4. AIGC Attack Simulator

Om het model robuust te maken tegen realistische deepfakes, introduceert de auteurs een trainingsmodule die AIGC-aanvallen simuleert:

• Latent Mixing: Het mengen van latente representaties van verschillende gezichten in de VAE-ruimte.
• Image Blending: Het naadloos samenvoegen van gezichten met de achtergrond via Poisson-blending.
• Random Degradation: Toepassing van compressie en ruis.
  Dit zorgt ervoor dat het watermerk getraind wordt op een breed scala aan realistische aanvalsscenario's.

Belangrijkste Bijdragen

1. Unificatie van drie functies: VeriFi is het eerste framework dat auteursrecht, localisatie en hoogwaardig herstel (recovery) in één systeem combineert zonder de visuele kwaliteit te offeren.
2. Oplossing voor de "Fidelity-Functionality Trade-off": Door localisatie te baseren op de inconsistenties van het copyright-watermerk in plaats van extra payloads, wordt de beeldkwaliteit behouden terwijl de localisatie-accuraatheid hoog blijft.
3. Compact Semantisch Herstellen: Het gebruik van een compacte VAE-latent voor herstel maakt het mogelijk om gezichten na zware manipulaties (zoals face-swapping) nauwkeurig te reconstrueren.
4. Realistische Trainingsomgeving: De AIGC Attack Simulator verbetert de generalisatie van het model aanzienlijk ten opzichte van eerdere methoden.

Resultaten

Het team heeft VeriFi getest op de datasets CelebA-HQ en FFHQ en vergeleken met state-of-the-art methoden (zoals EditGuard, OmniGuard, StableGuard, en passieve detectoren zoals HiFi-Net).

• Robuustheid: VeriFi behaalde een gemiddelde extractie-accuraatheid van 97,70% onder diverse AIGC-aanvallen en degradaties, wat hoger is dan alle vergelijkbare methoden.
• Localisatie: Het systeem presteerde aanzienlijk beter in het lokaliseren van vervalsingen (F1-score van 0,946 tot 0,989 afhankelijk van het type aanval), met scherpere grenzen dan bestaande methoden.
• Herstelkwaliteit: Bij het herstel van gezichten onder SD Inpainting bereikte VeriFi een PSNR van 31,05 dB en een SSIM van 0,894, wat een significante verbetering is ten opzichte van concurrenten (bijv. Imuge+ haalde 21,49 dB). De gereconstrueerde gezichten zijn visueel overtuigend en semantisch consistent.
• Efficiëntie: Het totale model heeft ongeveer 157 miljoen parameters en een inferentie-tijd van 82,75 ms per afbeelding, wat het geschikt maakt voor bijna-echt-tijdtoepassingen.

Betekenis en Impact

VeriFi vertegenwoordigt een doorbraak in de forensische beveiliging van mediabestanden in het tijdperk van generatieve AI. Door de mogelijkheid te bieden om niet alleen te detecteren dat een beeld gemanipuleerd is, maar ook het originele bewijsmateriaal te herstellen, biedt het een krachtig instrument voor juridische en forensische doeleinden. Het lost het langdurige probleem op van het afwegen tussen beeldkwaliteit en beveiligingsfunctionaliteit, en biedt een praktische, verifieerbare verdediging tegen de toenemende dreiging van deepfakes.