RecoverMark: Robust Watermarking for Localization and Recovery of Manipulated Faces

RecoverMark is een robuust watermerksysteem dat gemanipuleerde gezichten lokaliseert en herstelt door het gezicht zelf als watermerk in de achtergrond te embedden, waardoor het bestand is tegen verwijderingsaanvallen terwijl het ook auteursrechtbescherming biedt.

De kern

RecoverMark: De Onzichtbare Veiligheidskopie voor Je Gezicht

Stel je voor dat je een unieke, kostbare foto van je gezicht hebt. Vandaag de dag kan iedereen met kunstmatige intelligentie (AI) die foto zo aanpassen dat het eruitziet alsof jij iets anders doet, of dat je er helemaal anders uitziet. Dit is gevaarlijk, vooral als die foto als bewijs wordt gebruikt in een rechtbank of als je auteursrechten wilt beschermen.

Deze wetenschappelijke paper introduceert RecoverMark, een slimme nieuwe manier om deze foto's te beveiligen. Hier is hoe het werkt, vertaald naar alledaagse taal:

1. Het Probleem: De "Fragiele" Lijm

Vroeger gebruikten mensen een soort "gevoelige lijm" (een kwetsbaar watermerk) op hun foto's. Als iemand de foto aanraakte, brak de lijm en wist je dat er iets mis was.

• Het nadeel: Een slimme hacker kan die lijm gewoon wegpoetsen voordat hij de foto aanpast. Dan is de waarschuwing weg en weet je niet meer dat de foto gemanipuleerd is.
• De oude oplossing: Sommige systemen hadden twee lagen: een sterke laag voor auteursrechten en een kwetsbare laag voor detectie. Maar die lagen verstoorden elkaar, waardoor de kwetsbare laag nog makkelijker te vernietigen was.

2. Het Geniale Idee: Gebruik je eigen gezicht als de "veiligheidskopie"

RecoverMark denkt anders. Het maakt gebruik van een simpele, maar krachtige regel in de echte wereld:

"Als iemand je gezicht in een foto aanpast, mag hij de achtergrond niet veranderen. Als de achtergrond er anders uitziet dan in het echte leven, valt het direct op en is het bewijs ongeldig."

Dit is als een detective die zegt: "Als je zegt dat je in de kamer was, maar de muur achter je is van rood naar blauw geschilderd zonder dat je dat hebt gemeld, geloof ik je niet."

Hoe RecoverMark dit gebruikt:
In plaats van een willekeurig patroon als watermerk te gebruiken, pakt RecoverMark je eigen gezicht en verbergt het als een geheime kopie in de achtergrond van de foto.

• De Analogie: Stel je voor dat je een briefje met je eigen gezicht erop in de muren van je huis (de achtergrond) verft. Als iemand je gezicht in de foto vervangt door een ander gezicht, kunnen we de muren (de achtergrond) inspecteren en het originele gezicht eruit halen.

3. Hoe het Werkt: De Twee-Fase Opleiding

Om dit te laten werken, heeft het systeem een speciale training ondergaan, net zoals een student die eerst de theorie leert en dan oefent met moeilijke examens.

• Fase 1: De Basis: Het systeem leert hoe het zijn eigen gezicht in de achtergrond kan verstoppen zonder dat het eruitziet alsof er iets mis is. Het moet zo natuurlijk zijn dat je het niet ziet.
• Fase 2: De "Gevangenis" Training: Hier wordt het echt interessant. Het systeem wordt getraind onder zware omstandigheden. Het krijgt te maken met:
  • Ruis en vervaging (alsof de foto door een vieze lens is genomen).
  • Regeneratie-aanvallen: Dit is de zwaarste aanval. Een AI probeert de foto volledig opnieuw te genereren om de geheime boodschap te wissen.
  • De slimme truc: Het systeem begint de training met de zwaarste aanval (de regeneratie). Als het systeem daar tegen kan, is het ook sterk genoeg tegen de makkelijkere aanvallen. Dit zorgt ervoor dat het watermerk "onverwoestbaar" wordt.

4. Wat Kun Je Ermee?

Als iemand een foto van je steelt en je gezicht aanpast, kan RecoverMark drie dingen doen:

1. Locatie vinden: Het laat precies zien welk stukje van de foto is gemanipuleerd (zoals een rode vlek op een kaart).
2. Herstellen: Omdat het originele gezicht in de achtergrond was verstopt, kan het systeem je echte gezicht uit de achtergrond halen en de vervalste foto weer herstellen. Het is alsof je een foto van een verbrande brief kunt reconstrueren omdat je de tekst in de as had verstopt.
3. Auteursrecht bewijzen: Het kan bewijzen dat jij de oorspronkelijke eigenaar bent, zelfs als de foto zwaar is bewerkt.

Samenvatting

RecoverMark is als een onverwoestbare veiligheidskopie die je in de muren van je huis verbergt. Zelfs als een inbreker je gezicht in de foto verandert, kunnen we de muren bekijken, je echte gezicht terugvinden en bewijzen dat de foto is gemanipuleerd. Het is een slimme manier om de integriteit van gezichten in de wereld van AI te beschermen.

Technische samenvatting

Probleemstelling

De snelle opkomst van AI-generatieve content (AIGC) heeft geavanceerde gezichtsmanipulatie mogelijk gemaakt, wat de visuele integriteit ondermijnt en ernstige bedreigingen vormt voor intellectueel eigendom (IP) en bewijskracht. Bestaande proactieve verdedigingsmechanismen, zoals kwetsbare watermerken (fragile watermarks), hebben twee fundamentele tekortkomingen:

1. Aanvalsvulnerabiliteit: Ze gaan er ten onrechte van uit dat de aanvallers niet op de hoogte zijn van het watermerk. In de praktijk kunnen aanvallers echter watermerkbeweging-technieken (zoals laagdoorlaatfilters of geavanceerde regeneratie-aanvallen) toepassen om het watermerk te verwijderen voordat of tijdens de manipulatie, waardoor detectie en lokalisatie falen.
2. Dual-watermerk beperkingen: Veel state-of-the-art methoden gebruiken een strategie met twee watermerken (een kwetsbaar voor lokalisatie en een robuust voor auteursrecht). Dit leidt tot onderlinge interferentie en beperkte embed-capaciteit, waardoor de kwetsbare watermerken minder effectief worden.
3. Gebrek aan herstel: Bestaande methoden negeren vaak het vermogen om de oorspronkelijke inhoud in gemanipuleerde gebieden te herstellen.

Methodologie: RecoverMark

RecoverMark is een robuust watermerksysteem dat gelijktijdig manipulatielokalisatie, inhoudsherstel en auteursrechtverificatie mogelijk maakt. De kerninzichten en het ontwerp zijn als volgt:

1. Kerninzichten:

• Semantische consistentie van de achtergrond: Een aanvallende manipulator moet de achtergrond semantisch consistent houden om visuele detectie te vermijden. Grote veranderingen in de achtergrond zouden direct opvallen (bijvoorbeeld in juridische contexten).
• Zelf-watermerking: In plaats van een extern patroon te gebruiken, wordt de gezichtscontent zelf gebruikt als het watermerk.

2. Architectuur en Werkingsprincipe:

• Segmentatie: Het originele beeld ($I_{ori}$) wordt opgesplitst in een salient gebied (het gezicht, $I_{sal}$) en de achtergrond ($I_{bg}$).
• Embedding: Het gezicht ($I_{sal}$) fungeert als het watermerk en wordt op een robuuste manier ingebed in de achtergrond ($I_{bg}$) via een verbergingsnetwerk ($HNet$). Het resultaat is een watermerk-bevattende container ($I_{cntr}$).
• Extractie: Na een mogelijke manipulatie en aanval wordt het originele gezicht uit de achtergrond van het verdachte beeld teruggehaald via een extractienetwerk ($ENet$) en decoder.

3. Twee-staps trainingsparadigma:
Om robuustheid te garanderen tegen zowel bekende als onbekende aanvallen, wordt een progressieve trainingsstrategie gebruikt:

• Fase 1 (Initiële training): Alle netwerken (Encoder, Hiding Network, Extraction Network, Decoder) worden getraind om het gezicht nauwkeurig in de achtergrond te verbergen en weer te herstellen, met focus op visuele trouw (fidelity) en extractie-accuraatheid.
• Fase 2 (Robuustheidsextensie): De Encoder en Decoder worden bevroren. Een speciaal vervormingslaag (distortion layer) wordt toegevoegd tussen het verbergings- en extractienetwerk. Deze laag simuleert diverse aanvallen:
  • Salientie-verwerking: Ruis toevoegen aan het gezicht om te voorkomen dat het systeem afhankelijk wordt van specifieke gezichtskenmerken.
  • Globale verwerking: JPEG-compressie, ruis en laagdoorlaatfilters.
  • Geavanceerde aanvallen: Regeneratie-aanvallen (die watermerken volledig kunnen wissen) en lattic-aanvallen.
• Progressieve strategie: Het model wordt eerst getraind op de zwaarste aanval (regeneratie) en vervolgens op de andere distorties. Dit voorkomt dat het model "luie" lokale minima bereikt die alleen werken tegen simpele aanvallen.

4. Toepassing:

• Lokalisatie: Door het gereconstrueerde gezicht te vergelijken met het gezicht in het verdachte beeld, kan een masker van de gemanipuleerde gebieden worden gegenereerd.
• Herstel: Het originele gezicht wordt exact gereconstrueerd.
• Auteursrechtverificatie: Als de genormaliseerde correlatiecoëfficiënt (NCC) tussen het gereconstrueerde en originele gezicht > 0,95 is, wordt de eigendom bevestigd.

Belangrijkste Bijdragen

1. Nieuw Framework: Introductie van RecoverMark, dat de zwakke punten van bestaande proactieve methoden adresseert door watermerkbeweging te overleven en gelijktijdig lokalisatie, herstel en verificatie te bieden.
2. Innovatieve Strategie: Het gebruik van de gezichtscontent als het watermerk zelf, ingebed in de achtergrond, gebaseerd op de realiteit dat achtergronden niet significant mogen veranderen.
3. Geavanceerde Training: Een tweestaps, progressieve trainingspipeline die het model uiterst robuust maakt tegen zowel traditionele post-processing als geavanceerde regeneratie-aanvallen.
4. Uitgebreide Validatie: Demonstratie van superioriteit op zowel in-distribution (CelebA) als out-of-distribution (FFHQ) data, inclusief "onbekende" aanvallen zoals de lattice-aanval.

Resultaten

Experimentele resultaten tonen aan dat RecoverMark aanzienlijk beter presteert dan state-of-the-art methoden (zoals Imuge+, EditGuard, OmniGuard en passieve methoden zoals MVSS-Net):

• Lokalisatie: Bereikt een F1-score van ongeveer 0,85 - 0,90 en een AUC van > 0,99 onder diverse aanvallen, terwijl concurrenten vaak onder de 0,5 zakken bij regeneratie-aanvallen.
• Herstel: Bereikt een hoge PSNR (Peak Signal-to-Noise Ratio) van rond de 22 dB en een MS-SSIM van ~0,65, wat aangeeft dat het originele gezicht nauwkeurig wordt hersteld.
• Robuustheid: Het systeem blijft effectief zelfs na een opeenvolging van aanvallen (regeneratie + ruis + JPEG + lattice), inclusief aanvallen die niet tijdens het trainingstijdperk zijn gezien.
• Auteursrecht: Bereikt een succesrate van 99,9% voor eigendomsverificatie.

Betekenis en Impact

RecoverMark biedt een paradigmaverschuiving in de strijd tegen deepfakes en gezichtsmanipulatie. Door de afhankelijkheid van kwetsbare watermerken te doorbreken en in te spelen op de fysieke beperkingen van aanvallers (behoud van achtergrondconsistentie), biedt het een betrouwbare oplossing voor:

• Juridische bewijskracht: Het kan gemanipuleerd bewijsmateriaal valideren en de oorspronkelijke inhoud herstellen.
• Intellectueel Eigendom: Het biedt een robuust mechanisme voor auteursrechtverificatie dat niet kan worden omzeild door watermerkbeweging.
• Toekomstige Richting: Hoewel het nu beperkt is tot gezichten, is het concept generaliseerbaar naar andere objectcategorieën, wat de weg vrijmaakt voor bredere toepassingen in beeldveiligheid.