All in One: Unifying Deepfake Detection, Tampering Localization, and Source Tracing with a Robust Landmark-Identity Watermark

Each language version is independently generated for its own context, not a direct translation.

Stel je voor dat je een digitale foto van een vriend maakt. Vroeger was een foto een bewijs dat iets echt was gebeurd: "Ik zag het met mijn eigen ogen." Maar tegenwoordig kunnen slimme computers (die we "deepfakes" noemen) gezichten zo perfect nabootsen dat je niet meer kunt zien of een foto echt is of nep. Het is alsof iemand een perfecte masker opzet en doet alsof hij jij bent.

Deze wetenschappers uit China hebben een oplossing bedacht die ze "LIDMark" noemen. Laten we het uitleggen met een simpele metafoor: De Onzichtbare Vingerafdruk en de Magische Spiegel.

1. Het Probleem: Drie Vragen, Drie Losse Oplossingen

Tot nu toe hadden experts drie aparte problemen:

Is dit nep? (Detectie)
Welk deel is nep? (Locatie: Is het de neus nep of de ogen?)
Wie heeft dit gemaakt? (Bron: Van wie komt de originele foto?)

Tot nu toe moesten mensen drie verschillende gereedschappen gebruiken om deze vragen te beantwoorden, net als een detective die eerst een vergrootglas, dan een vingerafdrukscanner en dan een telefoonboek nodig heeft. Dat is traag en onhandig.

2. De Oplossing: De "Alles-in-Één" Magische Stempel

Deze nieuwe methode, LIDMark, doet alles tegelijk. Ze steken een onzichtbare stempel in de foto voordat deze zelfs maar online gaat.

Stel je voor dat je een foto maakt en er direct een onzichtbare, magische sticker op plakt. Deze sticker bestaat uit twee delen:

De "Geometrische Schets" (136 punten): Dit is een onzichtbare lijntekening van precies hoe het gezicht eruit moet zien (de neus, de ogen, de mond). Dit is gevoelig: als iemand het gezicht verandert, breekt deze lijntekening.
De "Geheime Code" (16 tekens): Dit is een onveranderlijke code die zegt: "Deze foto komt van Jan." Deze code is zo sterk dat hij zelfs blijft bestaan als iemand het gezicht probeert te veranderen.

3. Hoe werkt het? De "Factorized-Head Decoder" (De Slimme Vertaler)

Om deze onzichtbare sticker te lezen, hebben ze een nieuw type "vertaler" bedacht, de FHD.

Vroeger: Je had twee aparte vertalers nodig. Eentje die probeerde de lijntekening te lezen en een andere die de code probeerde te ontcijferen.
Nu: De FHD is als een twee-oogige robot. Hij kijkt naar één foto en gebruikt zijn twee ogen tegelijk:
- Oog 1 (De Regelaar): Kijkt naar de onzichtbare lijntekening. Hij vraagt: "Ziet dit gezicht eruit zoals het er eerst uitzag?"
- Oog 2 (De Detective): Kijkt naar de geheime code. Hij vraagt: "Wie is de oorspronkelijke eigenaar?"

4. De "Intrinsieke vs. Extrinsieke" Check (De Magische Spiegel)

Hoe weten ze of een foto nep is? Ze gebruiken een slim trucje dat ze de "Intrinsieke vs. Extrinsieke Check" noemen.

Intrinsiek (Het geheugen): De robot haalt de originele, onzichtbare lijntekening uit de foto op (alsof hij in het geheugen van de foto kijkt).
Extrinsiek (Het heden): De robot kijkt naar het gezicht dat hij nu ziet op het scherm en tekent daar ook een lijntekening omheen.

Het resultaat:

Als de foto echt is, passen de twee lijntekeningen perfect op elkaar. Alles is in orde.
Als de foto nep is (bijvoorbeeld een deepfake), dan ziet de robot: "Hé, het geheugen zegt dat de neus hier moet zijn, maar het gezicht dat ik nu zie, heeft de neus daar!"
Omdat de robot precies weet waar de lijnen niet overeenkomen, kan hij niet alleen zeggen "dit is nep", maar ook: "Kijk hier, dit is de neus die nep is!" (Dit is de locatie).

5. Waarom is dit zo speciaal?

Onzichtbaar: Je ziet de sticker niet. De foto ziet er precies hetzelfde uit als voorheen.
Krachtig: Zelfs als iemand de foto verkleint, wazig maakt, of het gezicht probeert te veranderen, blijft de geheime code ("Wie heeft dit gemaakt?") leesbaar.
Alles-in-één: Je hoeft niet drie verschillende programma's te draaien. Eén klik en je weet: Is het nep? Waar is het nep? En wie heeft het gemaakt?

Kortom:
Deze onderzoekers hebben een onzichtbare, onbreekbare vingerafdruk bedacht die niet alleen zegt "dit is nep", maar ook precies laat zien waar de nepheid zit en wie de oorspronkelijke maker is. Het is alsof elke foto een eigen, onzichtbare bewaker krijgt die altijd wakker blijft, zelfs als iemand probeert het gezicht te veranderen.

Each language version is independently generated for its own context, not a direct translation.

Probleemstelling

De snelle vooruitgang van deepfake-technologie vormt een ernstige bedreiging voor privacy en sociale veiligheid. Bestaande proactieve forensische methoden hebben echter twee belangrijke beperkingen:

Gebrek aan eenheid: Methodes behandelen diepfake-detectie, manipulatie-localisatie (waar is het vervalst?) en brontraceerbaarheid (wie heeft het gemaakt?) als gescheiden taken. Er ontbreekt een unifyend raamwerk dat deze drie taken gelijktijdig uitvoert.
Functionele lacune: Bestaande "twee-in-één" methodes (detectie + traceerbaarheid) negeren vaak de localisatie van de vervalsing. Het is cruciaal om niet alleen te weten dat een afbeelding vervalst is, maar ook welke specifieke gezichtsregio's zijn gemanipuleerd.
Technische trade-offs: Er is een klassiek compromis tussen robuustheid, onzichtbaarheid (imperceptibility) en laadvermogen (payload capacity). Bestaande methodes kunnen vaak niet voldoende forensische informatie (hoge payload) embedden zonder de beeldkwaliteit te schaden of de robuustheid tegen aanval te verliezen.

Methodologie: Het LIDMark Framework

De auteurs stellen een uniek proactief forensisch raamwerk voor, genaamd LIDMark, dat drie kerncomponenten omvat:

1. De 152-D Landmark-Identity Watermark (LIDMark)

In plaats van losse watermerken, wordt een enkel, samengesteld watermerk ontworpen dat twee heterogene informatiestromen structureel verweeft:

$W_L$ (136-dimensionaal): Een vector van genormaliseerde 2D-gezichtslandmarks (68 punten x 2 coördinaten). Dit component is gevoelig voor manipulatie (tamper-sensitive). Als het gezicht wordt gemanipuleerd, verandert de geometrie, wat detectie en localisatie mogelijk maakt.
$W_{ID}$ (16-dimensionaal): Een bipolaire vector die een unieke bron-identificator bevat (gegenereerd via SHA-256 hash van de bestandsnaam). Dit component is robuust en moet blijven bestaan na deepfake-transformaties voor traceerbaarheid.

2. Factorized-Head Decoder (FHD)

Om dit complexe watermerk te decoderen, ontwerpen de auteurs een nieuwe decoderarchitectuur die afwijkt van de gebruikelijke complexe dubbele-decoder systemen.

Gedeelde Ruggegraat (Shared Backbone): Extraheert gemeenschappelijke latent features uit de gemanipuleerde afbeelding.
Gespecialiseerde Koppen (Factorized Heads): De features worden gesplitst in twee parallelle koppen:
- Een Regressie-head die de 136D-landmarks ( $\hat{W}_L$ ) reconstrueert.
- Een Classificatie-head die de 16D-identificator ( $\hat{W}_{ID}$ ) decodeert.
  Deze factorisatie zorgt ervoor dat de wiskundig verschillende taken (regressie vs. classificatie) optimaal kunnen worden geoptimaliseerd zonder elkaar te verstoren.

3. "Intrinsic-Extrinsic" Consistentiecheck

Dit is het mechanisme dat detectie en localisatie mogelijk maakt zonder de originele afbeelding (blind-reference):

Intrinsic Landmarks: De landmarks die door de FHD worden gereconstrueerd uit het watermerk (de oorspronkelijke geometrie).
Extrinsic Landmarks: De landmarks die opnieuw worden gedetecteerd uit de huidige, mogelijke gemanipuleerde afbeelding met een standaard gezichtsalignatie-bibliotheek.
Logica:
- Bij een echte afbeelding of lichte vervorming: De afstand tussen intrinsic en extrinsic landmarks is klein.
- Bij een deepfake: De extrinsic landmarks wijken sterk af van de gereconstrueerde intrinsic landmarks.
- Localisatie: Door de landmarks per semantisch gebied (bijv. ogen, mond) te groeperen, kan de gemiddelde Euclidische afstand (AED) per regio worden berekend om precies te bepalen welk deel van het gezicht is gemanipuleerd.

Kernbijdragen

Eerste "All-in-One" Oplossing: Het is het eerste framework dat deepfake-detectie, tampering-localisatie en brontraceerbaarheid unifyt in één enkel model en één enkel watermerk.
Nieuwe Watermerkstructuur: De introductie van LIDMark, dat een gevoelige geometrische vector (136D) combineert met een robuuste identificator (16D) in één payload van 152 dimensies.
Factorized-Head Decoder: Een innovatieve decoder die shared features efficiënt splitst voor regressie en classificatie, wat leidt tot betere robuustheid en prestaties dan bestaande dual-decoder architecturen.
Blind Localisatie: Een nieuw mechanisme voor lokale manipulatie-detectie dat geen grondwaarheid (ground truth) vereist tijdens de inferentie.

Resultaten

De auteurs hebben hun framework uitgebreid getest op de datasets CelebA-HQ en LFW, met verschillende deepfake-generatoren (zoals SimSwap, UniFace, StarGAN-v2) en algemene vervormingen (JPEG, blur, ruis).

Onzichtbaarheid (Imperceptibility): Het framework behaalt een PSNR van 44.31 dB en een SSIM van 0.99 op 256x256 afbeeldingen, wat beter is dan of vergelijkbaar is met de beste bestaande methodes (zoals DiffMark en LampMark), ondanks het veel grotere laadvermogen (152 bits vs. 30 of 128 bits bij anderen).
Robuustheid (Traceerbaarheid): Onder deepfake-aanvallen behaalt LIDMark de laagste Bit Error Rate (BER) voor brontraceerbaarheid. Bijvoorbeeld, bij SimSwap-aanvallen is de BER slechts 0.97% (op 256x256), terwijl andere methodes vaak falen (>30% BER).
Detectie en Localisatie: De "intrinsic-extrinsic" check toont een duidelijke scheiding tussen onschuldige vervormingen en deepfakes (AUC-score van 0.9388). Het systeem kan nauwkeurig bepalen welke gezichtsregio's zijn gemanipuleerd.
Generalisatie: Het model, getraind op CelebA-HQ, generaliseert uitstekend naar de LFW-dataset (onbekende gezichten), wat de robuustheid van de methode bevestigt.

Betekenis en Impact

Dit paper markeert een belangrijke stap in de proactieve forensiek. Door de drie kritische vragen ("Is het echt?", "Waar is het vervalst?", "Wie is de bron?") te beantwoorden met één enkel, onzichtbaar watermerk, biedt het een schaalbare en efficiënte oplossing voor de strijd tegen deepfakes. Het lost het probleem op dat bestaande methodes vaak te specifiek zijn voor één taak of te kwetsbaar voor complexe aanvalsscenario's. De openbaarmaking van de code draagt bij aan de reproduceerbaarheid en verdere ontwikkeling van robuuste veiligheidsmaatregelen voor visuele content.