DiffusionPrint: Learning Generative Fingerprints for Diffusion-Based Inpainting Localization

Probleemstelling

Moderne generatieve AI-modellen, specifiek die gebaseerd op diffusiemodellen (zoals Stable Diffusion, FLUX en Adobe Firefly), stellen aanzienlijke uitdagingen voor de detectie en lokalisatie van beeldvervalsingen (Image Forgery Localization - IFL).

• Het kernprobleem: Traditionele IFL-methoden vertrouwen op lage-frequentie artefacten, zoals cameranoise (PRNU) of CFA-patronen, die bij manipulatie onderbroken worden. Echter, moderne "fully-regenerative" inpainting-modellen werken in een latente ruimte en decoderen de hele afbeelding opnieuw via een VAE-decoder, zelfs de gebieden buiten het inpainting-mask.
• Gevolg: Dit proces vernietigt de oorspronkelijke cameranoise over de volledige afbeelding en introduceert een globale spectrale verschuiving. Bestaande methoden, die zijn ontworpen voor "splicing" (waar alleen een deel wordt vervangen), falen omdat ze geen onderscheidend signaal meer vinden tussen authentieke en gegenereerde gebieden.

Methodologie: DiffusionPrint

De auteurs stellen DiffusionPrint voor, een framework op patch-niveau dat gebruikmaakt van contrastief leren om een forensisch signaal te leren dat robuust is tegen deze spectrale verstoringen.

1. Kernconcept: Generatieve Vingerafdruk
In plaats van te zoeken naar ontbrekende noise, leert het model de consistente "generatieve vingerafdruk" die wordt achtergelaten door specifieke diffusiemodellen. Het doel is een encoder te trainen die:

• Ongevoelig is voor de reconstructie-artefacten van de VAE op authentieke gebieden (invariantie).
• Wel gevoelig is voor de specifieke vingerafdruk van gegenereerde/inpainted gebieden.

2. Positieve Paardering (Positive Pair Construction)
Het framework gebruikt een asymmetrische strategie voor het maken van positieve paren (zie Figuur 1 in het paper):

• Gegenereerde paren (binnen het mask): Voor een afbeelding die door model $g_i$ is gegenereerd, wordt inpainting uitgevoerd met dezelfde modelvariant. Het originele gegenereerde patch en het nieuw gegenereerde patch op dezelfde locatie vormen een positief paar. Dit leert het model om de gedeelde vingerafdruk van dat specifieke model te isoleren.
• Authentieke paren (buiten het mask): Voor echte foto's wordt inpainting uitgevoerd met meerdere modellen. Patches buiten het mask (die wel door de VAE zijn gereconstrueerd) worden gepaard met hun originele versie. Dit dwingt het model om representaties te leren die invariant zijn aan de VAE-reconstructie, ongeacht het gebruikte generatieve model.

3. Hard Negative Mining en Cross-Category Leren

• Cross-category queue: Negatieve voorbeelden worden uitsluitend gehaald uit de tegenovergestelde categorie (bijv. een gegenereerde patch krijgt authentieke negatieven).
• Top-k Hard Negatives: Uit deze queue worden de $k$ meest vergelijkbare negatieve voorbeelden geselecteerd (op basis van cosine similarity). Dit forceert het model om de subtiele forensische verschillen te leren, zelfs wanneer de visuele inhoud zeer vergelijkbaar is.

4. Architectuur en Training

• Backbone: Een DnCNN (Denoising Convolutional Neural Network) die een dichte feature map produceert.
• MoCo-Style Objective: Gebruik van een momentum-encoder en een queue voor stabiel contrastief leren (InfoNCE loss).
• Generator-Aware Classification Head: Tijdens training wordt een extra classificatietak toegevoegd die het model probeert te identificeren (Real, SD 2.1, SDXL, Flux). Dit helpt het backbone om model-specifieke vingerafdrukken beter te leren. Bij inferentie wordt deze kop verwijderd; alleen de feature map wordt gebruikt.

Kernbijdragen

1. DiffusionPrint Framework: Een nieuw patch-level contrastief leerframework dat specifiek is ontworpen voor volledig regeneratieve inpainting, met een asymmetrische paarconstructie en een generator-bewuste classificatiekop.
2. Geavanceerde Training: Introductie van een MoCo-achtige training met cross-categorie hard negative mining en top-k selectie, wat effectief contrastief leren mogelijk maakt over verschillende generatieve vingerafdrukken heen.
3. Plug-and-Play Integratie: Het werkt als een vervangbare modality in bestaande fusion-based IFL frameworks (zoals TruFor en MMFusion), waarbij het Noiseprint++ vervangt als forensisch signaal.

Resultaten

De evaluatie is uitgevoerd op de TGIF-benchmark (inclusief SD 2.1, SDXL en Flux-varianten) en geïntegreerd in drie frameworks: TruFor, MMFusion en een Light-weight Baseline.

• Prestatieverbetering: DiffusionPrint overtreft consistent de huidige state-of-the-art (Noiseprint++). De verbeteringen lopen op tot +28% in F1-score, vooral op mask-types die niet tijdens het fijnafstemmen zijn gezien (random masks).
• Generalisatie: Het model generaliseert sterk naar ongezichte generatieve architecturen. Een model dat alleen is getraind op SD 2.1 en SDXL, presteert competitief op Flux-varianten die tijdens de training volledig onbekend waren.
• Kwalitatieve Analyse: De gegenereerde lokalisatiekaarten zijn schoner en hebben minder vals-positieven dan Noiseprint++, die vaak ruis vertoont of authentieke gebieden ten onrechte als vervalst markeert onder volledige regeneratie.
• Ablatie Studies: De studie toont aan dat de specifieke paarconstructie cruciaal is (verbetering van 75% naar 86% nauwkeurigheid bij lineaire probing) en dat het gebruik van een generator-bewuste kop de prestaties verder verhoogt.

Betekenis en Impact

Dit paper markeert een paradigmaverschuiving in forensische beeldanalyse:

• Van Noise naar Generatieve Fingerprint: Het bewijst dat wanneer traditionele noise-gebaseerde methoden falen door globale reconstructie, het leren van de inherente statistische vingerafdruk van het generatieve proces een effectiever alternatief is.
• Toekomstbestendigheid: De methode is niet afhankelijk van specifieke mask-types of model-architecturen, wat het robuust maakt voor de snelle evolutie van generatieve AI.
• Praktische Toepassing: Door als een "drop-in" module te fungeren, kunnen bestaande detectiesystemen direct worden opgewaardeerd zonder een volledige herontwikkeling van de achterliggende architectuur.

Samenvattend biedt DiffusionPrint een oplossing voor het toenemende probleem van ondetecteerbare AI-gemaakte vervalsingen door een nieuw forensisch signaal te leren dat specifiek is ontworpen voor de eigenschappen van moderne diffusiemodellen.