FIND: A Simple yet Effective Baseline for Diffusion-Generated Image Detection

Probleemstelling

De snelle vooruitgang van diffusiemodellen (zoals Stable Diffusion, Midjourney) heeft geleid tot de synthese van uiterst realistische afbeeldingen die nauwelijks te onderscheiden zijn van echte foto's. Dit vormt een kritieke uitdaging voor de detectie van nepbeelden, wat essentieel is voor de beveiliging van digitale media, het bestrijden van desinformatie en het beschermen van intellectueel eigendom.

Bestaande methoden voor het detecteren van door diffusiemodellen gegenereerde afbeeldingen (zoals DIRE en LaRE2) vertrouwen voornamelijk op reconstructiefouten. Deze methoden gebruiken een extra diffusiemodel om een afbeelding te reconstrueren (door ruis toe te voegen en vervolgens te ontdoen) en analyseren vervolgens het verschil tussen de originele en de gereconstrueerde afbeelding.
Deze aanpak heeft echter twee grote nadelen:

1. Rekenkundige inefficiëntie: Het proces vereist meerdere iteraties van een zwaar diffusiemodel, wat leidt tot een hoge latentijd en hoge rekencost.
2. Beperkte generalisatie: De prestaties zijn sterk afhankelijk van het specifieke diffusiemodel dat wordt gebruikt voor de reconstructie. Als het detectiemodel is getraind op fouten van één type generator, presteert het vaak slecht bij andere generatoren.

Methodologie: FIND (Forgery Identification via Noise Disturbance)

Het paper introduceert FIND, een nieuwe methode die de noodzaak van expliciete reconstructie en een extra diffusiemodel elimineert. In plaats daarvan richt FIND zich op een fundamenteel statistisch verschil tussen echte en synthetische afbeeldingen.

Kernhypothese:
De auteurs stellen dat het onderscheidende kenmerk van reconstructiefouten in feite voortkomt uit het vermogen van een Gaussische verdeling om de beeldstatistieken te benaderen:

• Synthetische afbeeldingen worden gegenereerd door diffusiemodellen via een eindig aantal iteraties van Gaussische ruis. Hun verdeling is daarom makkelijker te benaderen (fit) met een Gaussische mengselverdeling.
• Echte afbeeldingen hebben een complexere verdeling die bestaat uit een superpositie van een zeer groot (bijna oneindig) aantal Gaussische componenten, wat ze moeilijker te fiten maakt met een beperkt Gaussisch model.

De FIND-aanpak:
Om deze hypothese te benutten zonder een zware reconstructie, voert FIND de volgende stappen uit tijdens het trainen van een simpele binaire classifier:

1. Ruis toevoegen aan echte afbeeldingen: Tijdens de training worden willekeurige Gaussische ruis toegevoegd aan de echte afbeeldingen.
2. Labeling: Deze "ruisverstoorde" echte afbeeldingen worden gelabeld als synthetisch (fake).
3. Training: De classifier wordt getraind op drie soorten data:
   • Echte afbeeldingen (label: Real).
   • Synthetische afbeeldingen (label: Fake).
   • Ruisverstoorde echte afbeeldingen (label: Fake).

Waarom werkt dit?

• Statistische verschuiving: Door ruis toe te voegen aan echte afbeeldingen, wordt de variantie van de onderliggende Gaussische componenten vergroot. Dit maakt de verdeling "gladder" en statistisch vergelijkbaar met die van synthetische afbeeldingen (makkelijker te fiten met een Gaussisch model).
• Visuele consistentie: Ondanks de toegevoegde ruis behouden deze afbeeldingen voldoende visuele gelijkenis met de originele echte afbeeldingen. Hierdoor kan de classifier zich focussen op de fundamentele distributieverschillen in plaats van verstorende visuele artefacten.
• Implicitie: De classifier leert implicitie de kenmerken die normaal gesproken door een reconstructieproces zouden worden blootgelegd, maar dan zonder de rekenkundige last van dat proces.

Belangrijkste Bijdragen

1. Theoretisch Inzicht: Het paper biedt een nieuwe theoretische verklaring voor waarom reconstructiefouten werken: het is een maatstaf voor hoe goed een beeldverdeling past bij een Gaussische verdeling.
2. Eliminatie van Reconstructie: FIND doet geen beroep op een extra diffusiemodel of een reconstructiestap. Dit maakt de methode model-onafhankelijk en zeer efficiënt.
3. Eenvoudige Architectuur: De methode vereist slechts een simpele binaire classifier (bijv. gebaseerd op ViT of ResNet) en een data-augmentatiestap (ruis toevoegen).
4. Nieuwe Baseline: Het stelt een nieuwe, praktische en schaalbare standaard voor in het veld van detectie van gegenereerde inhoud.

Resultaten

De methode is geëvalueerd op de grote GenImage-benchmark, die miljoenen afbeeldingen bevat gegenereerd door 8 verschillende modellen (waaronder Midjourney, Stable Diffusion V1.4/V1.5, ADM, GLIDE, etc.).

• Prestatieverbetering: FIND verbetert de detectieprestaties met 11,7% ten opzichte van bestaande state-of-the-art methoden.
  • Met een ResNet50-backbone bereikt FIND een gemiddelde nauwkeurigheid van 80,13% (tegenover 79,07% voor LaRE2).
  • Met een ViT-B/16-backbone stijgt de nauwkeurigheid naar 88,35%.
• Generalisatie: In tegenstelling tot DIRE en LaRE2, die beter presteren op de specifieke modellen waarvoor ze zijn getraind, toont FIND consistente en superieure prestaties over alle 8 verschillende generatoren heen.
• Snelheid: Dit is het meest opvallende resultaat. Omdat er geen reconstructie nodig is, is FIND 126 keer sneller dan bestaande methoden.
  • Inferentie-tijd: 0,4 ms per afbeelding (tegenover 151,9 ms voor DIRE).
  • FPS: 2500 frames per seconde (tegenover 6,6 FPS voor DIRE).

Betekenis en Conclusie

FIND markeert een verschuiving in de aanpak van detectie van gegenereerde afbeeldingen. Het bewijst dat complexe reconstructieprocessen niet nodig zijn om effectieve detectie te bereiken. Door in te spelen op de fundamentele statistische verschillen tussen echte en synthetische data via een simpele ruis-augmentatie-strategie, biedt FIND een oplossing die:

• Efficiënt is (geschikt voor real-time toepassingen).
• Generaliseerbaar is (onafhankelijk van het specifieke generatiemodel).
• Praktisch toepasbaar is (lage rekencost).

De auteurs concluderen dat FIND een nieuwe, robuuste baseline vormt voor toekomstig onderzoek en praktische implementaties in de strijd tegen digitale manipulatie.