Diversity Matters: Dataset Diversification and Dual-Branch Network for Generalized AI-Generated Image Detection

Probleemstelling

De snelle verspreiding van door AI gegenereerde afbeeldingen (AIGI's), voortgebracht door generatieve tegenstrijdige netwerken (GAN's), diffusiemodellen en andere synthetische technieken, vormt een ernstige bedreiging voor desinformatie, auteursrechtenschendingen en digitale veiligheid. Bestaande detectiemethoden worstelen echter met generalisatie.

• Overfitting: Modellen die zijn getraind op specifieke generatieve modellen (bijv. alleen GAN's) falen vaak bij het detecteren van nieuwe modellen (bijv. diffusiemodellen) en vice versa.
• Data-redundantie: Traditionele datasets bevatten vaak veel redundante of zeer vergelijkbare samples. Dit leidt tot dichte clusters in de feature-ruimte, waardoor modellen neigen om specifieke patronen van de trainingsdata uit te leren in plaats van algemene kenmerken van synthetische content.
• Eenzijdige feature-extractie: Bestaande methoden vertrouwen vaak alleen op het pixel-domein (ruimtelijke informatie) of het frequentiedomein, wat leidt tot een onvolledige modellering van de artefacten die door generatieve modellen worden gegenereerd.

Methodologie: Het "Diversity Matters" Framework

Het paper introduceert een nieuw raamwerk dat zich richt op twee pijlers: datasetdiversificatie en een dual-branch netwerkarchitectuur.

1. Dataset Diversificatie via Feature-Space Filtering

Om overfitting te voorkomen en de diversiteit te vergroten, wordt een vierstaps-pijplijn voorgesteld om redundante samples te verwijderen voordat training begint:

• Feature Extractie: Een vooraf getrainde CLIP ViT-L/14 encoder wordt gebruikt om visuele features van alle samples te extraheren.
• Globale Deduplicatie: Cosine-相似iteit wordt berekend tussen samples. Samples met een hoge similariteit (boven een drempelwaarde $T$) worden verwijderd.
• Klasse-gebaseerde verfijning: Het proces wordt herhaald binnen de klassen (echt vs. nep) om een gebalanceerde dataset te garanderen.
• Resultaat: Een gezuiverde, diverse dataset met minder redundantie, wat zorgt voor een bredere leerervaring voor het model.

2. Dual-Branch Netwerk Architectuur

Het detectiemodel gebruikt twee parallelle takken om complementaire informatie te combineren:

• Pixel-Domein Tak: Verwerkt de ruwe afbeelding met een bevroren CLIP-encoder. Deze tak vangt semantische inconsistenties en visuele onnatuurlijkheden op.
• Frequentie-Domein Tak: De invoerafbeelding wordt eerst omgezet naar het frequentiedomein via een Discrete Fourier Transformatie (DFT). Een gefine-tuned CLIP-encoder verwerkt het magnitude-spectrum. Deze tak vangt structurele onregelmatigheden, periodieke patronen en spectrale artefacten op die in de ruimtelijke domein vaak onzichtbaar zijn.
• Fusie en Classificatie: De class-tokens van beide takken worden geconcateneerd en gevoed door een trainbare detectie-head (bestaande uit lineaire lagen met LeakyReLU en dropout) om een binaire voorspelling (echt vs. nep) te maken.
• Verliesfunctie: Het model wordt geoptimaliseerd met een hybride loss-functie die de cross-entropy classificatie combineert met een supervised contrastive loss. Dit zorgt ervoor dat features van dezelfde klasse dichter bij elkaar komen en van verschillende klassen verder uit elkaar worden geduwd, wat de generalisatie verbetert.

Belangrijkste Bijdragen

1. Inzicht in Generalisatie: Het paper demonstreert dat training op één enkel generatief model (zoals ProGAN) ontoereikend is voor generalisatie naar nieuwe modellen (zoals Diffusion).
2. Diversificatie-strategie: Introductie van een feature-space filtering-mechanisme dat redundante data verwijdert, wat leidt tot een representatievere en diversere trainingsset.
3. Dual-Branch Architectuur: Een innovatieve aanpak die pixel- en frequentiedomein-informatie combineert via CLIP, waardoor zowel semantische als structurele inconsistenties worden gemodelleerd.
4. Empirische Validatie: Uitgebreide experimenten tonen aan dat deze aanpak superieur is aan bestaande methoden (SoTA) op diverse benchmarks, inclusief onzichtbare generatieve modellen.

Resultaten

De prestaties zijn geëvalueerd op meerdere benchmark datasets (zoals MGD, CNNDF, GANDF, MNW) die zowel GAN- als diffusiemodellen bevatten.

• Generalisatie: Het voorgestelde model (met de combinatie van pixel- en frequentie-features, $f_p + f_s$) behaalde een gemiddelde AUC van 98,1% en een AP van 98,3%, wat aanzienlijk hoger is dan bestaande methoden zoals C2PClip, ForL en RINE.
• Robuustheid: Het model toont sterke prestaties op de uitdagende MNW-dataset (waar andere methoden vaak dicht bij willekeurige voorspellingen zakken) en behoudt hoge nauwkeurigheid onder perturbaties zoals Gaussische vervaging en JPEG-compressie.
• Efficiëntie van Diversiteit: Interessant genoeg presteert het model beter met een gefilterde dataset van 19.000 samples (diversiteit $T=0,8$) dan met een ongefilterde dataset van 180.000 samples. Dit bevestigt dat diversiteit belangrijker is dan pure datahoeveelheid.
• Backbone Effectiviteit: Foundation modellen (zoals ViT-L/14 en DINOv2) presteerden aanzienlijk beter dan traditionele CNN's (zoals ResNet-18), vooral in combinatie met de dual-branch architectuur.

Significantie

Deze studie benadrukt dat de sleutel tot betrouwbare detectie van AI-gegenereerde content niet ligt in het verzamelen van meer data, maar in het selecteren van diverse data en het combineren van complementaire feature-domeinen.

• Het biedt een oplossing voor het "generalisatieprobleem" waarbij detectoren vaak falen bij nieuwe generaties van AI-modellen.
• Het onderstreept het belang van het analyseren van zowel ruimtelijke als spectrale artefacten voor een robuuste detectie.
• De methode vormt een belangrijke stap richting het creëren van systemen die bestand zijn tegen de snel evoluerende landschap van synthetische media, wat essentieel is voor de beveiliging van biometrische systemen, juridische processen en de bestrijding van desinformatie.