Dual Frequency Branch Framework with Reconstructed Sliding Windows Attention for AI-Generated Image Detection

Probleemstelling

De snelle vooruitgang van generatieve modellen, zoals Generative Adversarial Networks (GANs) en diffusion-modellen, heeft geleid tot het creëren van uiterst realistische synthetische afbeeldingen. Dit vormt een groot maatschappelijk risico door desinformatie en manipulatie. Bestaande detectiemethoden hebben twee belangrijke beperkingen:

1. Gebrek aan lokale context: Hoewel bestaande methoden proberen fijne details (fine-grained features) te extraheren, negeren ze vaak het belang en de onderlinge afhankelijkheid van elementen binnen lokale regio's. Algemene attention-mechanismen zijn niet gevoelig genoeg voor deze interne relaties.
2. Beperking tot één frequentiedomein: De meeste methoden halen artefacten uit slechts één frequentiedomein, wat onvoldoende is om de diverse en complexe vervalsporen van verschillende generatiemethoden te vangen.

Methodologie

De auteurs stellen een nieuw raamwerk voor dat twee kerncomponenten combineert om de generalisatievermogen te verbeteren:

1. Gereconstrueerd Schuifvenster-Attention Mechanisme (RSWAttention)
In plaats van een globale attention te gebruiken, beperkt dit mechanisme de aandacht tot lokale vensters.

• Reconstructie: Binnen elk venster worden de features gereconstrueerd om de relaties tussen naburige interne elementen (pixels) te modelleren.
• Werking: Het mechanisme concateneert features van verschillende frequentiebanden, telt deze in elke band en past vervolgens een schuifvenster toe. Hierdoor behoudt de attention niet alleen features van verschillende frequenties, maar ook de impliciete relaties tussen aangrenzende elementen. Dit zorgt voor een meer adaptieve focus op pixel-niveau details.

2. Dual Frequency Branch Framework (Dubbel Frequentie-Takken Raamwerk)
Om features vanuit meerdere perspectieven te verrijken, gebruikt het model twee parallelle takken voordat de attention wordt toegepast:

• DWT-gebaseerde tak (Discrete Wavelet Transform): De afbeelding wordt ontbonden in vier frequentiebanden (LL, LH, HL, HH). Deze worden getiled in vensters om lokale ruimtelijke-frequentie-informatie (hoge en lage frequenties) vast te houden zonder positie-informatie te verliezen.
• FFT-gebaseerde tak (Fast Fourier Transform): De auteurs ontdekten dat de fase-component van de FFT cruciaal is. In tegenstelling tot de amplitude (die voornamelijk kleur en helderheid vertegenwoordigt), bevat de fase de structurele relaties en lange-afstandsafhankelijkheden tussen elementen. Experimenten toonden aan dat het uitwisselen van de fase tussen echte en nepbeelden de detector sterk beïnvloedt, wat aantoont dat de fase de belangrijkste vervalsporen bevat.
• Fusie: De output van beide takken wordt gecombineerd met een hyperparameter $\lambda$ om een rijke, gefuseerde feature-representatie te creëren.

Belangrijkste Bijdragen

1. Innovatieve Attention: Een gereconstrueerd schuifvenster-attentionmechanisme dat effectief de belangrijkheid en onderlinge afhankelijkheid van lokale elementen modelleert, wat essentieel is voor het detecteren van subtiele vervalsporen.
2. Dual Frequency Ontdekking: Het inzicht dat de fase-component van de FFT, naast de DWT-frequentiebanden, een unieke en waardevolle bron van artefacten is. Dit leidde tot het ontwerp van een dubbel-frequentie takkenstructuur.
3. Superieure Generalisatie: Het model is getraind op ProGAN maar getest op 65 verschillende generatiemodellen (inclusief GANs, diffusion-modellen zoals Stable Diffusion, Midjourney, DALL-E 3, etc.), wat een ongeëvenaarde generalisatiecapaciteit aantoont.

Resultaten

De methode is uitgebreid geëvalueerd op diverse datasets (GANGen-Detection, DiffusionForensics, UniversalFakeDetect, GenImage, AIGIBench) met in totaal 65 generatiemodellen.

• Prestatieverbetering: De methode behaalde een verbetering van 2,13% in detectienauwkeurigheid ten opzichte van de state-of-the-art methoden (zoals C2P-CLIP en AIDE).
• Specifieke resultaten:
  • Op de DiffusionForensics dataset: 98,8% nauwkeurigheid (vs. 95,8% voor de beste concurrent).
  • Op de GenImage dataset: 90,6% nauwkeurigheid (vs. 88,2% voor C2P-CLIP).
  • Op de AIGIBench dataset: 77,9% nauwkeurigheid, een aanzienlijke verbetering ten opzichte van concurrenten.
• Robuustheid: Het model behoudt zijn prestaties goed onder storingen zoals JPEG-compressie en Gaussische vervaging, waar andere methoden vaak sterk achteruitgaan.
• Ablatie-studies: Experimenten bevestigden dat het verwijderen van de DWT-tak, de FFT-fase-tak, of het schuifvenster-ontwerp leidt tot een significante daling in prestaties, wat de noodzaak van elk component onderstreept.

Betekenis

Dit onderzoek biedt een significante doorbraak in de detectie van AI-genereren afbeeldingen door de beperkingen van bestaande methoden aan te pakken die te veel vertrouwen op globale features of enkelvoudige frequentiedomeinen. Door de combinatie van lokale venster-reconstructie en multi-perspectief frequentie-analyse (specifiek de vaak verwaarloosde FFT-fase), biedt het een robuustere oplossing voor het onderscheiden van echte en nepbeelden in een wereld waar generatieve AI steeds realistischer wordt. De openbaarmaking van de code draagt bij aan de verdere ontwikkeling van AI-beveiliging.