HiMix: Hierarchical Artifact-aware Mixup for Generalized Synthetic Image Detection

1. Probleemstelling

De snelle vooruitgang van generatieve modellen (GAN's en Diffusiemodellen) heeft geleid tot de creatie van uiterst realistische synthetische afbeeldingen, wat ernstige uitdagingen oplevert voor Synthetische Afbeeldingsdetectie (SID).

• Generalisatiekloof: Bestaande detectoren worden doorgaans getraind op beperkte, bevooroordeelde datasets. Bijgevolg lijden ze aan bron-overfitting, waarbij modellen generator-specifieke aanwijzingen leren in plaats van universele vervalsingspatronen.
• Gebieden met lage betrouwbaarheid: Bij testen op onbekende generators vallen synthetische afbeeldingen vaak in "gebieden met lage betrouwbaarheid" van de beslissingsruimte, wat leidt tot verspreide logits en een slechte classificatie-accuraatheid.
• Semantische bias: Methoden die vertrouwen op vooraf getrainde modellen (bijv. CLIP) vangen vaak hoog-niveau semantische inhoud (bijv. objectcategorieën) in plaats van intrinsieke vervalsingsartefacten, waardoor detectoren inhoudsgebaseerde patronen leren in plaats van generaliseerbare vervalsingsaanwijzingen.

2. Methodologie: HiMix-raamwerk

De auteurs stellen HiMix voor, een unificerend raamwerk dat is ontworpen om generalisatie te verbeteren vanuit zowel het perspectief van data-distributie als representatie. De architectuur bestaat uit twee kernmodules:

A. Mixup-gedreven Distributie-Augmentatie (MDA)

Deze module adresseert het probleem van de data-distributie door de trainingsruimte uit te breiden.

• Mechanisme: Het genereert continue overgangsvoorbeelden tussen echte en neppe afbeeldingen met behulp van pixel-voor-pixel Mixup:
  $$X_{mix} = \lambda X_{fake} + (1 - \lambda) X_{real}$$
  waarbij $\lambda$ wordt bemonsterd uit een Beta-verdeling. Cruciaal is dat deze gemengde voorbeelden gemarkeerd worden als "nep", ongeacht het mengverhouding.
• Doel:
  • Dekking: Het dwingt het model om de grens tussen echt en nep te leren, waardoor effectief de "gebieden met lage betrouwbaarheid" worden opgevuld waar onbekende vervalsingen doorgaans verblijven.
  • Semantische reductie: De pixel-voor-pixel interpolatie gladde hoog-niveau semantiek (inhoud) uit, waardoor het model wordt gedwongen om voor detectie te vertrouwen op laag-niveau, generator-invariante artefacten (bijv. ruispatronen, frequentie-inconsistenties).

B. Hiërarchische Artefact-bewuste Representatie (HAR)

Deze module adresseert het representatieprobleem door robuuste vervalsingsaanwijzingen te extraheren met behulp van een vooraf getrainde CLIP-ruggegraat, versterkt met specifieke architecturale ontwerpen.

• Ruggegraat & Adaptatie: Gebruikt een bevroren CLIP ViT-encoder met LoRA (Low-Rank Adaptation) toegepast op de QKV-projecties. Dit stelt het model in staat om zich aan te passen aan vervalsingsdetectietaken met minimale parameters, terwijl vooraf getrainde kennis behouden blijft.
• Hiërarchisch Regionaal Pooling (HiRP):
  • In plaats van uitsluitend te vertrouwen op de globale CLS-token, verdeelt HiRP patch-tokens in lokale vensters op meerdere schalen ($s_r$).
  • Het aggregeert statistieken via intra-venster gemiddelde pooling en inter-venster max pooling om ruimtelijk consistente, subtiele artefacten te vangen.
  • Leerbare gewichten ($\beta_r$) fuseren deze multi-schaal regionale tokens.
• Cross-Layer & Cross-Granulariteit Fusie:
  • Cross-Layer: Aggregeert features van verschillende Transformer-lagen (zowel CLS- als Region-tokens) om artefacten te vangen die op verschillende semantische diepten ontstaan.
  • Cross-Granulariteit Fusie (CGF): Een lichtgewicht MLP fuser dynamisch de globale structurele features (CLS) en lokale artefact-features (Region) om een definitieve, generator-invariante representatie te produceren.

3. Belangrijkste Bijdragen

1. Unificerend Raamwerk: Stelt HiMix voor, dat data-augmentatie (MDA) en feature-representatie (HAR) gezamenlijk optimaliseert om het generalisatieprobleem in SID aan te pakken.
2. Strategie voor Distributie-Augmentatie: Introduceert een Mixup-gedreven aanpak die gebieden met lage betrouwbaarheid verrijkt en dominantie van hoog-niveau semantiek onderdrukt, waardoor het model zich kan richten op intrinsieke vervalsingssporen.
3. Hiërarchisch Artefactleren: Ontwerpt een nieuw representatiemodule (HAR) dat multi-schaal, cross-layer en cross-granulariteit cues integreert om robuuste vervalsingspatronen te extraheren.
4. State-of-the-Art Prestaties: Demonstreert superieure cross-source generalisatie over diverse benchmarks, waarbij bestaande methoden op onbekende generators significant worden overtroffen.

4. Experimentele Resultaten

Het paper evalueert HiMix op meerdere benchmarks, waaronder GenImage, Ojha (Diffusion), ForenSynths (GAN's) en TwinSynths-GAN.

• Algemene Prestaties: Op de GenImage-dataset (8 diverse generators) bereikt HiMix 97,6% Gemiddelde Accurateheid en 99,7% Gemiddelde Precisie, en presteert het beter dan sterke baselines zoals SAFE, CoD en AIDE.
• Diffusie-Generalisatie: Wanneer alleen getraind op Stable Diffusion v1.4, generaliseert HiMix effectief naar andere diffusiemodellen (LDM, Glide, ADM), met 98,3% Acc en 99,9% AP.
• Uitdagingende Scenario's: Op de TwinSynths-GAN-dataset (hoog-trouw, inhouds-gealigneerde vervalsingen) bereikt HiMix 90,6% AP, en overtreft het de vorige SOTA (SFLD) met een aanzienlijke marge (12,29% verbetering).
• Robuustheid: Het model behoudt stabiele prestaties onder JPEG-compressie en Gaussische vervaging, en presteert beter dan AIDE op alle vervagingsniveaus.
• Data-efficiëntie: HiMix bereikt 96,71% accurateheid met slechts 1% van de trainingsdata, wat een hoge efficiëntie aantoont.
• Logit-distributie: Visualisaties tonen aan dat HiMix compacte binnen-klassen distributies en goed gescheiden tussen-klassen logits produceert, zelfs voor onbekende generators, terwijl andere methoden verspreide en overlappende logits tonen.

5. Betekenis

• Oplossen van het "Onbekende Generator"-probleem: HiMix adresseert direct de kritieke beperking van huidige SID-systemen die falen op nieuwe, onbekende generatieve modellen door expliciet te trainen op de beslissingsgrens (via Mixup) en invariante artefacten te leren.
• Praktische Implementatie: De robuustheid van de methode tegen afbeeldingsdegradaties (compressie, vervaging) en de hoge data-efficiëntie maken het geschikt voor implementatie in de echte wereld, waar trainingsdata schaars kan zijn of nabewerking gebruikelijk is.
• Architecturale Inzicht: Het werk benadrukt het belang van het overstijgen van globale semantische features naar hiërarchische, multi-schaal artefactanalyse, en biedt een nieuw blauwdruk voor het ontwerpen van robuuste forensische detectoren.

Kortom, HiMix vertegenwoordigt een aanzienlijke stap voorwaarts in het betrouwbaar en generaliseerbaar maken van synthetische afbeeldingsdetectie, waarbij de focus verschuift van het memoriseren van specifieke generator-handtekeningen naar het leren van fundamentele, universele vervalsingsartefacten.