Frequency-Aware Semantic Fusion with Gated Injection for AI-generated Image Detection

1. Probleemstelling

De snelle vooruitgang van door AI gegenereerde afbeeldingen (AIGI) heeft zeer realistische visuele content gecreëerd die de betrouwbaarheid van digitale media uitdaagt. Hoewel Vision Foundation Models (VFMs) (bijv. DINOv3) sterke semantische representaties bieden en frequentiegebaseerde methoden subtiele generatieve artefacten vastleggen, lijden bestaande benaderingen die deze modaliteiten combineren aan beperkte generalisatie. Specifiek presteren ze goed op "geziene" generators, maar verslechtert de prestatie aanzienlijk op "ongeziene" generators.

De auteurs identificeren twee primaire oorzaken voor dit falen:

1. Frequentie Shortcut Bias: Modellen neigen om tijdens het trainen overmatig te vertrouwen op gemakkelijk te onderscheiden, generator-specifieke frequentieaanwijzingen. Deze aanwijzingen generaliseren niet over verschillende generatieve modellen, wat leidt tot slechte prestaties onder distributieveranderingen.
2. Cross-Domain Representatie Conflict: Bestaande dual-stream frameworks gebruiken vaak directe fusie (bijv. concatenatie of cross-attention) om laag-niveau frequentiekenmerken te combineren met hoog-niveau semantische kenmerken. Omdat deze kenmerken inherent in verschillende representatieruimtes bestaan, creëert directe fusie gemengde representaties die de detectieprestaties verslechteren.

2. Methodologie: FGINet

De auteurs stellen het Frequency-aware Gated Injection Network (FGINet) voor, een dual-stream framework ontworpen om generaliseerbare frequentierepresentaties te leren en deze hiërarchisch te integreren met semantische kenmerken. De architectuur bestaat uit drie kerncomponenten:

A. Band-Masked Frequency Encoder (BMFE)

Om frequentie shortcut bias te mitigeren, leert BMFE generator-invariante frequentierepresentaties.

• Haar Wavelet Decompositie: De invoerafbeelding wordt ontbonden in vier sub-banden ($LL, LH, HL, HH$). De laag-frequentie $LL$-band wordt verworpen omdat deze redundante semantische informatie bevat, terwijl de hoog-frequentie banden ($LH, HL, HH$) worden geconcentreerd.
• Band-Level Independent Masking: Tijdens het trainen past de encoder willekeurige masking toe op niet-overlappende patches binnen elke hoog-frequentie band. Deze verstoring dwingt het model om te vertrouwen op diverse frequentiepatronen in plaats van specifieke generatorartefacten, wat robuustheid stimuleert.
• Token Encoding: De gemaskerde hoog-frequentie kaart wordt verwerkt via een lichtgewicht convolutiestam, gepoold en geprojecteerd naar een compact frequentietoken ($T_{freq}$) dat compatibel is met de Transformer-embeddingsruimte.

B. Layer-wise Gated Frequency Injection (LGFI)

Om het representatieconflict op te lossen, vervangt LGFI directe fusie door een progressief, hiërarchisch injectiemechanisme.

• Semantische Backbone: Het semantische pad gebruikt een vooringestelde DINOv3-backbone die is aangepast via LoRA (Low-Rank Adaptation) om de parameteroverhead te minimaliseren terwijl generaliseerbare semantische priors behouden blijven.
• Gated Injection: In plaats van kenmerken aan het einde te fuseren, wordt het frequentietoken $T_{freq}$ progressief geïnjecteerd in de class token van de Transformer-blokken op elke laag ($l$).
• Adaptive Gating: Een leerbare gate-parameter $\alpha^{(l)}$ controleert dynamisch de bijdrage van het frequentietoken op elke laag:
  $$\hat{t}^{(l)}_{cls} = t^{(l)}_{cls} + \alpha^{(l)} T_{freq}$$
  Dit stelt het model in staat om frequentieaanwijzingen adaptief te wegen volgens het hiërarchische abstractieniveau, waardoor de vooringestelde semantische structuur behouden blijft terwijl artefactaanwijzingen worden geïntegreerd.

C. Hyperspherical Compactness Learning (HCL)

Om generalisatie aan ongezien generators te verbeteren, maakt de definitieve classificatiestage gebruik van een Hyperspherical Compactness Learning-framework gebaseerd op het CosFace-doel.

• Hyperspherical Normalisatie: Kenmerken en classifier-gewichten worden genormaliseerd om op een eenheidshypersfeer te liggen ($\|x\|=1$).
• Cosine Margin: Tijdens het trainen wordt een additieve cosinusmarge afgedwongen om inter-klassenscheiding te maximaliseren en intra-klassenvariantie te minimaliseren. Dit creëert compacte, goed gescheiden clusters voor echte en neppe samples, wat de beslissingsgrenzen verbetert.

3. Belangrijkste Bijdragen

1. FGINet Framework: Een nieuwe architectuur die frequentie shortcut bias en cross-domain conflicten aanpakt via Band-Masked Frequency Encoding en Layer-wise Gated Injection.
2. BMFE Mechanisme: Introduceert cross-band onafhankelijke masking om de afhankelijkheid van generator-specifieke aanwijzingen te doorbreken, wat diverse en generaliseerbare frequentierepresentaties bevordert.
3. LGFI Mechanisme: Stelt een progressieve, gated injectiestrategie voor die frequentieaanwijzingen afstemt op de hiërarchische abstractie van VFMs, waardoor de valkuilen van directe fusie worden vermeden.
4. HCL Doel: Integreert hypersferische beperkingen met cosinusmarges om compacte en scheidbare kenmerkverdelingen af te dwingen, wat de robuustheid tegen ongezien generators verhoogt.

4. Experimentele Resultaten

De auteurs evalueerden FGINet op meerdere uitdagende datasets, waaronder GenImage, SynthBuster, WildRF, Chameleon en RRDataset (voor robuustheid).

• State-of-the-Art Prestaties:
  • Op GenImage (8 generators) behaalde FGINet 96,7% gemiddelde nauwkeurigheid, wat 1,2% beter is dan de op één na beste methode (SAFE).
  • Op SynthBuster (9 diffusiemodellen) behaalde het 94,3% gemiddelde nauwkeurigheid, waarmee het de tweede beste (DDA) met 4,2% versloeg.
  • Op WildRF (sociale media-data) behaalde het 95,9% nauwkeurigheid, wat sterke cross-source generalisatie aantoont.
  • Op de moeilijke Chameleon-dataset (moeilijke samples) bereikte FGINet 92,5% algehele nauwkeurigheid, wat DDA (84,8%) en andere SOTA-methoden significant overtreft.
• Robuustheid: Bij de evaluatie op RRDataset (die transmissie en herdigitalisatie simuleert) behield FGINet superieure prestaties ten opzichte van concurrenten, wat veerkracht toont tegen ernstige real-world degradaties.
• Ablatie Studies:
  • Het verwijderen van BMFE verlaagde de prestaties, wat de noodzaak bevestigt om frequentie-shortcuts te doorbreken.
  • Het vervangen van LGFI door directe fusie (Concat/Add) of niet-gated injectie veroorzaakte aanzienlijke prestatiedalingen, wat de noodzaak van hiërarchische, gated integratie valideert.
  • Het verwijderen van HCL verlaagde de nauwkeurigheid van 92,5% naar 90,6%, wat het belang van hypersferische beperkingen benadrukt.

5. Betekenis

Dit artikel levert een aanzienlijke bijdrage aan het veld van de detectie van door AI gegenereerde afbeeldingen door het paradigma te verschuiven van eenvoudige kenmerkenfusie naar gestructureerde, hiërarchische integratie.

• Generalisatie: Het pakt direct het probleem van de "ongezien generator" aan, een kritieke bottleneck in de implementatie in de echte wereld, door te voorkomen dat modellen specifieke generatorartefacten memoriseren.
• Architecturale Inzicht: Het werk toont aan dat frequentieaanwijzingen niet als een aparte stroom moeten worden behandeld die laat wordt gefuseerd, maar eerder als een complementair signaal dat de semantische representatielering progressief moet sturen via adaptieve gating.
• Praktische Impact: De sterke prestaties op "in-the-wild"-datasets (sociale media, hergedigitaliseerde afbeeldingen) suggereert dat FGINet een haalbare oplossing is voor het implementeren van robuuste detectiesystemen in real-world scenario's waar de beeldkwaliteit varieert en generators onbekend zijn.