Technische Samenvatting: GenRes en GenRes++ voor Geëxtrapoleerde Detectie van AI-gegenereerde Afbeeldingen

Probleemstelling

De snelle vooruitgang van generatieve AI, inclus\u00zaar GANs, diffusiemodellen en hybride pipelines, heeft geleid tot AI-gegenereerde afbeeldingen (AIGIs) die steeds minder te onderscheiden zijn van echte foto's. Deze capaciteit vormt aanzienlijke maatschappelijke bedreigingen, waaronder desinformatie, digitale identiteitsdiefstal en financiële fraude. Huidige detectiemethoden kampen met een kritieke generalisatieuitdaging: ze falen vaak wanneer ze worden geconfronteerd met generatieve modellen die niet tijdens de training zijn gezien.

Bestaande detectoren vallen over het algemeen uiteen in twee paradigma's, die beide beperkingen vertonen:

1. Artefact-gestuurde methoden: Deze maken gebruik van generatorspecifieke vingerafdrukken (bijv. frequentie-artefacten, upsampling-sporen). Hoewel effectief op bekende generatoren, verslechteren ze sterk bij onbekende families (bijv. diffusiemodellen) omdat de onderliggende synthesemechanismen verschillen.
2. Representatieleer-methoden: Deze projecteren afbeeldingen in forgery-gevoelige embedding-ruimtes (bijv. CLIP). Echter, zij coderen doorgaans elke afbeelding onafhankelijk, waardoor de relationele structuur die door generatieve verwerking wordt geïnduceerd wordt genegeerd en subtiele, cross-generator artefacten niet worden gevangen.

Het kernprobleem is het gebrek aan een detectiesignaal dat invariant is voor de specifieke generatorfamilie, terwijl het wel gevoelig blijft voor de fundamentele statistische verschillen tussen echte en synthetische data.

Methodologie: GenRes en GenRes++

De auteurs stellen GenRes en de uitbreiding GenRes++ voor, frameworks gebaseerd op het concept van generatieve residuen. De kernhypothese is dat echte en synthetische afbeeldingen verschillend reageren wanneer ze worden verwerkt door een tweede generatief model (bijv. restauratie, super-resolutie of denoising). Terwijl echte afbeeldingen outputs produceren die consistent zijn met hun rijke hoogfrequente inhoud, vertonen AIGIs karakteristieke residuele discrepanties omdat de inductieve aannames van het transformatienetwerk niet-triviaal interageren met de ingebedde distributionele biases van de bron-generator.

Kernarchitectuur

Het framework bestaat uit vier primaire componenten:

1. Shared Vision Encoder met LoRA:

   • Zowel de originele afbeelding ($I_0$) als $N$ getransformeerde varianten ($I_i$) worden gecodeerd met behulp van een gedeelde PE-Core ViT (Vision Transformer).
   • De backbone wordt bevroren om de vooraf getrainde semantische representaties te behouden.
   • LoRA (Low-Rank Adaptation) wordt toegepast op de query, key en value projectiematrices van de self-attention lagen. Dit maakt taakspecifieke feature-adaptatie mogelijk met een minimaal aantal trainbare parameters (rang $r=6$).
   • Features worden geprojecteerd in een compacte embedding-ruimte ($d=256$).

2. *Cross-Attention Aggregation (CCA) - Alleen GenRes++:*

   • In GenRes++ worden de embeddings van de $N$ getransformeerde afbeeldingen geaggregeerd tot één representatieve vector ($g_{agg}$).
   • De embedding van de originele afbeelding ($z_0$) fungeert als de query, terwijl de getransformeerde embeddings dienen als keys en values.
   • Dit mechanisme weegt de getransformeerde varianten adaptief, waardoor het model zich kan concentreren op de meest informatieve residuen voor een specifieke input, in plaats van alle transformaties gelijk te behandelen.

3. Neural Tensor Network (NTN):

   • De kerninnovatie is het gebruik van een NTN om de relationele structuur tussen de originele embedding ($z_0$) en de geaggregeerde getransformeerde embedding ($g_{agg}$) te modelleren.
   • In tegenstelling tot eenvoudige subtractie of concatenatie, berekent de NTN een bilineaire interactie: $f = \tanh(z_0^\top W g_{agg} + [z_0; g_{agg}]^\top V + b)$.
   • De derde-orde gewichtstensor $W$ vangt multiplicatieve cross-feature afhankelijkheden op. Dit stelt het model in staat om te detecteren hoe perturbaties in één feature-dimensie een andere dimensie moduleren, een patroon dat kenmerkend is voor generatieve residuen en dat niet gebonden is aan de artefacten van een specifieke generator.

4. Classificatiekop:

   • De relationele feature-vector $f$ wordt door een lineaire laag en een sigmoidfunctie geleid om een binaire classificatiekans te produceren (Echt vs. AIGI).
   • Training maakt gebruik van Binary Cross-Entropy (BCE) loss.

Trainingsstrategie

• Data: Het model wordt getraind op afbeeldingen gegenereerd door een enkele bron (ProGAN) en getest op 19 onbekende generatoren binnen GAN-, "Other"- en diffusiefamilies.
• Transformaties: Vijf specifieke generatieve transformaties worden toegepast om de relationele paren te creëren: EnlightenGAN (enhancement), GFPGAN (restauratie), Real-ESRGAN (super-resolutie), FFDNet (denoising) en CodeFormer (restauratie).
• Optimalisatie: Alleen de LoRA-adapters, projectielagen, de CCA-module, de NTN en de classificatiekop worden bijgewerkt.

Belangrijkste Bijdragen

1. GenRes Framework: Een nieuw relationeel representatieleer-framework dat de discrepanties tussen originele en getransformeerde afbeeldingen modelleert om cross-generator generalisatie te verbeteren.
2. Neural Tensor Network: Het gebruik van een NTN om fijnmazige bilineaire interacties tussen feature-embeddings te vangen, waarbij verder wordt gegaan dan eenvoudige additieve verschillen om intrinsieke multiplicatieve relaties te verkennen.
3. GenRes++ Uitbreiding: Een adaptief aggregatiemechanisme (Cross-Attention) dat meerdere getransformeerde varianten fuseert, waardoor het model dynamisch kan focussen op de meest informatieve residuen.
4. Uitgebreide Evaluatie: Uitgebreide testen op de UniversalFakeDetect benchmark met 19 onbekende generatieve modellen, wat een robuuste prestatie aantoont waar bestaande methoden falen.

Experimentele Resultaten

De voorgestelde methoden zijn geëvalueerd op de UniversalFakeDetect dataset, die 19 onbekende generatieve modellen bevat, variërend van GANs en diffusiemodellen tot andere synthese-pipelines.

• Prestaties: GenRes++ behaalde state-of-the-art resultaten met 95,7% gemiddelde Accuratesse (mACC) en 99,1% gemiddelde Average Precision (mAP).
• Vergelijking: De methode presteerde beter dan alle baselines, inclusief CLIP-gebaseerde methoden (bijv. UniFD, C2P-CLIP) en frequentie-gebaseerde benaderingen (bijv. FreqNet, F3Net).
  • Op GAN-gebaseerde modellen behield GenRes++ een bijna perfecte accuratesse (>99%).
  • Op modellen uit de "Other" familie (bijv. SITD, SAN) behaalde het aanzienlijke winst (bijv. 99,4% op CRN, 99,5% op IMLE) waar andere methoden moeite hadden.
  • Op diffusiemodellen (LDM, Glide) toonde het een sterke robuustheid, waarbij het single-transform baselines overtrof.
• Ablatie-studies:
  • LoRA Rank: Rank $r=6$ bood de optimale balans tussen capaciteit en generalisatie; hogere rangen leidden tot overfitting.
  • Backbone: De PE-Core-G14-448 backbone presteerde beter dan CLIP ViT-L/14 en DINO ViT-L/14, toegeschreven aan de rijkere laag-niveau textuurrepresentaties.
  • Fusie: De NTN-fusiestrategie presteerde significant beter dan eenvoudigere alternatieven (lineair, element-wise, concatenatie), wat de noodzaak bevestigt om hogere-orde interacties te vangen.
  • Aantal Transformaties: Prestaties piekten bij $N=5$ transformaties; het toevoegen van meer transformaties introduceerde redundantie en lichte prestatieschommelingen.

Betekenis en Beperkingen

Betekenis:
Het artikel beweert dat GenRes++ een nieuw paradigma vestigt voor AIGI-detectie door de verschuiving van geïsoleerde feature-extractie naar relationeel residu-leren. Door expliciet te modelleren hoe synthetische afbeeldingen reageren op secundaire generatieve verwerking, vangt het framework een algemene eigenschap van synthetische media die over generatieve families heen overdraagbaar is zonder dat toegang tot doel-generatoren tijdens de training vereist is. Dit adresseert de kritieke bottleneck van generalisatie in het licht van snel evoluerende generatieve modellen.

Beperkingen:
De auteurs erkennen enkele beperkingen:

1. Computationele Kosten: De vereiste om inputs door vijf aparte generatieve transformaties te sturen en het multi-branch NTN-ontwerp resulteert in hoge inferentiekosten (~4625 ms per afbeelding), wat real-time implementatie beperkt.
2. Vaste Set Transformaties: De huidige set van transformaties is handmatig geselecteerd. Twee van de transformaties (GFPGAN, CodeFormer) zijn gezichtsrestauratie-modellen, wat het signaal in de richting van gezichtsinhoud kan sturen.
3. Robuustheid tegen Samengestelde Degradaties: Hoewel robuust tegen individuele perturbaties (blur, JPEG, ruis), daalt de prestatie aanzienlijk (naar 84,9% ACC) wanneer meerdere degradaties simultaan worden toegepast, wat wijst op kwetsbaarheid voor complexe "laundering" pipelines.
4. Omvang: De evaluatie is momenteel beperkt tot stilstaande beelden en de specifieke 19 generatoren in de benchmark.

Toekomstig Werk:
De auteurs stellen voor om generatief residu-leren uit te breiden naar video deepfake detectie (door gebruik te maken van temporele consistentie) en multimodale forgery scenario's (afbeelding, audio, tekst). Ze plannen ook om transform-distillatie te onderzoeken om de computationele overhead te verminderen en adaptieve transform-selectie om diverse beelddomeinen aan te pakken.