Boosting Robust AIGI Detection with LoRA-based Pairwise Training

Probleemstelling

De snelle evolutie van generatieve kunstmatige intelligentie (zoals Diffusion-modellen en GAN's) heeft geleid tot de productie van uiterst realistische AI-gegenereerde afbeeldingen (AIGI). Hoewel bestaande detectoren goed presteren op schone, ongecomprimeerde datasets, vertonen ze een aanzienlijke prestatiedaling wanneer ze in de "wild" worden ingezet. In realistische scenario's (bijv. sociale media) ondergaan afbeeldingen complexe, onvoorspelbare vervormingen zoals JPEG-compressie, willekeurige schaling, krassen, ruis en onscherpte.

Deze vervormingen vernietigen de hoge-frequentie artefacten en microscopische pixel-anomalieën waarop traditionele detectoren vertrouwen. Hierdoor ontstaat een grote "domain gap" tussen de trainingsomgeving (schone data) en de testomgeving (vervormde data), wat leidt tot onbetrouwbare detectie en valse uitspraken.

Methodologie: LoRA-based Pairwise Training (LPT)

De auteurs stellen een nieuwe strategie voor, genaamd LPT, die is ontworpen om robuuste en generaliseerbare detectie te bereiken onder zware vervormingen. De aanpak bestaat uit drie kerncomponenten:

1. Data-distributie Simulatie
Om de kloof tussen trainings- en testdata te overbruggen, simuleren de auteurs tijdens het trainingsproces de distributie van de validatie- en testsets:

• Vervormingssimulatie: Naast de standaard vervormingen worden complexe combinaties toegevoegd (zoals ruis, tonale curve-transformaties, moiré-effecten en kleurverschuivingen). De intensiteit van deze vervormingen wordt verhoogd door de gemiddelde waarde ($\mu$) van de Gaussische sampling-verdeling voor de sterkte-niveaus op 3 te zetten, in plaats van de standaardwaarde.
• Grootte-simulatie: Omdat trainingsafbeeldingen vaak volledig zijn, terwijl validatie/testafbeeldingen soms slechts lokale semantische informatie bevatten, wordt een algoritme voor willekeurige uitsnede (crop) en herschaling (resize) gebruikt. Dit omvat het creëren van afbeeldingen die groter of kleiner zijn dan het doel, en het toepassen van verschillende interpolatiemodi.

2. Parameter-efficiënte Fine-tuning met LoRA
In plaats van een volledig nieuw model te trainen of de hele basis te finetunen (wat leidt tot "catastrophic forgetting" van algemene kennis), gebruiken de auteurs een Visuele Fundamentenmodel (specifiek EVA-CLIP) als ruggegraat.

• Ze passen LoRA (Low-Rank Adaptation) toe op de Multi-Head Self-Attention (MHSA) en Feed-Forward Network (FFN) blokken van het transformer-model.
• Hierbij worden de vooraf getrainde gewichten bevroren en alleen kleine, trainbare rang-decompositiematrices geïntroduceerd. Dit behoudt de sterke semantische representatiekracht van het basismodel terwijl het zich aanpast aan de subtiele sporen van AIGI.

3. Pairwise Training Strategie
Om te voorkomen dat het trainen op zwaar vervormde data de prestaties op schone afbeeldingen verslechtert, wordt een pairwise training methode gebruikt:

• In elke trainingsbatch worden schone afbeeldingen en hun corresponderende vervormde tegenhangers gepaard.
• Een dedicated auxiliair FFN (Feed-Forward Network) corrigeert de features van de vervormde afbeeldingen zodat deze dichter bij de features van de schone afbeeldingen komen.
• De loss functie is een combinatie van drie termen:
  1. Cross-Entropy Loss ($L_{CE}$): Voor accurate classificatie.
  2. KL-divergentie ($L_{KL}$): Om de voorspellingsverdelingen van schone en vervormde samples te aligneren.
  3. MSE Loss ($L_{MSE}$): Om de afstand tussen de hoge-dimensionale features van de schone samples en de gecorrigeerde vervormde samples te minimaliseren.

Belangrijkste Bijdragen

1. Robuuste Ruggegraat: Het gebruik van een groot visueel fundamentenmodel (EVA-CLIP) met LoRA voor fine-tuning, wat zorgt voor hoge nauwkeurigheid zonder de inherente generalisatiecapaciteiten van het model te verliezen.
2. Realistische Data Simulatie: De introductie van agressieve vervormings- en grootte-simulaties tijdens het trainen om de distributie van real-world "in-the-wild" data nauwkeuriger na te bootsen.
3. Decoupling van Generalisatie en Robuustheid: Een nieuwe pairwise trainingstrategie die het model dwingt om zowel robuust te zijn tegen vervormingen als accuraat op schone data, door feature-consistentie te forceren via een gezamenlijke loss-functie.

Resultaten

De effectiviteit van LPT werd getest tijdens de NTIRE 2026 Robust AI-Generated Image Detection in the Wild challenge:

• Prestatie: De methode behaalde de 3e plaats in de challenge.
• AUC Scores: Op de publieke testset werd een AUC van 92,15% behaald, en op de private testset (met zwaardere vervormingen) een AUC van 92,50%.
• Ablatie Studies: Experimenten bevestigden dat elke component essentieel is:
  • Zonder de pairwise loss (alleen $L_{CE}$) daalt de prestatie op vervormde data aanzienlijk.
  • De toevoeging van vervormings- en groottesimulatie verbetert de prestaties op de validatie- en testsets aanzienlijk.
  • EVA-CLIP bleek superieur aan andere modellen zoals CLIP en Meta-CLIP2 voor deze specifieke taak.
• Vergelijking met SOTA: Op de ForenSynths-dataset presteerde LPT aanzienlijk beter dan bestaande state-of-the-art methoden (zoals NPR, MLEP, CNN) onder zowel schone als vervormde omstandigheden.

Betekenis en Toekomstperspectief

Deze studie benadrukt dat de toekomst van AIGI-detectie niet ligt in het zoeken naar microscopische artefacten die door compressie worden vernietigd, maar in het leren van robuuste, semantische representaties. De LPT-strategie biedt een praktische oplossing voor het detecteren van nepnieuws en deepfakes in echte, ongecontroleerde omgevingen.

Voor toekomstig werk plannen de auteurs:

• Integratie van multi-scale features om variaties in afbeeldingsgrootte beter te hanteren.
• Toepassing van gezamenlijke adversarial training om de detector te trainen tegen de meest kwetsbare vervormingen.
• Gebruik van een Mixture-of-Experts (MoE) architectuur om zich aan te passen aan verschillende soorten vervormingen.