💻 computer science

PE-Mamba: Bidirectional Selective Layer Aggregation for AI-Generated Image Detection

PE-Mamba is een lichtgewicht, met LoRA aangepast framework dat de detectie van door AI gegenereerde afbeeldingen verbetert door een bidirectionale selectieve aggregator en een softmax-gewogen aggregator te introduceren om hiërarchische kenmerken effectief te fuseren van oppervlakkige texturen tot diepe semantiek, waarmee een state-of-the-art generalisatie wordt bereikt over diverse generatieve modellen met minimale parameterupdates.

Oorspronkelijke auteurs: Kutub Uddin, Nusrat Tasnim, Khalid Malik

Gepubliceerd 2026-08-11

📖 7 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Kutub Uddin, Nusrat Tasnim, Khalid Malik

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je door een enorme, hightech bibliotheek loopt waar elk boek een afbeelding is. Jarenlang konden bibliothecarissen de nepböker gemakkelijk herkennen omdat ze op goedkoop papier waren gedrukt met duidelijke vlekken. Maar onlangs is er een nieuw soort printer gearriveerd die de nepböker zo perfect maakt, met papier dat zo glad is en inkt die zo scherp is, dat zelfs de experts het verschil niet meer zien met de echte exemplaren. Dit is de wereld van door AI gegenereerde afbeeldingen. Wetenschappers racen om "digitale leugendetectoren" te bouwen om deze vervalsingen op te sporen voordat ze desinformatie verspreiden of fraude veroorzaken. Het lastige deel is dat deze detectoren voorheen vertrouwden op het zoeken naar minuscule, specifieke vlekjes die door de oude printers werden achtergelaten. Maar toen de nieuwe printers hun methoden veranderden, raakten de oude detectoren in de war. Om dit op te lossen, proberen onderzoekers nu te begrijpen hoe het "brein" van een computer een afbeelding ziet, laag voor laag, van de allereerste blik op een textuur tot het uiteindelijke begrip van wat het object daadwerkelijk is.

De paper die je zojuist hebt gelezen, introduceert een nieuwe detective genaamd PE-Mamba. In plaats van alleen maar naar vlekjes te kijken, is deze detective ontworpen om het verhaal te begrijpen van hoe een afbeelding wordt opgebouwd. Denk aan een Vision Transformer (het computerebrein dat de paper gebruikt) als een team van detectives die in een rij werken. De eerste detective ziet alleen de ruwe randen en kleuren; de laatste detective begrijpt de hele scène. Eerdere methoden behandelden dit team als een groep vrienden die tegelijkertijd hun meningen schreeuwen en een simpel gemiddelde nemen. Maar PE-Mamba beseft dat de volgorde ertoe doet: de ruwe aanwijzingen aan het begin helpen het grote plaatje aan het eind te verklaren, en het grote plaatje helpt de ruwe aanwijzingen zin te geven.

PE-Mamba gebruikt een slimme nieuwe truc genaamd een "bidirectionele selectieve scan". Stel je een detective voor die de lijn van het team afloopt, van het begin naar het einde, terwijl hij onderweg aanwijzingen verzamelt (voorwaartse scan). Daarna draait de detective zich om en loopt terug van het einde naar het begin, waarbij de vroege aanwijzingen opnieuw onderzoekt met de wijsheid van de uiteindelijke conclusie (achterwaartse scan). Deze tweerichtingswand maakt het voor het model mogelijk om de stippen te verbinden tussen de minuscule details en de grote betekenis op een manier die een simpel gemiddelde nooit zou kunnen. De paper suggereert dat door de lagen van het computerbrein te behandelen als een geordende sequentie in plaats van een rommelige hoop, PE-Mamba veel beter vervalsingen kan opsporen, zelfs wanneer de vervalsingen zijn gemaakt door gloednieuwe AI-tools die het nog nooit heeft gezien.

De Nieuwe Strategie van de Detective

De onderzoekers achter PE-Mamba hebben hun systeem gebouwd op een gigantisch, vooraf getraind computerbrein genaamd PE-Core. Dit brein is al ongelooflijk slim in het herkennen van objecten, gezichten en scènes, maar het was oorspronkelijk niet gebouwd om vervalsingen te vangen. Om het te leren zonder de bestaande kennis te breken, gebruikte het team een lichtgewicht techniek genaamd LoRA. Je kunt LoRA zien als het toevoegen van een kleine, afneembare set "trainingswieltjes" aan het brein. In plaats van de hele enorme motor te herbedraden (wat duur en traag zou zijn), hebben ze slechts een minuscuul fractie van de verbindingen aangepast—slechts 1,3% van de totale parameters, en slechts 0,13% als je alleen het LoRA-gedeelte meetelt. Dit stelde het model in staat om de specifieke "vingerafdrukken" van nepafbeeldingen te leren, terwijl de algemene kennis intact bleef.

De kerninnovatie is hoe PE-Mamba de aanwijzingen uit de verschillende lagen van het brein combineert. De paper betoogt dat eerdere methoden een fout maakten door de lagen te behandelen als een ongeordende verzameling, zoals een emmer met door elkaar gehusselde puzzelstukjes. PE-Mamba respecteert echter de natuurlijke stroom van informatie: van ondiepe lagen (textuur en randen) naar diepe lagen (semantiek en betekenis).

Hiervoor gebruikt PE-Mamba drie hoofdonderdelen:

De Bidirectionele Selectieve Aggregator (BSA): Dit is de twee-richtings wandelende detective. Het scant de aanwijzingen voorwaarts (van ondiep naar diep) om bewijs op te bouwen, en loopt dan achterwaarts (van diep naar ondiep) om die vroege aanwijzingen te verfijnen met de context van de hele afbeelding. Het is als het lezen van een mysteriespanning van begin tot eind, en het boek dan nog eens achterstevoren lezen om te zien hoe het einde het begin verklaart.
De Softmax-Gewogen Aggregator (SWA): Deze fungeert als een "globale samenvattende" detective. Het kijkt naar alle aanwijzingen tegelijk en kiest de belangrijkste op basis van een geleerde score, wat een ander perspectief biedt dan de tweerichtingswandeling.
De Sigmoid-Gated Blend (SGA): Dit is de teamkapitein. Het beslist hoeveel vertrouwen er moet worden gehecht aan de tweerichtingswandeling versus de globale samenvatting. Het gebruikt een "poort" (gate) die leert om de balans tussen beide te vinden, waardoor wordt gewaarborgd dat de uiteindelijke beslissing het beste van beide werelden gebruikt.

Wat de Cijfers Zeggen

Het team testte PE-Mamba op twee belangrijke uitdagingen: de UniversalFakeDetect benchmark en de AIGCDetect benchmark. In deze tests werd het model alleen getraind op afbeeldingen gemaakt door één specifieke AI (ProGAN) en vervolgens gevraagd om vervalsingen te herkennen gemaakt door 19 andere AI-modellen die het nog nooit had gezien, inclus�els moderne diffusiemodellen zoals DALL-E en Midjourney.

De resultaten waren indrukwekkend. Op de UniversalFakeDetect benchmark behaalde PE-Mamba een nauwkeurigheidspercentage van 96,6% (mACC) en een precisiepercentage van 99,5% (mAP). Dit betekent dat het de vervalsingen vaker correct identificeerde dan de 18 andere detectoren waarmee het werd vergeleken. Nog opmerkelijker is dat PE-Mamba op de AIGCDetect benchmark—die zeer moderne, hoogwaardige generatoren bevat—een score van 95,3% nauwkeurigheid en 98,1% precisie behaalde.

De paper suggereert dat dit succes voortkomt uit het vermogen van het model om "overdraagbare structurele inconsistenties" te vinden. Terwijl andere detectoren kunnen falen wanneer de generator van de nepafbeelding van stijl verandert, lijkt de tweerichtingsscan van PE-Mamba diepere patronen te vinden die consistent blijven over verschillende soorten vervalsingen. Terwijl sommige oudere detectoren bijvoorbeeld zakten naar een nauwkeurigheid van rond de 50-60% bij bepaalde nieuwe generatoren, bleef PE-Mamba sterk en scoorde vaak boven de 95%.

Robuustheid en Visueel Bewijs

De onderzoekers controleerden ook of PE-Mamba om kon gaan met de rommel van de echte wereld. Ze testten het op afbeeldingen die gecomprimeerd waren (zoals JPEG's), vervaagd waren of waarbij ruis was toegevoegd. Zelfs onder deze zware omstandigheden hield het model het goed vol en behield het een nauwkeurigheid van 88,4%, zelfs toen alle drie de verstoringen tegelijkertijd werden toegepast. Dit suggereert dat het model niet alleen specifieke pixelpatronen onthoudt, maar een robuuster begrip heeft ontwikkeld van wat een afbeelding nep maakt.

Om te zien hoe het model dacht, gebruikte het team een visualisatietool genaamd Grad-CAM. Wanneer ze naar de "heatmaps" van de aandacht van het model keken, zagen ze iets fascinerends. Het originele, ongetrainde brein keek naar de hoofdonderwerpen van de foto (zoals een gezicht of een auto), ongeacht of het echt of nep was. Maar PE-Mamba leerde de voor de hand liggende delen van echte foto's te negeren en zich in plaats daarvan intensief te concentreren op de vreemde, onnatuurlijke plekken in nepfoto's—zoals de randen van een door een GAN gegenereerd object, de huidtextuur in een deepfake, of de globale patronen in een diffusie-afbeelding. Dit bevestigt dat het model erin geslaagd is om de "geesten" in de machine op te sporen.

De Kernboodschap

De paper concludeert dat het behandelen van de lagen van een vision transformer als een geordende sequentie, in plaats van een willekeurige zak met kenmerken, een krachtige manier is om door AI-gegenereerde afbeeldingen te detecteren. Door een tweerichtingsscan te gebruiken om de stippen te verbinden tussen de kleine details en het grote plaatje, suggereert PE-Mamba een nieuwe weg voorwaarts voor forensische detectie. Het bereikt topprestaties terwijl het zeer weinig extra rekenkracht gebruikt, wat het een veelbelovend hulpmiddel maakt voor de toekomst. De auteurs merken echter op dat sommige generatoren, zoals Midjourney, uitdagend blijven, en dat toekomstig werk nog bredere trainingsmethoden zal moeten verkennen om elke vorm van digitale vervalsing te vangen.

Technische Samenvatting: PE-Mamba voor de detectie van door AI gegenereerde afbeeldingen

Probleemstelling

De snelle vooruitgang van generatieve AI, inclusief GANs en diffusiemodellen, heeft het gat tussen synthetische en authentieke afbeeldingen verkleind, waardoor detectie steeds moeilijker wordt. Waar vroege forensische methoden vertrouwden op domeinspecifieke artefacten (bijv. frequentieafdrukken of upsampling-patronen), schieten deze tekort bij het generaliseren naar ongeziene generatieve architecturen. Recente benaderingen die gebruikmaken van Vision Transformers (ViTs) hebben veelbelovende resultaten laten zien door intermediaire laagrepresentaties te benutten. Echter, bestaande ViT-gebaseerde detectoren maken doorgaans gebruik van statische, gewogen-som-strategieën om deze multi-laag kenmerken te aggregeren. Deze methoden behandelen de sequentie van transformer-lagen als een ongeordende verzameling, waardoor de inherent geordende semantische progressie van oppervlakkige textuurkenmerken naar diepe semantische representaties — die cruciaal is voor forensische analyse — verloren gaat.

Methodologie

Het artikel stelt PE-Mamba voor, een nieuw framework dat ontworpen is om cross-laag afhankelijkheden te modelleren als een geordende sequentie met behulp van Bidirectionele Selectieve State Space Models (SSMs). De architectuur bestaat uit vijf hoofdmodules:

Backbone met LoRA Adaptatie: Het framework maakt gebruik van een bevroren, vooraf getrainde PE-Core-G14-448 vision transformer. Om taakspecifieke afstemming mogelijk te maken zonder volledige fine-tuning, wordt Low-Rank Adaptation (LoRA) exclusief toegepast op de Query-Key-Value (QKV) projectiematrices. Dit beperkt de trainbare parameters tot ongeveer 0,13% van de backbone, waarbij het totale trainbare deel (inclusief aggregatiekoppen) slechts 1,3% van het model beslaat.
Laag-gewijze CLS Token Extractie: Via forward hooks worden de classificatie (CLS) tokens uit elke transformer-laag geëxtraheerd. Deze tokens vormen een sequentie $g \in \mathbb{R}^{L \times D}$ , waarbij ondiepe lagen lage-niveau forensische artefacten (textuur, frequentie) vastleggen en diepe lagen hoge-niveau semantiek coderen. Deze tokens worden via een gedeelde projectiemodule geprojecteerd naar een uniforme dimensie $D'$ .
Bidirectionele Selectieve SSM Aggregator (BSA): Dit is de kerninnovatie. In plaats van een gewogen gemiddelde, verwerkt de BSA de geprojecteerde token-sequentie door twee onafhankelijke selectieve SSM-blokken:
- Forward Scan: Accumuleert bewijs van ondiepe naar diepe lagen (van textuur naar semantiek).
- Backward Scan: Voert een deep-to-shallow contextuele verfijning uit, waarbij lage-niveau aanwijzingen worden geherinterpreteerd met behulp van de hoge-niveau semantische context.
- De outputs van beide scans worden middels mean-pooling samengevoegd en geconcateneerd om een directionele representatie $z_m$ te vormen.
Softmax-Gewogen Aggregator (SWA): Een parallelle tak berekent een globale samenvatting $z_\alpha$ van alle laag-tokens met behulp van leerbare softmax-gewichten, wat dient als een complementair aggregatiepad dat niet afhankelijk is van sequentiële ordening.
Sigmoid-Gated Blend (SGA): Een leerbare scalaire gate voegt de directionele BSA-output ( $z_m$ ) en de globale SWA-output ( $z_\alpha$ ) adaptief samen. Dit stelt het model in staat om dynamisch een balans te vinden tussen directionele sequentiële bewijsvoering en globale laag-gewijze aggregatie op basis van het trainingssignaal.

Belangrijkste Bijdragen

Nieuw Aggregatieparadigma: PE-Mamba vervangt conventionele cross-laag gewogen averaging door een bidirectionele selectieve SSM-aggregator (BSA), die expliciet de geordende semantische progressie van ViT-laagrepresentaties modelleert.
Complementair Fusiemechanisme: De introductie van een Softmax-Gewogen Aggregator (SWA) en een Sigmoid-Gated Blend (SGA) maakt de adaptieve fusie van directionele sequentiële bewijsvoering met globale samenvattingen mogelijk, waardoor complementaire forensische kenmerken over de laag-hiërarchie heen worden gevangen.
Parameter-efficiëntie: Het framework bereikt state-of-the-art prestaties terwijl slechts 1,3% van de totale parameters wordt getraind (0,13% voor LoRA alleen), waardoor de algemene visuele representaties van de bevroren backbone behouden blijven.

Experimentele Resultaten

PE-Mamba werd geëvalueerd op twee belangrijke benchmarks: UniversalFakeDetect en AIGCDetect. In beide gevallen werden modellen uitsluitend getraind op ProGAN en zero-shot geëvalueerd op 19 ongeziene generatoren, variërend van GANs en andere generatieve modellen tot diffusiemodellen.

UniversalFakeDetect: PE-Mamba behaalde 96,6% mACC en 99,5% mAP, waarmee het 18 state-of-the-art detectoren versloeg. Het toonde superieure stabiliteit over GAN-, diffusie- en andere generatorfamilies, met name op uitdagende modellen zoals SAN en SITD, waar voorheen gebruikte methoden (zoals RINE) significante degradatie vertoonden.
AIGCDetect: Op deze volledig out-of-distribution benchmark die moderne diffusie-generatoren bevat (bijv. Midjourney, SD-XL, DALL-E 2), behaalde PE-Mamba 95,3% mACC en 98,1% mAP. Dit vertegenwoordigt een substantiële winst ten opzichte van de dichtstbijzijnde concurrent, IAPL (91,5% mACC) en RINE (74,8% mACC).
Robuustheid: Het model behield een hoge prestatie onder diverse beeldperturbaties, waaronder JPEG-compressie, Gaussian blur en additieve ruis, waarbij het 88,4% mACC behield onder een drievoudige combinatie van verstoringen.
Ablatie-studies: Experimenten bevestigden dat een enkele SSM-laag optimaal is, dat $d_{state}=16$ en $d_{expand}=2$ de beste compromissen bieden, en dat de combinatie van BSA, SWA en SGA essentieel is voor piekprestaties.

Betekenis en Claims

Het artikel claimt dat PE-Mamba de hypothese valideert dat het behandelen van cross-laag ViT-kenmerken als een geordende sequentie en het exploiteren van hun directionele structuur via selectieve state space modeling een krachtigere en meer generaliseerbare forensische aggregatiestrategie is dan traditionele gewogen gemiddelden. Door structurele inconsistenties te vangen die verder gaan dan generator-specifieke artefacten, bereikt de methode superieure cross-model generalisatie.

De auteurs benadrukken dat het vermogen van het framework om een hoge nauwkeurigheid te handhaven met minimale trainbare parameters, het een praktische en efficiënte oplossing maakt voor het detecteren van door AI gegenereerde afbeeldingen binnen diverse en evoluerende generatieve landschappen. Hoewel de methode een sterke generalisatie vertoont, merken de auteurs bescheiden op dat generatoren met propriëtaire verfijningspipelines (bijv. Midjourney) en classifier-guided synthese (bijv. ADM) nog steeds uitdagend blijven, wat wijst op toekomstig werk in multi-source training en temporele extensie voor video deepfakes.