Can Visual Mamba Improve AI-Generated Image Detection? An In-Depth Investigation

Technische Samenvatting: Kan Visual Mamba de Detectie van door AI gegenereerde afbeeldingen verbeteren? Een grondig onderzoek

Probleemstelling
De snelle vooruitgang van generatieve AI, inclusief Generative Adversarial Networks (GANs), diffusiemodellen en Vision-Language Models (VLMs), heeft geleid tot de creatie van steeds fotorealistische synthetische afbeeldingen. Hoewel dit gunstig is voor contentcreatie, vormt deze technologie aanzienlijke risico's wat betreft desinformatie, identiteitsdiefstal en schendingen van de privacy. Bijgevolg is de ontwikkeling van robuuste detectiemechanismen van cruciaal belang. Waar Convolutional Neural Networks (CNNs), Vision Transformers (ViTs) en VLMs uitgebreid zijn bestudeerd voor deze taak, blijft het potentieel van Vision Mamba-architecturen, gebaseerd op State Space Models (SSMs), grotendeels onontgonnen. Dit onderzoek adresseert de lacune in de literatuur door systematisch te evalueren of Vision Mamba-modellen effectief door AI gegenereerde afbeeldingen kunnen detecteren, met name met focus op hun nauwkeurigheid, efficiëntie en generalisatievermogen over diverse generatieve bronnen.

Methodologie
De auteurs voerden een uitgebreide empirische studie uit waarbij drie verschillende Vision Mamba-varianten werden gebenchmarkt tegen gevestigde State-of-the-Art (SOTA)-baselines, waaronder CNNs (ResNet, Xception), Transformers (ViT, DeiT) en VLM-gebaseerde detectoren (AntifakePrompt, Bi-LORA).

• Geëvalueerde Modellen:
  • Vim: Het eerste zuivere SSM-gebaseerde visiemodel dat bidirectionele SSM-paden en positionele embeddingen gebruikt.
  • MambaVision: Een hybride architectuur die CNNs combineert voor lokale kenmerken met een herontworpen Mamba-blok en self-attention voor globale afhankelijkheden.
  • VSSD (Visual State Space Duality): Een niet-causale variant van het State Space Duality-model, ontworpen om 2D-afbeeldingsgegevens te verwerken zonder causale beperkingen, met gebruikmaking van multi-scan strategieën.
• Datasets: Experimenten werden uitgevoerd op drie diverse datasets:
  • AntifakePrompt: Bevat echte afbeeldingen van MS COCO en Flickr, en synthetische afbeeldingen van diverse tekst-naar-beeldmodellen (SD2, SDXL, DALL-E 2, enz.) en aanvalsscenario's (adversariaal, backdoor, data poisoning).
  • Bedroom: Bestaat uit echte afbeeldingen van LSUN Bedroom en synthetische afbeeldingen gegenereerd door onvoorwaardelijke en tekst-naar-beeld diffusiemodellen (LDM, ADM, DDPM, SDv1.4, GLIDE).
  • UniversalFakeDetect: Een grootschalige dataset met echte afbeeldingen van LSUN, ImageNet en LAION, en synthetische afbeeldingen van 20 verschillende generatieve modellen (GANs, Diffusion, DeepFakes).
• Experimenteel Protocol: Modellen werden fijngefineerd of vanaf nul getraind op specifieke trainingssplits (bijvoorbeeld MS COCO versus SD2+LaMa voor AntifakePrompt) en geëvalueerd op vastgehouden testsets met afbeeldingen van onbekende generatieve modellen om cross-generator generalisatie te beoordelen. Prestaties werden gemeten met behulp van Nauwkeurigheid (ACC).

Belangrijkste Bijdragen

1. Systematische Evaluatie van Vision Mamba: Dit paper biedt de eerste rigoureuze benchmark van Vision Mamba-architecturen (Vim, MambaVision, VSSD) specifiek voor de taak van detectie van door AI gegenereerde afbeeldingen.
2. Comparatieve Analyse: Het onderzoek biedt een gedetailleerde vergelijking van SSM-gebaseerde modellen tegen CNNs, Transformers en VLMs over meerdere datasets en generatieve bronnen.
3. Identificatie van Generalisatiegrenzen: Het onderzoek benadrukt een kritieke beperking van huidige Vision Mamba-modellen: hoewel ze concurrerend presteren wanneer training en testen plaatsvinden binnen dezelfde generatieve verdeling, verslechtert hun prestatie aanzienlijk wanneer ze worden toegepast op onbekende generators.
4. Architecturale Inzicht: De auteurs analyseren de structurele redenen voor deze beperkingen en schrijven deze toe aan de sequentiële aard van SSMs, die moeite heeft om de globale ruimtelijke afhankelijkheden en fijnkorrelige artefacten vast te leggen die noodzakelijk zijn voor het onderscheiden van synthetische content, in vergelijking met het globale receptieve veld van Transformers.

Resultaten

• Generalisatieprestaties: Vision Mamba-modellen vertoonden aanzienlijke dalingen in nauwkeurigheid wanneer getest op afbeeldingen van onbekende generatieve modellen. Bijvoorbeeld, op de AntifakePrompt-dataset bereikten modellen zoals VSSD bijna perfecte nauwkeurigheid op de trainingsverdeling (SD2), maar stortte hun prestatie in op onbekende modellen zoals SDXL (0,23%) en DALL-E 2 (14,00%).
• Vergelijking met SOTA:
  • VLMs en Grote Modellen: Modellen met miljarden parameters, zoals AntifakePrompt en Bi-LORA, vertoonden superieure generalisatie en behielden hoge nauwkeurigheid over diverse onbekende generators en adversariale aanvallen.
  • Transformers: Op attention gebaseerde modellen (ViT, DeiT) toonden matige tot sterke robuustheid en presteerden vaak beter dan Vision Mamba-modellen in cross-generator scenario's.
  • Vision Mamba: Ondanks hun rekenkundige efficiëntie en lagere parameteraantallen, bereikten Vision Mamba-modellen over het algemeen een lagere gemiddelde nauwkeurigheid (rond de 70%) in vergelijking met Transformer- en VLM-varianten (vaak >90%). Ze hadden vooral moeite met onvoorwaardelijke diffusiemodellen (bijvoorbeeld ADM, DDPM) en adversariale perturbaties.
• Kenmerkvisualisatie: t-SNE-visualisaties onthulden dat hoewel Vision Mamba-detectoren echte en neppe afbeeldingen konden scheiden voor specifieke generators (bijvoorbeeld ProGAN), de kenmerkverdelingen voor onbekende generators aanzienlijk overlappen, wat wijst op een falen om generaliseerbare artefacten te leren.

Betekenis en Claims
Het paper concludeert dat Vision Mamba-architecturen, hoewel ze veelbelovende efficiëntie en snelheid bieden, momenteel aanzienlijke hindernissen ondervinden op het gebied van detectie van door AI gegenereerde afbeeldingen. De auteurs claimen dat de sequentiële, causale aard van standaard SSMs hun vermogen beperkt om de complexe, niet-causale ruimtelijke relaties die inherent zijn aan visuele data te modelleren, wat cruciaal is voor het detecteren van subtiele generatie-artefacten.

De betekenis van dit werk ligt in de eerlijke beoordeling van de huidige capaciteiten van Vision Mamba. Het stelt vast dat, in tegenstelling tot Transformers en VLMs die gebruikmaken van globale attention of grootschalige multimodale pretraining om robuuste generalisatie te bereiken, Vision Mamba-modellen momenteel ongeschikt zijn voor het detecteren van door AI gegenereerde afbeeldingen over diverse, onbekende verdelingen zonder aanzienlijke architecturale aanpassingen. De auteurs suggereren dat toekomstig onderzoek zich moet richten op hybride SSM-Attention-architecturen, verbeterde 2D-scanstrategieën en frequentiedomein-componenten om deze prestatiekloof te overbruggen. Het onderzoek dient als een waarschuwend baken, aangevend dat efficiëntiewinsten uit Mamba-architecturen niet moeten worden nagestreefd ten koste van de generalisatierobuustheid die vereist is voor real-world beveiligingstoepassingen.