Micro-Defects Expose Macro-Fakes: Detecting AI-Generated Images via Local Distributional Shifts

Technische Samenvatting: Micro-Defecten Exponeren Macro-Fakes (MDMF)

Probleemstelling
Recente vooruitgang in diepe generatieve modellen, met name op diffusie gebaseerde architecturen (bijv. Stable Diffusion, DALL·E, Midjourney), heeft beelden geproduceerd met een hoge visuele fideliteit, waardoor het onderscheid tussen echt en door AI gegenereerde inhoud steeds moeilijker wordt. Bestaande detectiemethoden vertrouwen vaak vooraf getrainde feature-extractoren en behandelen detectie als een globale classificatietaken. De auteurs betogen dat deze benaderingen te veel vertrouwen op globale semantische inhoud, wat kritieke micro-schaal forensische artefacten verdunt. Moderne generators neigen om schaarse, gelokaliseerde statistische onregelmatigheden achter te laten in plaats van globale inconsistenties. Wanneer deze gelokaliseerde aanwijzingen worden geaggregeerd tot een enkele globale representatie, worden ze vaak onderdrukt door dominante semantische kenmerken, wat leidt tot detectoren die onbedoeld classificeren op basis van objectsemantiek (bijv. "kat versus hond") in plaats van op basis van generatie-artefacten.

Methodologie
Het artikel stelt Micro-Defecten Exponeren Macro-Fakes (MDMF) voor, een raamwerk dat is ontworpen om subtiele, gelokaliseerde statistische afwijkingen te versterken tot stabiele macro-niveau distributieverschillen. De methodologie bestaat uit drie kerncomponenten:

1. Patch Forensische Handtekening (PFS):

   • In plaats van een beeld te verwerken als een enkele globale vector, decomposeert MDMF beelden in lokale patches met behulp van een bevroren vooraf getrainde visuele backbone (bijv. DINOv2).
   • Een leerbare projectiefunctie, $\phi_\theta$ (een lichtgewicht MLP), mapt deze semantische patch-embeddings naar een dedicated forensische latente ruimte.
   • Deze projectie is getraind om de embeddings te herparameteriseren, specifiek door semantische variaties te onderdrukken terwijl de statistische onregelmatigheden die door het generatieve proces worden geïntroduceerd, worden behouden en versterkt. Dit creëert een "handtekening" voor elke patch die artefact-dominant is in plaats van semantiek-dominant.

2. Distributie Detectie via Maximum Mean Discrepancy (MMD):

   • In plaats van patch-scores te aggregeren via eenvoudige pooling (wat schaarse aanwijzingen kan uitmiddelen), behandelt MDMF de set patch-handtekeningen in een beeld als een distributie.
   • Het maakt gebruik van Maximum Mean Discrepancy (MMD) om het distributieverschil tussen de patch-handtekeningen van een testbeeld en een referentieset van echte beelden te kwantificeren.
   • Het raamwerk maakt gebruik van een diep Gaussisch kernel om dit verschil te meten. De trainingsdoelstelling maximaliseert het geregulariseerde testkracht-criterium, waarbij zowel de projectieweegs ($\theta$) als de kernel-bandbreedte ($\gamma$) worden geoptimaliseerd om de scheiding tussen echte en gegenereerde distributies te maximaliseren.

3. Theoretische Grondslag:

   • De auteurs bieden een theoretische analyse gebaseerd op een "schaar defectmodel". Ze bewijzen dat onder specifieke aannames (sub-Gaussische patch-embeddings en schaarse gelokaliseerde defecten), de patch-georiënteerde PFS-modellering een bewijsbaar grotere mean shift ($\Delta_{PFS}$) oplevert in vergelijking met globale pooling ($\Delta_{global}$).
   • Specifiek schaalt de shift met het aantal patches $K$ (d.w.z. $\|\Delta_{PFS}\|^2 \approx K \|\Delta_{global}\|^2$), wat aantoont dat lokale modellering de verdunning van forensische signalen voorkomt.
   • De analyse vestigt verder eindige-steekproef concentratiegaranties, waaruit blijkt dat de empirische MMD-score betrouwbaar echte en gegenereerde beelden scheidt wanneer de populatie-niveau discrepantie positief is.

Belangrijkste Bijdragen

• Nieuw Perspectief: Het artikel introduceert een distributie-detectieperspectief dat beelden modelleert als verzamelingen van gelokaliseerd visueel bewijs, met het argument dat moderne generatieve artefacten zich manifesteren als subtiele statistische afwijkingen in plaats van globale inconsistenties.
• Patch Forensische Handtekening (PFS): Een leerbare representatie die semantische embeddings herparameteriseert naar een latente ruimte die is ontworpen om semantische invarianties te onderdrukken terwijl generatieve artefacten worden versterkt.
• MDMF Raamwerk: Een detectiesysteem dat gelokaliseerd forensisch bewijs aggregeert via MMD. Theoretische analyse vestigt een bewijsbare scheiding tussen echte en gegenereerde beelden, en de methode vermijdt de behoefte aan complexe drempelafstelling die geassocieerd is met per-patch stemming.
• Uitgebreide Evaluatie: Uitgebreide experimenten over meerdere benchmarks (ImageNet, LSUN-Bedroom, GenImage, WildRF, LDMFakeDetect) en een case study over door OpenSora gegenereerde video's.

Experimentele Resultaten

• Benchmark Prestaties: MDMF presteert consequent beter dan state-of-the-art baselines (waaronder CNNspot, Ojha, DIRE, PatchCraft, FatFormer en F-ConV) over diverse generatieve modellen (GANs, Diffusie, Transformers). Op de ImageNet-benchmark bereikt MDMF een gemiddelde AUROC van 95,65% en een AP van 97,07%, waarmee het de eerdere beste op training gebaseerde methoden overtreft.
• Generalisatie: De methode toont robuuste generalisatie naar onzichtbare generators, waaronder recente diffusiemodellen (bijv. DiT, LDM) en videogeneratiemodellen (OpenSora), waarbij veel bestaande detectoren aanzienlijk degraderen.
• Robuustheid: MDMF toont superieure veerkracht tegen veelvoorkomende post-processing verstoringen, waaronder JPEG-compressie, Gaussische blur en Gaussisch ruis. De prestatiekloof tussen MDMF en baselines wordt groter naarmate de ernst van de verstoring toeneemt.
• Ablatiestudies:
  • PFS versus Globaal: Het vervangen van globale pooling door PFS-modellering verbetert de prestaties aanzienlijk, wat bevestigt dat gelokaliseerd bewijs effectiever is dan semantiek-dominante globale kenmerken.
  • MMD versus Aggregatie: Het koppelen van PFS aan MMD-optimalisatie levert hogere prestaties op dan PFS met eenvoudige attention of mean pooling, wat de distributie-benadering valideert.
  • Patch Granulariteit: De methode vertoont een niet-monotoon afhankelijkheid van patchgrootte, waarbij een intermediaire granulariteit (bijv. $W=32$) de optimale afweging biedt tussen het vastleggen van lokale verschuivingen en het behouden van schattingsstabiliteit.
  • Hard Voting: MDMF presteert beter dan patch-niveau hard voting strategieën over alle geteste drempels, wat aantoont dat continue distributietesten betrouwbaarder zijn dan discrete per-patch beslissingen.

Betekenis en Claims
Het artikel claimt dat MDMF een geprincipeerd en robuust raamwerk biedt voor detectie van door AI gegenereerde beelden door de focus te verschuiven van globale semantiek naar lokale statistische onregelmatigheden. Door wiskundig te bewijzen dat patch-georiënteerde modellering schaarse defecten versterkt en door empirisch superieure prestaties te demonstreren over diverse en uitdagende benchmarks (inclusief in-the-wild data en videoframes), betogen de auteurs dat hun distributieperspectief effectief de beperkingen van huidige semantiek-zware detectoren aanpakt. De methode wordt gepresenteerd als een belangrijke stap naar betrouwbare detectie in een tijdperk waarin generatieve modellen steeds realistischere en artefact-schaar content produceren. De auteurs benadrukken ook de interpreteerbaarheid van de methode, aangezien de patch-niveau handtekeningen visualisatie van gelokaliseerd forensisch bewijs mogelijk maken, wat helpt bij het auditen van detectiebeslissingen.