Intermediate Representations are Strong AI-Generated Image Detectors

Technische Samenvatting: Intermediare Representaties zijn Sterke Detectoren voor AI-gegenereerde Afbeeldingen

Probleemstelling
De snelle vooruitgang van generatieve AI-modellen (bijv. GAN's, VAE's, Diffusiemodellen) heeft de creatie van fotorealistische synthetische afbeeldingen mogelijk gemaakt, wat aanzienlijke zorgen oproept over misbruik, deepfakes, schendingen van auteursrechten en de potentiële corruptie van toekomstige trainingsdatasets. Hoewel effectieve detectie cruciaal is, staan huidige oplossingen voor een tweespalt: op training gebaseerde methoden zijn rekenkundig kostbaar en worstelen om te generaliseren naar ongezette data-domeinen, terwijl trainingsvrije methoden vaak lijden onder inferieure detectieprestaties. Bestaande trainingsvrije benaderingen vertrouwen doorgaans op de embeddings van de output-laag (laatste laag) van voorgetrainde fundamentele modellen, waardoor mogelijk meer discriminerende kenmerken die beschikbaar zijn in eerdere stadia van het netwerk, worden over het hoofd gezien.

Methodologie
De auteurs stellen een zoekgebaseerd, trainingsvrij detectiekader voor dat gebruikmaakt van de gevoeligheid van intermediare representaties binnen voorgetrainde fundamentele beeldmodellen. De kernhypothese is dat de embedding-ruimte van echte afbeeldingen robuuster is tegen verstoringen dan die van AI-gegenereerde afbeeldingen, en dat deze robuustheidsgap het meest uitgesproken is in intermediare lagen in plaats van de uiteindelijke output-laag.

De methode werkt in twee fasen:

1. Trainings-/Zoekfase: Een paar afbeeldingen – een originele afbeelding ($x$) en een verstoord exemplaar ($\epsilon(x)$) – wordt ingevoerd in een bevroren voorgetrainde kenmerkextractor (bijv. CLIP of DINOv2). De gebruikte verstoring is defocus-onscherpte, die globale semantische structuren behoudt terwijl fijne details worden afgezwakt. Het systeem berekent de cosinus-ähnelijkheid tussen de embeddings van de originele en verstoord afbeelding over alle lagen ($\ell = 1$ tot $L$). Met behulp van een kleine subset van gelabelde trainingsdata zoekt het algoritme naar de optimale intermediare laag ($\ell_{opt}$) die de AUROC-score maximaliseert bij het onderscheiden tussen paren echte en nep afbeeldingen.
2. Inferentiefase: Zodra $\ell_{opt}$ is geïdentificeerd, gebruikt de detector uitsluitend de embeddings van deze specifieke intermediare laag voor alle toekomstige voorspellingen. Een binaire classificatie wordt gemaakt op basis van een similariteitsdrempel $\tau$: als de cosinus-ähnelijkheid $S(x, \epsilon(x), \ell_{opt}) < \tau$, wordt de afbeelding geclassificeerd als AI-gegenereerd.

Cruciaal is dat de onderliggende modelgewichten en -architectuur gedurende het hele proces bevroren blijven; er vindt geen fine-tuning of wijziging van gewichten plaats. De "training" is strikt beperkt tot het zoeken naar de index van de optimale laag.

Belangrijkste Bijdragen

• Superioriteit van Intermediare Lagen: Het artikel toont aan dat intermediare lagen rijkere, expressievere representaties bevatten voor het detecteren van AI-gegenereerde inhoud in vergelijking met de uiteindelijke output-laag. Dit wordt ondersteund door analyse van de Intrinsieke Dimensie (ID), die een "bultenrug"-vorm in ID over de netwerkdiepte onthult (uitbreiding in vroege lagen, compressie in latere lagen). De auteurs betogen dat de gecomprimeerde dimensies in de laatste laag, hoewel nuttig voor downstream-taken zoals classificatie, de subtiele nuances kunnen weggooien die nodig zijn om echte van synthetische afbeeldingen te onderscheiden.
• Zoekgebaseerd Kader: De auteurs introduceren een eenvoudige maar effectieve pijplijn die de optimale detectielag identificeert zonder het fundamentele model te wijzigen, waardoor de kloof wordt overbrugd tussen de generalisatie van trainingsvrije methoden en de prestaties van op training gebaseerde methoden.
• Gevoeligheid voor Verstoring: De methode maakt gebruik van het differentiële robuustheid van embedding-ruimten voor defocus-onscherpte, en toont aan dat embeddings van echte afbeeldingen een hogere similariteit behouden onder verstoring in vergelijking met AI-gegenereerde embeddings op specifieke intermediare dieptes.

Experimentele Resultaten
De methode werd geëvalueerd op twee uitgebreide benchmarks: GenImage en Forensics Small.

• GenImage Benchmark: De voorgestelde methode behaalde een gemiddelde AUROC van 0,9296, wat een prestatie is die 14,37% beter is dan de beste trainingsvrije baseline (RIGID, 0,8128) en 3,38% beter dan de beste op training gebaseerde baseline (AIDE, 0,8992).
• Forensics Small Benchmark: De methode toonde aanzienlijke winsten, met een gemiddelde AUROC van 0,8906. Dit vertegenwoordigt een verbetering van 39,61% ten opzichte van de beste trainingsvrije methode (RIGID, 0,6379) en een verbetering van 5,14% ten opzichte van de beste op training gebaseerde methode (NPR, 0,8471).
• Ablatiestudies:
  • Kenmerkextractoren: Het gebruik van CLIP leverde superieure resultaten op in vergelijking met DINOv2, toegeschreven aan de hogere intrinsieke dimensie van CLIP in intermediare lagen.
  • Typen Verstoring: Defocus-onscherpte bleek de meest effectieve verstoring, waarschijnlijk omdat het de globale structuur behoudt terwijl het fijne texturen verwijdert waar vervalsingsartefacten vaak voorkomen.
  • Grootte Zoekdata: Een willekeurig bemonsterde subset van de trainingsdata (30% van de grootte van de testset) was voldoende om de optimale laag te identificeren, waarbij de prestaties stabiel bleven zelfs bij kleinere subsets.

Betekenis en Claims
Het artikel beweert dat de veelgebruikte output-embeddings van fundamentele modellen suboptimaal zijn voor de detectie van AI-gegenereerde afbeeldingen. Door de focus te verleggen naar intermediare representaties, bieden de auteurs een methode die zowel rekenkundig efficiënt is (geen model fine-tuning) als zeer effectief (het overtreft state-of-the-art op training gebaseerde methoden).

De auteurs positioneren dit werk als een stap naar betrouwbare mediaforensiek die kan schalen met toekomstige fundamentele beeldmodellen. Ze benadrukken dat hun aanpak geen schadelijke inhoud genereert, maar eerder een hulpmiddel biedt om risico's gerelateerd aan generatieve AI te mitigeren, zoals schending van auteursrechten en de verspreiding van nepinhoud. Het werk suggereert dat de "veelzijdigheid" van intermediare representaties een tot nu toe onderbenutte bron is voor beveiligingstoepassingen in generatieve AI.