CoDA: Color Distribution Probing for Efficient and Generalizable AI-Generated Image Detection

Technische Samenvatting: CoDA: Kleurdistributieprobing voor Efficiënte en Generaliseerbare Detectie van AI-gegenereerde Afbeeldingen

Probleemstelling
De detectie van AI-gegenereerde afbeeldingen staat momenteel voor een fundamentele afweging tussen generalisatie en efficiëntie. Lichtgewicht, op artefacten gebaseerde methoden degraderen vaak wanneer ze geconfronteerd worden met onbekende generatoren of visuele domeinen, terwijl robuuste grootschalige modellen (bijvoorbeeld Vision-Language Models) computationeel duur zijn en mogelijk nog steeds moeite hebben met ondervertegenwoordigde domeinen zoals medische of technische afbeeldingen. Bovendien richten bestaande benchmarks zich voornamelijk op cross-model evaluatie binnen het nauwe regime van fotorealistische afbeeldingen, waardoor cross-domein robuustheid onderbelicht blijft. Dit artikel adresseert de behoefte aan een detectieparadigma dat zowel computationeel efficiënt als robuust is over diverse generatoren en visuele domeinen.

Methodologie
De auteurs stellen CoDA voor, een compact detectieframework (1,48 miljoen parameters) gebaseerd op de observatie dat AI-gegenereerde afbeeldingen vaak kenmerkende kleuronbalansen vertonen in vergelijking met echte foto's. De methodologie bestaat uit drie kerncomponenten:

1. Theoretische Basis (Manifolddivergentie): Het artikel postuleert dat generatieve modellen proxydoelen optimaliseren die monsters buiten het laagdimensionale manifold van echte afbeeldingen kunnen duwen. Deze afwijking is bijzonder gevoelig in chromatische richtingen vanwege het ontbreken van fysieke beperkingen (bijvoorbeeld camera-ISP-pijplijnen zoals witbalans en gammacorrectie) in generatieve processen. Theoretische analyse koppelt deze afwijking van het manifold aan non-uniformiteit in de kleurdistributie.
2. Noise-Quantisatie-probe: Om de stabiliteit van de kleurdistributie te kwantificeren, introduceren de auteurs een probe die gecontroleerde stochastische perturbatie toepast. Het proces omvat:
   • Injecteren van Gaussisch ruis in de invoerafbeelding.
   • Toepassen van kleurnotisatie ( afronden).
   • Gemiddelde nemen van meerdere herstelde monsters.
   • Berekenen van het verschilbeeld tussen de originele en de herstelde afbeelding.
   • Mechanisme: Echte foto's, met soepelere en bredere kleurdistributies, neigen tot perturbatiefouten die tijdens het gemiddelde nemen elkaar opheffen, wat resulteert in kleine residuen. Daarentegen produceren synthetische afbeeldingen met gepiekte of onregelmatige kleurdistributies systematische, gestructureerde residuen.
3. Dual-Branch Architectuur: CoDA maakt gebruik van een lichtgewicht dual-branch netwerk.
   • Visuele Branch: Verwerkt de originele afbeelding om semantische en textuurkenmerken vast te leggen.
   • Kleur Branch: Verwerkt het verschilbeeld gegenereerd door de Noise-Quantisatie-probe om distributie-informatie te extraheren.
   • De kenmerken van beide branches worden samengevoegd en ingevoerd in een lichtgewicht classifier. Dit ontwerp zorgt ervoor dat het model niet uitsluitend afhankelijk is van kleur, maar deze gebruikt als een complementair signaal om de robuustheid te versterken.

Belangrijkste Bijdragen

• FakeForm Benchmark: De auteurs introduceren FakeForm, een grootschalige benchmark bestaande uit ongeveer 370.000 afbeeldingen over 62 diverse domeinen (waaronder CT-scans, dieptekaarten, flowcharts en artistieke media). Het ondersteunt zowel cross-model als cross-domein evaluatie en bevat meer dan 760.000 menselijke perceptuele oordelen met realisme-scores en tekstuele rechtvaardigingen.
• Kleurdistributie-analyse: Het artikel identificeert en analyseert kleurdistributie-artefacten als een terugkerend signaal over grote generatieparadigma's (GAN's, Diffusie, Flow-based en Autoregressieve modellen), en biedt een theoretisch verband tussen manifolddivergentie en kleurnon-uniformiteit.
• CoDA Detector: Een lichtgewicht detector die kleurdistributie-irregulariteiten omzet in robuuste signalen via de Noise-Quantisatie-probe, waarbij hoge efficiëntie wordt bereikt zonder generalisatie op te offeren.

Experimentele Resultaten

• Standaard Benchmarks: Op gevestigde benchmarks (ForenSynths, Ojha, GenImage) bereikt CoDA state-of-the-art prestaties, en presteert het beter dan of gelijk aan toonaangevende methoden zoals FatFormer en SAFE. Bijvoorbeeld, op de GenImage-benchmark bereikt CoDA 95,9% nauwkeurigheid en 99,1% AP.
• Cross-Domein Generalisatie (FakeForm): CoDA demonstreert superieure robuustheid in cross-domein settings. Waar state-of-the-art detectoren vaak onder de 75% nauwkeurigheid zakken op uitdagende cross-domein content, bereikt CoDA 77,7% gemiddelde nauwkeurigheid over 62 domeinen. Het presteert significant beter dan grote op VLM gebaseerde baselines (bijvoorbeeld AIGI-Holmes), die onder domeinverschuivingen aanzienlijk meer degraderen.
• Efficiëntie: CoDA verwerkt afbeeldingen met 125,2 frames per seconde (FPS) met slechts 1,48 miljoen parameters. Daarentegen werken op VLM gebaseerde systemen zoals AIGI-Holmes met ongeveer 2,2 FPS en meer dan 7 miljard parameters.
• Robuustheid: Het model behoudt hoge prestaties onder veelvoorkomende afbeeldingsperturbaties (Gaussische vervaging, bijsnijden, JPEG-compressie, ruis), en vertoont kleinere prestatiedalingen in vergelijking met concurrenten, met name op diffusie-gegenereerde afbeeldingen.
• Ablatiestudies: Experimenten bevestigen de complementariteit van de twee branches. Het volledige model presteert beter dan alleen de "Image Branch" (66,8% versus 77,7% op FakeForm) en configuraties met alleen de "Kleur Branch", wat valideert dat kleursignalen essentiële complementaire bewijzen bieden, vooral in domeinen met veel kleur.

Betekenis en Claims
Het artikel claimt dat aanhoudende generatieve artefacten, specifiek non-uniformiteit in de kleurdistributie, een praktische basis vormen voor efficiënte en robuuste detectie van AI-gegenereerde afbeeldingen. Door gebruik te maken van de Noise-Quantisatie-probe, neemt CoDA een "middenweg" in tussen breekbare low-level forensische methoden en dure high-level semantische modellen. De auteurs betogen dat hun aanpak een schaalbare oplossing biedt voor implementatie in de echte wereld, waarbij detectoren moeten opereren over een breed spectrum aan visuele content (van fotografie tot technische diagrammen) zonder de computationele overhead van grote multimodale modellen. Het werk suggereert dat, hoewel kleursignalen domein-afhankelijk zijn (het beste presterend in fotografische en artistieke content en minder goed in domeinen met weinig kleur of sterk gespecialiseerde domeinen), ze dienen als een krachtig, complementair signaal dat generalisatie versterkt wanneer het wordt samengevoegd met standaard afbeeldingskenmerken.