TAP into the Patch Tokens: Leveraging Vision Foundation Model Features for AI-Generated Image Detection

1. Probleemstelling

De snelle vooruitgang in AI-afbeeldingsgeneratie (bijv. Stable Diffusion, Midjourney, Flux) heeft een aanzienlijke uitdaging gecreëerd bij het onderscheiden tussen echte en synthetische afbeeldingen. Bestaande detectiemethoden staan voor twee primaire hindernissen:

• Generalisatie: Detectoren die zijn getraind op specifieke generators, falen vaak wanneer ze onbekende modellen tegenkomen (generalisatie buiten de verdeling).
• Gebruik van Kenmerken: De meeste state-of-the-art (SOTA) detectoren vertrouwen op Vision Transformers (ViTs) die zijn vooringesteld op grote datasets (zoals CLIP). Deze methoden verwerpen echter doorgaans de patch tokens (die lokale visuele informatie coderen) en vertrouwen uitsluitend op de cls token (een globale representatie). Dit is suboptimaal voor de detectie van AI-gegenereerde afbeeldingen (AIGI), omdat generatieve artefacten en inpainting-manipulaties zich vaak manifesteren als lokale inconsistenties in plaats van globale patronen.
• Verouderde Backbones: Veel huidige methoden gebruiken nog steeds de originele CLIP-ViT, en negeren nieuwere Vision Foundation Models (VFMs) die architecturale verbeteringen, grotere schalen en diverse vooringestelde doelen bieden.

2. Methodologie

De auteurs stellen een tweestapskader voor dat moderne VFMs combineert met een opnieuw ontworpen classifier-head.

A. Semantische Kenmerkextractie

In plaats van de originele CLIP-encoder te gebruiken, maakt de methode gebruik van bevroren Vision Foundation Models (VFMs) als backbone. De encoder verwerkt de invoerafbeelding $x$ om een kenmerkset $\mathbf{F}$ te produceren die bevat:

• De globale cls token.
• De sequentie van patch tokens ($\mathbf{f}_1, \dots, \mathbf{f}_{N-1}$), die lokale ruimtelijke details coderen.

B. Tunable Attention Pooling (TAP)

Om de volledige outputsequentie effectief te benutten, introduceren de auteurs Tunable Attention Pooling (TAP) om de standaardbenadering die alleen de cls-token gebruikt, te vervangen.

1. Leerbaar Query: Een leerbaar query-vector $\mathbf{q}$ wordt geïnitieerd.
2. Multi-Head Cross-Attention: De query richt zich op de genormaliseerde kenmerkset $\mathbf{F}$ (sleutels en waarden) via een Multi-Head Attention (MHA)-mechanisme. Dit stelt het model in staat om selectief te focussen op ruimtelijke regio's die generatieve artefacten bevatten, terwijl de globale semantiek behouden blijft.
   $$\mathbf{z} = \text{MHA}(\mathbf{q}, \text{LN}(\mathbf{F}))$$
3. Verfijning: De gepoolde representatie $\mathbf{z}$ wordt doorgegeven aan een LayerNorm en een twee-laags MLP met een residuale verbinding om een verfijnde vector $\mathbf{z}'$ te produceren.
4. Classificatie: De verfijnde vector wordt geprojecteerd naar een globaal gepoolde token ($\mathbf{g}_{pl}$). Deze $\mathbf{g}_{pl}$ wordt geconcateneerd met de originele cls token en ingevoerd in een lineaire classifier voor binaire classificatie (Echt vs. Gegenereerd/Ingepaint).

Belangrijke Ontwerpkies: De VFM-encoder blijft bevroren; alleen de TAP-laag en de uiteindelijke lineaire classifier zijn trainbaar. Dit minimaliseert parameters terwijl de kenmerkbenutting wordt gemaximaliseerd.

3. Belangrijkste Bijdragen

1. Uitgebreide VFM-benchmark: De auteurs hebben de eerste uitgebreide benchmark uitgevoerd van moderne VFMs (waaronder DINOv2/3, SIGLIP2, SAM2 en Perception Encoder) voor AIGI-detectie. Ze evalueerden verschillende modelschalen, vooringestelde doelen (contrastief, zelftoezicht) en invoerresoluties.
2. Tunable Attention Pooling (TAP): Ze stelden een lichtgewicht architecturale wijziging voor die zowel cls- als patch tokens aggregeert. Dit brengt de kenmerkruimte beter in lijn met de AIGI-taak door lokale artefacten te vangen zonder de globale context te verwerpen.
3. Nieuwe State-of-the-Art (SOTA): De combinatie van de Perception Encoder (PE-Core) en TAP vestigde nieuwe SOTA-prestaties op meerdere uitdagende benchmarks, waarbij methoden die uitsluitend vertrouwen op CLIP of cls tokens aanzienlijk werden overtroffen.

4. Experimentele Resultaten

De methode werd geëvalueerd op drie grote datasets: GenImage, Chameleon en OpenSDI (die zowel volledig gegenereerde als ingepainted afbeeldingen bevat).

• Benchmarking van VFMs:

  • Perception Encoder (PE-Core) presteerde beter dan alle andere families, waaronder CLIP, DINOv2 en SIGLIP2.
  • PE-Core-ViT-G (Large) behaalde de hoogste baseline-prestaties en overtrof de originele CLIP met een ruime marge.
  • Invloed van Resolutie: Voor modellen met vaste resolutie verbeterden hogere resoluties over het algemeen de prestaties. Voor modellen met variabele resolutie (zoals DINOv2) garandeerde het simpelweg verhogen van de resolutie echter geen betere resultaten en degradeerde het soms de prestaties.

• Invloed van TAP:

  • Het integreren van TAP leverde aanzienlijke winsten op bij alle geteste modellen.
  • GenImage: PE-Core-ViT-G + TAP behaalde 97,16% gemiddelde nauwkeurigheid, wat de vorige SOTA (OMAT) met ~2,5% en AIDE met ~10% versloeg.
  • Chameleon: De methode behaalde 95,64% nauwkeurigheid, waarmee de vorige beste (OMAT) met >29% werd overtroffen.
  • OpenSDI (Inpainting): TAP bleek bijzonder effectief voor het detecteren van ingepainted afbeeldingen (waar artefacten gelokaliseerd zijn). PE-Core-ViT-G + TAP verbeterde de gemiddelde nauwkeurigheid met ~3% ten opzichte van de cls-only baseline en overtrof DualSight met >4% in gemiddelde F1-score.

• Generalisatie: De aanpak toonde sterke zero-shot generalisatie aan onbekende generators (SD2.1, SD3, SDXL, Flux, Midjourney) wanneer deze alleen was getraind op SD1.5.

5. Betekenis

• Paradigmaverschuiving: Het paper daagt de langdurige afhankelijkheid van de cls token in AIGI-detectie uit, en demonstreert dat patch tokens cruciaal forensisch bewijs bevatten dat eerder werd genegeerd.
• Efficiëntie: Het TAP-mechanisme voegt verwaarloosbare rekenkundige overhead toe (slechts een paar trainbare parameters) terwijl het enorme prestatieverbeteringen levert, waardoor het een zeer efficiënte upgrade is voor bestaande detectiepijplijnen.
• Adoptie van Foundation Models: Het stelt vast dat nieuwere, grotere VFMs (specifiek Perception Encoder) superieur zijn aan CLIP voor forensische taken, en dringt er bij de gemeenschap op aan hun kenmerkextractie-backbones bij te werken.
• Robuustheid: De methode zet een nieuwe standaard voor het detecteren van zowel volledige afbeeldingssynthese als subtiele inpainting-manipulaties, en adresseert een kritieke behoefte aan inhoudsauthenticiteit in het tijdperk van generatieve AI.