TAP into the Patch Tokens: Leveraging Vision Foundation Model Features for AI-Generated Image Detection

1. Enunciato del Problema

Il rapido avanzamento della generazione di immagini tramite IA (ad esempio, Stable Diffusion, Midjourney, Flux) ha creato una sfida significativa nel distinguere tra immagini reali e sintetiche. I metodi di rilevamento esistenti affrontano due ostacoli principali:

• Generalizzazione: I rilevatori addestrati su generatori specifici spesso falliscono quando incontrano modelli non visti (generalizzazione fuori distribuzione).
• Utilizzo delle Caratteristiche: La maggior parte dei rilevatori all'avanguardia (SOTA) si basa su Vision Transformers (ViT) preaddestrati su grandi dataset (come CLIP). Tuttavia, questi metodi tipicamente scartano i patch tokens (che codificano informazioni visive locali) e si affidano esclusivamente al token cls (una rappresentazione globale). Questo è subottimale per il rilevamento di immagini generate dall'IA (AIGI) perché gli artefatti generativi e le manipolazioni di inpainting si manifestano spesso come inconsistenze localizzate piuttosto che come pattern globali.
• Backbone Obsoleti: Molti metodi attuali utilizzano ancora il CLIP-ViT originale, ignorando i nuovi Modelli Fondamentali Visivi (VFMs) che offrono miglioramenti architetturali, scale più ampie e obiettivi di preaddestramento diversificati.

2. Metodologia

Gli autori propongono un framework a due stadi che combina moderni VFMs con una testina di classificazione ridisegnata.

A. Estrazione di Caratteristiche Semantiche

Invece di utilizzare il codificatore CLIP originale, il metodo utilizza Vision Foundation Models (VFMs) congelati come backbone. Il codificatore elabora l'immagine di input $x$ per produrre un insieme di caratteristiche $\mathbf{F}$ contenente:

• Il token globale cls.
• La sequenza di patch tokens ($\mathbf{f}_1, \dots, \mathbf{f}_{N-1}$), che codificano dettagli spaziali locali.

B. Tunable Attention Pooling (TAP)

Per utilizzare efficacemente l'intera sequenza di output, gli autori introducono il Tunable Attention Pooling (TAP) per sostituire l'approccio standard basato solo sul token cls.

1. Query Apprendibile: Viene inizializzato un vettore di query apprendibile $\mathbf{q}$.
2. Cross-Attention Multi-Head: La query si focalizza sull'insieme di caratteristiche normalizzato $\mathbf{F}$ (chiavi e valori) tramite un meccanismo Multi-Head Attention (MHA). Ciò permette al modello di concentrarsi selettivamente sulle regioni spaziali contenenti artefatti generativi, preservando al contempo la semantica globale.
   $$\mathbf{z} = \text{MHA}(\mathbf{q}, \text{LN}(\mathbf{F}))$$
3. Raffinamento: La rappresentazione aggregata $\mathbf{z}$ viene passata attraverso un LayerNorm e un MLP a due livelli con una connessione residua per produrre un vettore raffinato $\mathbf{z}'$.
4. Classificazione: Il vettore raffinato viene proiettato in un token aggregato globale ($\mathbf{g}_{pl}$). Questo $\mathbf{g}_{pl}$ viene concatenato con il token cls originale e immesso in un classificatore lineare per la classificazione binaria (Reale vs Generato/Inpaintato).

Scelta Progettuale Chiave: Il codificatore VFM rimane congelato; solo il layer TAP e il classificatore lineare finale sono addestrabili. Questo minimizza i parametri massimizzando al contempo l'utilizzo delle caratteristiche.

3. Contributi Chiave

1. Benchmark Completo sui VFM: Gli autori hanno condotto il primo ampio benchmark di moderni VFMs (inclusi DINOv2/3, SIGLIP2, SAM2 e Perception Encoder) per il rilevamento AIGI. Hanno valutato varie scale di modello, obiettivi di preaddestramento (contrastivi, auto-supervisionati) e risoluzioni di input.
2. Tunable Attention Pooling (TAP): Hanno proposto una modifica architetturale leggera che aggrega sia i token cls che i patch tokens. Questo allinea meglio lo spazio delle caratteristiche al compito AIGI catturando gli artefatti locali senza scartare il contesto globale.
3. Nuovo Stato dell'Arte (SOTA): La combinazione del Perception Encoder (PE-Core) e del TAP ha stabilito nuove prestazioni SOTA su molteplici benchmark sfidanti, superando significativamente i metodi che si affidano esclusivamente a CLIP o ai token cls.

4. Risultati Sperimentali

Il metodo è stato valutato su tre principali dataset: GenImage, Chameleon e OpenSDI (che include sia immagini completamente generate che inpainted).

• Benchmarking dei VFM:

  • Il Perception Encoder (PE-Core) ha superato tutte le altre famiglie, inclusi CLIP, DINOv2 e SIGLIP2.
  • PE-Core-ViT-G (Large) ha raggiunto le prestazioni di base più elevate, superando il CLIP originale con un ampio margine.
  • Impatto della Risoluzione: Per modelli a risoluzione fissa, risoluzioni più elevate hanno generalmente migliorato le prestazioni. Tuttavia, per modelli a risoluzione variabile (come DINOv2), aumentare semplicemente la risoluzione non ha garantito risultati migliori e talvolta ha degradato le prestazioni.

• Impatto del TAP:

  • L'integrazione del TAP ha prodotto guadagni sostanziali su tutti i modelli testati.
  • GenImage: PE-Core-ViT-G + TAP ha raggiunto una accuratezza media del 97,16%, battendo il precedente SOTA (OMAT) di circa il 2,5% e AIDE di circa il 10%.
  • Chameleon: Il metodo ha raggiunto un'accuratezza del 95,64%, superando il miglior precedente (OMAT) di >29%.
  • OpenSDI (Inpainting): Il TAP si è rivelato particolarmente efficace per il rilevamento di immagini inpainted (dove gli artefatti sono localizzati). PE-Core-ViT-G + TAP ha migliorato l'accuratezza media di ~3% rispetto alla baseline basata solo su cls e ha superato DualSight di >4% nel punteggio medio F1.

• Generalizzazione: L'approccio ha dimostrato una forte generalizzazione zero-shot verso generatori non visti (SD2.1, SD3, SDXL, Flux, Midjourney) quando addestrato solo su SD1.5.

5. Significato

• Cambiamento di Paradigma: Il paper sfida la lunga dipendenza dal token cls nel rilevamento AIGI, dimostrando che i patch tokens contengono prove forensi critiche che erano state precedentemente ignorate.
• Efficienza: Il meccanismo TAP aggiunge un sovraccarico computazionale trascurabile (solo pochi parametri addestrabili) mentre offre enormi miglioramenti delle prestazioni, rendendolo un aggiornamento altamente efficiente per le pipeline di rilevamento esistenti.
• Adozione dei Modelli Fondamentali: Stabilisce che i nuovi VFMs più grandi (in particolare il Perception Encoder) sono superiori a CLIP per compiti forensi, invitando la comunità ad aggiornare i propri backbone di estrazione delle caratteristiche.
• Robustezza: Il metodo stabilisce un nuovo standard per il rilevamento sia della sintesi di immagini complete che delle manipolazioni sottili di inpainting, affrontando un bisogno critico di autenticità dei contenuti nell'era dell'IA generativa.