TAP into the Patch Tokens: Leveraging Vision Foundation Model Features for AI-Generated Image Detection

1. Formulação do Problema

O avanço rápido da geração de imagens por IA (por exemplo, Stable Diffusion, Midjourney, Flux) criou um desafio significativo na distinção entre imagens reais e sintéticas. Os métodos de detecção existentes enfrentam dois obstáculos principais:

• Generalização: Detectores treinados em geradores específicos frequentemente falham ao encontrar modelos não vistos (generalização fora da distribuição).
• Utilização de Recursos: A maioria dos detectores mais avançados (SOTA) depende de Transformadores de Visão (ViTs) pré-treinados em grandes conjuntos de dados (como o CLIP). No entanto, esses métodos tipicamente descartam os tokens de patch (que codificam informações visuais locais) e dependem exclusivamente do token cls (uma representação global). Isso é subótimo para a detecção de imagens geradas por IA (AIGI), porque artefatos generativos e manipulações de inpainting frequentemente se manifestam como inconsistências localizadas em vez de padrões globais.
• Backbones Desatualizados: Muitos métodos atuais ainda utilizam o CLIP-ViT original, ignorando Modelos Fundamentais de Visão (VFMs) mais recentes que oferecem melhorias arquitetônicas, escalas maiores e objetivos de pré-treinamento diversos.

2. Metodologia

Os autores propõem um framework de duas etapas que combina VFMs modernos com uma cabeça de classificador redesenhada.

A. Extração de Recursos Semânticos

Em vez de usar o codificador CLIP original, o método utiliza Modelos Fundamentais de Visão (VFMs) congelados como backbone. O codificador processa a imagem de entrada $x$ para produzir um conjunto de recursos $\mathbf{F}$ contendo:

• O token global cls.
• A sequência de tokens de patch ($\mathbf{f}_1, \dots, \mathbf{f}_{N-1}$), que codificam detalhes espaciais locais.

B. Pooling de Atenção Ajustável (TAP)

Para utilizar efetivamente a sequência de saída completa, os autores introduzem o Pooling de Atenção Ajustável (TAP) para substituir a abordagem padrão baseada apenas no token cls.

1. Consulta Aprendível: Um vetor de consulta aprendível $\mathbf{q}$ é inicializado.
2. Atenção Cruzada Multi-Cabeça: A consulta atende ao conjunto de recursos normalizado $\mathbf{F}$ (chaves e valores) por meio de um mecanismo de Atenção Multi-Cabeça (MHA). Isso permite que o modelo foque seletivamente em regiões espaciais contendo artefatos generativos, preservando ao mesmo tempo a semântica global.
   $$\mathbf{z} = \text{MHA}(\mathbf{q}, \text{LN}(\mathbf{F}))$$
3. Refinamento: A representação agrupada $\mathbf{z}$ é passada por uma Normalização de Camada (LayerNorm) e um MLP de duas camadas com uma conexão residual para produzir um vetor refinado $\mathbf{z}'$.
4. Classificação: O vetor refinado é projetado para um token agrupado globalmente ($\mathbf{g}_{pl}$). Este $\mathbf{g}_{pl}$ é concatenado com o token cls original e alimentado em um classificador linear para classificação binária (Real vs. Gerado/Inpainting).

Escolha de Design Chave: O codificador VFM permanece congelado; apenas a camada TAP e o classificador linear final são treináveis. Isso minimiza os parâmetros enquanto maximiza a utilização de recursos.

3. Contribuições Principais

1. Benchmark Abrangente de VFM: Os autores conduziram o primeiro benchmark extensivo de VFMs modernos (incluindo DINOv2/3, SIGLIP2, SAM2 e Perception Encoder) para detecção de AIGI. Eles avaliaram várias escalas de modelo, objetivos de pré-treinamento (contrastivo, auto-supervisionado) e resoluções de entrada.
2. Pooling de Atenção Ajustável (TAP): Eles propuseram uma mudança arquitetônica leve que agrega tanto tokens cls quanto tokens de patch. Isso alinha melhor o espaço de recursos à tarefa de AIGI, capturando artefatos locais sem descartar o contexto global.
3. Novo Estado da Arte (SOTA): A combinação do Perception Encoder (PE-Core) e TAP estabeleceu um novo desempenho SOTA em múltiplos benchmarks desafiadores, superando significativamente métodos que dependem exclusivamente de CLIP ou tokens cls.

4. Resultados Experimentais

O método foi avaliado em três conjuntos de dados principais: GenImage, Chameleon e OpenSDI (que inclui tanto imagens totalmente geradas quanto com inpainting).

• Benchmarking de VFMs:

  • O Perception Encoder (PE-Core) superou todas as outras famílias, incluindo CLIP, DINOv2 e SIGLIP2.
  • O PE-Core-ViT-G (Grande) alcançou o melhor desempenho de linha de base, superando o CLIP original por uma ampla margem.
  • Impacto da Resolução: Para modelos de resolução fixa, resoluções mais altas geralmente melhoraram o desempenho. No entanto, para modelos de resolução variável (como DINOv2), simplesmente aumentar a resolução não garantiu melhores resultados e, às vezes, degradou o desempenho.

• Impacto do TAP:

  • A integração do TAP produziu ganhos substanciais em todos os modelos testados.
  • GenImage: PE-Core-ViT-G + TAP alcançou 97,16% de precisão média, superando o SOTA anterior (OMAT) em ~2,5% e o AIDE em ~10%.
  • Chameleon: O método alcançou 95,64% de precisão, superando o melhor anterior (OMAT) em >29%.
  • OpenSDI (Inpainting): O TAP provou ser particularmente eficaz para detectar imagens com inpainting (onde os artefatos são localizados). PE-Core-ViT-G + TAP melhorou a precisão média em ~3% sobre a linha de base apenas cls e superou o DualSight em >4% no escore F1 médio.

• Generalização: A abordagem demonstrou forte generalização zero-shot para geradores não vistos (SD2.1, SD3, SDXL, Flux, Midjourney) quando treinada apenas em SD1.5.

5. Significado

• Mudança de Paradigma: O artigo desafia a dependência de longa data no token cls na detecção de AIGI, demonstrando que tokens de patch contêm evidências forenses críticas que anteriormente eram ignoradas.
• Eficiência: O mecanismo TAP adiciona sobrecarga computacional negligenciável (apenas alguns parâmetros treináveis) enquanto entrega aumentos massivos de desempenho, tornando-o uma atualização altamente eficiente para pipelines de detecção existentes.
• Adoção de Modelos Fundamentais: Estabelece que VFMs mais recentes e maiores (especificamente o Perception Encoder) são superiores ao CLIP para tarefas forenses, instando a comunidade a atualizar seus backbones de extração de recursos.
• Robustez: O método define um novo padrão para detectar tanto síntese de imagem completa quanto manipulações sutis de inpainting, abordando uma necessidade crítica de autenticidade de conteúdo na era da IA generativa.