TAP into the Patch Tokens: Leveraging Vision Foundation Model Features for AI-Generated Image Detection

1. Enunciado del Problema

El rápido avance de la generación de imágenes mediante IA (por ejemplo, Stable Diffusion, Midjourney, Flux) ha creado un desafío significativo para distinguir entre imágenes reales y sintéticas. Los métodos de detección existentes enfrentan dos obstáculos principales:

• Generalización: Los detectores entrenados en generadores específicos a menudo fallan al encontrar modelos no vistos (generalización fuera de distribución).
• Utilización de Características: La mayoría de los detectores más avanzados (SOTA) se basan en Transformadores de Visión (ViT) preentrenados en grandes conjuntos de datos (como CLIP). Sin embargo, estos métodos típicamente descartan los tokens de parche (que codifican información visual local) y dependen únicamente del token cls (una representación global). Esto es subóptimo para la detección de imágenes generadas por IA (AIGI) porque los artefactos generativos y las manipulaciones de inpainting a menudo se manifiestan como inconsistencias localizadas en lugar de patrones globales.
• Backbones Obsoletos: Muchos métodos actuales aún utilizan el CLIP-ViT original, ignorando los Modelos Fundacionales de Visión (VFMs) más nuevos que ofrecen mejoras arquitectónicas, escalas mayores y objetivos de preentrenamiento diversos.

2. Metodología

Los autores proponen un marco de dos etapas que combina VFMs modernos con una cabeza de clasificador rediseñada.

A. Extracción de Características Semánticas

En lugar de utilizar el codificador CLIP original, el método emplea Modelos Fundacionales de Visión (VFMs) congelados como columna vertebral. El codificador procesa la imagen de entrada $x$ para producir un conjunto de características $\mathbf{F}$ que contiene:

• El token global cls.
• La secuencia de tokens de parche ($\mathbf{f}_1, \dots, \mathbf{f}_{N-1}$), que codifican detalles espaciales locales.

B. Agrupación de Atención Sintonizable (TAP)

Para utilizar eficazmente la secuencia de salida completa, los autores introducen la Agrupación de Atención Sintonizable (TAP) para reemplazar el enfoque estándar que solo usa el token cls.

1. Consulta Aprendible: Se inicializa un vector de consulta aprendible $\mathbf{q}$.
2. Atención Cruzada de Múltiples Cabezas: La consulta atiende al conjunto de características normalizado $\mathbf{F}$ (claves y valores) mediante un mecanismo de Atención de Múltiples Cabezas (MHA). Esto permite que el modelo se enfoque selectivamente en regiones espaciales que contienen artefactos generativos, preservando al mismo tiempo la semántica global.
   $$\mathbf{z} = \text{MHA}(\mathbf{q}, \text{LN}(\mathbf{F}))$$
3. Refinamiento: La representación agrupada $\mathbf{z}$ se pasa a través de una Normalización de Capa (LayerNorm) y una MLP de dos capas con una conexión residual para producir un vector refinado $\mathbf{z}'$.
4. Clasificación: El vector refinado se proyecta a un token de agrupación global ($\mathbf{g}_{pl}$). Este $\mathbf{g}_{pl}$ se concatena con el token cls original y se introduce en un clasificador lineal para la clasificación binaria (Real vs. Generado/Inpainting).

Elección de Diseño Clave: El codificador VFM permanece congelado; solo la capa TAP y el clasificador lineal final son entrenables. Esto minimiza los parámetros mientras maximiza la utilización de características.

3. Contribuciones Clave

1. Benchmark Exhaustivo de VFM: Los autores realizaron el primer benchmark extenso de VFMs modernos (incluyendo DINOv2/3, SIGLIP2, SAM2 y Perception Encoder) para la detección de AIGI. Evaluaron diversas escalas de modelos, objetivos de preentrenamiento (contrastivos, auto-supervisados) y resoluciones de entrada.
2. Agrupación de Atención Sintonizable (TAP): Proponen un cambio arquitectónico ligero que agrupa tanto los tokens cls como los tokens de parche. Esto alinea mejor el espacio de características con la tarea de AIGI al capturar artefactos locales sin descartar el contexto global.
3. Nuevo Estado del Arte (SOTA): La combinación del Perception Encoder (PE-Core) y TAP estableció un nuevo rendimiento SOTA en múltiples benchmarks desafiantes, superando significativamente a los métodos que dependen únicamente de CLIP o tokens cls.

4. Resultados Experimentales

El método se evaluó en tres conjuntos de datos principales: GenImage, Chameleon y OpenSDI (que incluye tanto imágenes completamente generadas como inpaintings).

• Evaluación de VFMs:

  • Perception Encoder (PE-Core) superó a todas las demás familias, incluyendo CLIP, DINOv2 y SIGLIP2.
  • PE-Core-ViT-G (Grande) logró el rendimiento base más alto, superando al CLIP original por un amplio margen.
  • Impacto de la Resolución: Para modelos de resolución fija, resoluciones más altas generalmente mejoraron el rendimiento. Sin embargo, para modelos de resolución variable (como DINOv2), simplemente aumentar la resolución no garantizó mejores resultados y en ocasiones degradó el rendimiento.

• Impacto de TAP:

  • La integración de TAP produjo ganancias sustanciales en todos los modelos probados.
  • GenImage: PE-Core-ViT-G + TAP logró una 97.16% de precisión media, superando al SOTA anterior (OMAT) en ~2.5% y a AIDE en ~10%.
  • Chameleon: El método logró una precisión del 95.64%, superando al mejor anterior (OMAT) en >29%.
  • OpenSDI (Inpainting): TAP demostró ser particularmente efectivo para detectar imágenes inpaint (donde los artefactos están localizados). PE-Core-ViT-G + TAP mejoró la precisión media en ~3% sobre la línea base solo cls y superó a DualSight en >4% en la puntuación F1 media.

• Generalización: El enfoque demostró una fuerte generalización cero-shot a generadores no vistos (SD2.1, SD3, SDXL, Flux, Midjourney) cuando se entrenó únicamente en SD1.5.

5. Significado

• Cambio de Paradigma: El artículo desafía la dependencia de larga data del token cls en la detección de AIGI, demostrando que los tokens de parche contienen evidencia forense crítica que previamente se ignoraba.
• Eficiencia: El mecanismo TAP añade una sobrecarga computacional negligible (solo unos pocos parámetros entrenables) mientras ofrece aumentos masivos de rendimiento, convirtiéndolo en una actualización altamente eficiente para las pipelines de detección existentes.
• Adopción de Modelos Fundacionales: Establece que los VFMs más nuevos y grandes (específicamente Perception Encoder) son superiores a CLIP para tareas forenses, instando a la comunidad a actualizar sus columnas vertebrales de extracción de características.
• Robustez: El método establece un nuevo estándar para detectar tanto la síntesis de imágenes completas como las manipulaciones sutiles de inpainting, abordando una necesidad crítica de autenticidad de contenido en la era de la IA generativa.