Intermediate Representations are Strong AI-Generated Image Detectors

Resumen Técnico: Las Representaciones Intermedias Son Detectores Fuertes de Imágenes Generadas por IA

Enunciado del Problema
El avance rápido de los modelos de IA generativa (por ejemplo, GANs, VAEs, modelos de Difusión) ha permitido la creación de imágenes sintéticas fotorrealistas, generando preocupaciones significativas sobre su mal uso, los deepfakes, las violaciones de derechos de autor y la posible corrupción de futuros conjuntos de datos de entrenamiento. Aunque la detección efectiva es crítica, las soluciones actuales enfrentan una dicotomía: los métodos basados en entrenamiento son computacionalmente costosos y luchan para generalizar a dominios de datos no vistos, mientras que los métodos sin entrenamiento a menudo sufren un rendimiento de detección inferior. Los enfoques existentes sin entrenamiento dependen típicamente de las incrustaciones (embeddings) de la capa de salida (final) de modelos fundacionales preentrenados, pasando por alto potencialmente características más discriminativas disponibles en etapas anteriores de la red.

Metodología
Los autores proponen un marco de detección basado en búsqueda y sin entrenamiento que aprovecha la sensibilidad de las representaciones intermedias dentro de modelos fundacionales de imágenes preentrenados. La hipótesis central es que el espacio de incrustaciones de imágenes reales es más robusto a las perturbaciones que el de las imágenes generadas por IA, y que esta brecha de robustez es más pronunciada en las capas intermedias que en la capa de salida final.

El método opera en dos etapas:

1. Etapa de Entrenamiento/Búsqueda: Se alimenta al extractor de características preentrenado congelado (por ejemplo, CLIP o DINOv2) un par de imágenes: una imagen original ($x$) y una versión perturbada ($\epsilon(x)$). La perturbación utilizada es el desenfoque por defocus, que preserva las estructuras semánticas globales mientras atenúa los detalles de grano fino. El sistema calcula la similitud coseno entre las incrustaciones de las imágenes original y perturbada a través de todas las capas ($\ell = 1$ a $L$). Utilizando un subconjunto pequeño de datos de entrenamiento etiquetados, el algoritmo busca la capa intermedia óptima ($\ell_{opt}$) que maximiza la puntuación AUROC para distinguir entre pares de imágenes reales y falsas.
2. Etapa de Inferencia: Una vez identificada $\ell_{opt}$, el detector utiliza únicamente las incrustaciones de esta capa intermedia específica para todas las predicciones futuras. Se realiza una clasificación binaria basada en un umbral de similitud $\tau$: si la similitud coseno $S(x, \epsilon(x), \ell_{opt}) < \tau$, la imagen se clasifica como generada por IA.

Crucialmente, los pesos subyacentes del modelo y la arquitectura permanecen congelados durante todo el proceso; no se produce ningún ajuste fino ni modificación de pesos. El "entrenamiento" se limita estrictamente a la búsqueda del índice de la capa óptima.

Contribuciones Clave

• Superioridad de la Capa Intermedia: El artículo demuestra que las capas intermedias contienen representaciones más ricas y expresivas para detectar contenido generado por IA en comparación con la capa de salida final. Esto se respalda mediante un análisis de Dimensión Intrínseca (ID), que revela una forma de "joroba" en la ID a través de la profundidad de la red (expansión en las capas tempranas, compresión en las capas posteriores). Los autores argumentan que las dimensiones comprimidas en la capa final, aunque útiles para tareas posteriores como la clasificación, pueden descartar las sutiles matices necesarios para distinguir imágenes reales de sintéticas.
• Marco Basado en Búsqueda: Los autores introducen un pipeline simple pero efectivo que identifica la capa de detección óptima sin modificar el modelo fundacional, cerrando la brecha entre la generalización de los métodos sin entrenamiento y el rendimiento de los métodos basados en entrenamiento.
• Sensibilidad a la Perturbación: El método explota la robustez diferencial de los espacios de incrustaciones ante el desenfoque por defocus, mostrando que las incrustaciones de imágenes reales mantienen una mayor similitud bajo perturbación en comparación con las incrustaciones generadas por IA en profundidades intermedias específicas.

Resultados Experimentales
El método fue evaluado en dos conjuntos de referencia integrales: GenImage y Forensics Small.

• Conjunto de Referencia GenImage: El método propuesto logró un AUROC promedio de 0.9296, superando a la mejor línea base sin entrenamiento (RIGID, 0.8128) en un 14.37% y a la mejor línea base basada en entrenamiento (AIDE, 0.8992) en un 3.38%.
• Conjunto de Referencia Forensics Small: El método demostró ganancias significativas, logrando un AUROC promedio de 0.8906. Esto representa una mejora del 39.61% sobre el mejor método sin entrenamiento (RIGID, 0.6379) y una mejora del 5.14% sobre el mejor método basado en entrenamiento (NPR, 0.8471).
• Estudios de Ablación:
  • Extractores de Características: El uso de CLIP produjo resultados superiores en comparación con DINOv2, atribuido a la mayor dimensión intrínseca de CLIP en las capas intermedias.
  • Tipos de Perturbación: El desenfoque por defocus demostró ser la perturbación más efectiva, probablemente porque preserva la estructura global mientras elimina las texturas finas donde a menudo residen los artefactos de falsificación.
  • Tamaño de los Datos de Búsqueda: Un subconjunto muestreado aleatoriamente de los datos de entrenamiento (el 30% del tamaño del conjunto de prueba) fue suficiente para identificar la capa óptima, manteniéndose el rendimiento estable incluso con subconjuntos más pequeños.

Significado y Afirmaciones
El artículo afirma que las incrustaciones de salida comúnmente utilizadas de los modelos fundacionales son subóptimas para la detección de imágenes generadas por IA. Al cambiar el enfoque hacia las representaciones intermedias, los autores proporcionan un método que es tanto computacionalmente eficiente (sin ajuste fino del modelo) como altamente efectivo (superando a los métodos basados en entrenamiento de última generación).

Los autores posicionan este trabajo como un paso hacia una forense de medios confiable que pueda escalar con los futuros modelos fundacionales de imágenes. Enfatizan que su enfoque no genera contenido dañino, sino que proporciona una herramienta para mitigar los riesgos asociados con la IA generativa, como la violación de derechos de autor y la propagación de contenido falso. El trabajo sugiere que la "versatilidad" de las representaciones intermedias es un recurso previamente subutilizado para aplicaciones de seguridad en la IA generativa.