Can Visual Mamba Improve AI-Generated Image Detection? An In-Depth Investigation

Resumen Técnico: ¿Puede Visual Mamba Mejorar la Detección de Imágenes Generadas por IA? Una Investigación en Profundidad

Enunciado del Problema
El avance rápido de la IA generativa, incluidas las Redes Generativas Antagónicas (GANs), los modelos de difusión y los Modelos Visión-Lenguaje (VLM), ha llevado a la creación de imágenes sintéticas cada vez más fotorrealistas. Aunque beneficiosas para la creación de contenido, esta tecnología plantea riesgos significativos en cuanto a desinformación, robo de identidad y violaciones de privacidad. En consecuencia, el desarrollo de mecanismos de detección robustos es crítico. Si bien las Redes Neuronales Convolucionales (CNN), los Transformadores de Visión (ViT) y los VLM han sido estudiados extensamente para esta tarea, el potencial de las arquitecturas Vision Mamba, basadas en Modelos de Espacio de Estados (SSM), sigue siendo en gran medida inexplorado. Este estudio aborda la brecha en la literatura evaluando sistemáticamente si los modelos Vision Mamba pueden detectar eficazmente imágenes generadas por IA, centrándose particularmente en su precisión, eficiencia y capacidades de generalización a través de diversas fuentes generativas.

Metodología
Los autores realizaron un estudio empírico exhaustivo que comparó tres variantes distintas de Vision Mamba contra líneas base establecidas de lo más avanzado (SOTA), incluidas CNN (ResNet, Xception), Transformadores (ViT, DeiT) y detectores basados en VLM (AntifakePrompt, Bi-LORA).

• Modelos Evaluados:
  • Vim: El primer modelo de visión basado puramente en SSM que utiliza caminos SSM bidireccionales y embebimientos posicionales.
  • MambaVision: Una arquitectura híbrida que combina CNN para características locales con un bloque Mamba rediseñado y atención automática para dependencias globales.
  • VSSD (Dualidad de Espacio de Estados Visual): Una variante no causal del modelo de Dualidad de Espacio de Estados diseñada para manejar datos de imágenes 2D sin restricciones causales, utilizando estrategias de escaneo múltiple.
• Conjuntos de Datos: Los experimentos se realizaron en tres conjuntos de datos diversos:
  • AntifakePrompt: Contiene imágenes reales de MS COCO y Flickr, e imágenes sintéticas de varios modelos de texto a imagen (SD2, SDXL, DALL-E 2, etc.) y escenarios de ataque (adversariales, puerta trasera, envenenamiento de datos).
  • Bedroom: Comprende imágenes reales de LSUN Bedroom e imágenes sintéticas generadas por modelos de difusión incondicionales y de texto a imagen (LDM, ADM, DDPM, SDv1.4, GLIDE).
  • UniversalFakeDetect: Un conjunto de datos a gran escala con imágenes reales de LSUN, ImageNet y LAION, e imágenes sintéticas de 20 modelos generativos diferentes (GANs, Difusión, DeepFakes).
• Protocolo Experimental: Los modelos se ajustaron finamente o se entrenaron desde cero en divisiones de entrenamiento específicas (por ejemplo, MS COCO vs. SD2+LaMa para AntifakePrompt) y se evaluaron en conjuntos de prueba retenidos que contenían imágenes de modelos generativos no vistos para evaluar la generalización entre generadores. El rendimiento se midió utilizando la Precisión (ACC).

Contribuciones Clave

1. Evaluación Sistemática de Vision Mamba: Este documento proporciona la primera comparación rigurosa de las arquitecturas Vision Mamba (Vim, MambaVision, VSSD) específicamente para la tarea de detección de imágenes generadas por IA.
2. Análisis Comparativo: El estudio ofrece una comparación detallada de los modelos basados en SSM frente a CNN, Transformadores y VLM a través de múltiples conjuntos de datos y fuentes generativas.
3. Identificación de Límites de Generalización: La investigación destaca una limitación crítica de los modelos actuales de Vision Mamba: aunque se desempeñan de manera competitiva cuando el entrenamiento y la prueba ocurren en la misma distribución generativa, su rendimiento se degrada significativamente cuando se aplican a generadores no vistos.
4. Perspectiva Arquitectónica: Los autores analizan las razones estructurales de estas limitaciones, atribuyéndolas a la naturaleza secuencial de los SSM, que lucha por capturar las dependencias espaciales globales y los artefactos finos necesarios para distinguir el contenido sintético en comparación con el campo receptivo global de los Transformadores.

Resultados

• Rendimiento de Generalización: Los modelos Vision Mamba mostraron caídas sustanciales en la precisión al probarse con imágenes de modelos generativos no vistos. Por ejemplo, en el conjunto de datos AntifakePrompt, mientras que modelos como VSSD alcanzaron una precisión casi perfecta en la distribución de entrenamiento (SD2), su rendimiento colapsó en modelos no vistos como SDXL (0.23%) y DALL-E 2 (14.00%).
• Comparación con SOTA:
  • VLM y Modelos Grandes: Modelos con miles de millones de parámetros, como AntifakePrompt y Bi-LORA, demostraron una generalización superior, manteniendo una alta precisión a través de diversos generadores no vistos y ataques adversariales.
  • Transformadores: Los modelos basados en atención (ViT, DeiT) mostraron una robustez moderada a fuerte, superando a menudo a los modelos Vision Mamba en escenarios entre generadores.
  • Vision Mamba: A pesar de su eficiencia computacional y menor cantidad de parámetros, los modelos Vision Mamba lograron generalmente una precisión promedio más baja (alrededor del 70%) en comparación con sus contrapartes de Transformadores y VLM (a menudo >90%). Tuvieron dificultades particularmente con modelos de difusión incondicionales (por ejemplo, ADM, DDPM) y perturbaciones adversariales.
• Visualización de Características: Las visualizaciones t-SNE revelaron que, aunque los detectores Vision Mamba podían separar imágenes reales y falsas para generadores específicos (por ejemplo, ProGAN), las distribuciones de características para generadores no vistos se superpusieron significativamente, lo que indica una falla en aprender artefactos generalizables.

Significado y Afirmaciones
El documento concluye que, aunque las arquitecturas Vision Mamba ofrecen una eficiencia y velocidad prometedoras, actualmente enfrentan obstáculos significativos en el dominio de la detección de imágenes generadas por IA. Los autores afirman que la naturaleza secuencial y causal de los SSM estándar limita su capacidad para modelar las relaciones espaciales complejas y no causales inherentes a los datos visuales, lo cual es crucial para detectar artefactos de generación sutiles.

La importancia de este trabajo radica en su evaluación honesta de las capacidades actuales de Vision Mamba. Establece que, a diferencia de los Transformadores y VLM, que aprovechan la atención global o el preentrenamiento multimodal a gran escala para lograr una generalización robusta, los modelos Vision Mamba son actualmente inadecuados para detectar imágenes generadas por IA a través de distribuciones diversas y no vistas sin modificaciones arquitectónicas sustanciales. Los autores sugieren que la investigación futura debe centrarse en arquitecturas híbridas SSM-Atención, estrategias de escaneo 2D mejoradas y componentes en el dominio de la frecuencia para cerrar esta brecha de rendimiento. El estudio sirve como una referencia de advertencia, indicando que las ganancias de eficiencia de las arquitecturas Mamba no deben perseguirse a costa de la robustez de generalización requerida para aplicaciones de seguridad en el mundo real.