Resumen Técnico: GenSyn10

Declaración del Problema

El rápido avance de la IA generativa ha superado el desarrollo de mecanismos de detección fiables. Un desafío central en la detección de imágenes generadas por IA es el problema de desplazamiento de generadores fuera de la distribución (OOD): los detectores entrenados en generadores específicos (por ejemplo, Stable Diffusion v1.4) suelen fallar al generalizarse a los resultados de generadores no vistos y arquitectónicamente distintos. Los benchmarks existentes, como CIFAKE, dependen de conjuntos de datos de un solo generador desactualizados o carecen de protocolos de generación estandarizados, lo que impide una evaluación controlada de la generalización entre generadores. Además, los benchmarks actuales a menudo no incluyen imágenes de la última generación de modelos de código abierto, dejando un vacío en la comprensión de cómo funcionan los detectores frente a paradigmas arquitectónicos modernos como los Rectified Flow Transformers, Mixture-of-Experts (MoE) y Multimodal Diffusion Transformers.

Metodología

Construcción del Conjunto de Datos: GenSyn10

Los autores presentan GenSyn10, un conjunto de datos de imágenes sintéticas alineado con la estructura de CIFAR-10 (10 clases, resolución de 32×32, 60,000 imágenes en total).

• Generadores: Las imágenes se generan utilizando tres modelos de código abierto de vanguardia que representan distintas familias arquitectónicas:
  1. FLUX.2-dev: Utiliza un Rectified Flow Transformer.
  2. HunyuanImage-3.0: Emplea una arquitectura de Mixture-of-Experts (MoE) autorregresiva.
  3. Qwen-Image-2512: Combina un Multimodal Diffusion Transformer (MMDiT) con un modelo de visión-lenguaje Qwen2.5-VL congelado.
• Ingeniería de Prompts: Un motor de prompts combinatorio basado en plantillas genera más de 100,000 combinaciones de prompts únicas por clase. Los prompts están estructurados a través de seis ranuras (Instancia, Escena, Vista, Iluminación, Acción, Apertura) e incluyen niveles de dificultad "Clean" (Limpio) y "Hard" (Difícil) (introduciendo oclusiones, desenfoque de movimiento, etc.).
• Estandarización: Todas las imágenes se generan a una resolución de 512×512 y se reducen a 32×32 mediante el remuestreo Lanczos para asegurar la consistencia.
• Protocolo OOD: Para evaluar la generalización, se utiliza Stable Diffusion 3.5 Large como un generador excluido (held-out). Este se excluye del conjunto de entrenamiento pero se utiliza para generar un conjunto de prueba separado para la evaluación OOD, asegurando que las caídas de rendimiento sean atribuibles a cambios arquitectónicos y no a variaciones en el prompt o la resolución.

Protocolo de Benchmark

El artículo evalúa 17 arquitecturas de clasificación a través de siete familias de modelos (incluyendo VGG, ResNet, DenseNet, EfficientNet, ViT, Swin y ConvNeXt) utilizando un protocolo de evaluación de cuatro etapas:

1. Línea Base (S1): Evaluación de modelos inicializados con CIFAR-10 en el conjunto de prueba de CIFAR-10.
2. Transferencia Zero-Shot (S2): Evaluación de los mismos modelos en el conjunto de prueba de GenSyn10 sin ajuste fino (fine-tuning).
3. Retención (S3): Ajuste fino en GenSyn10 seguido de la evaluación en el conjunto de prueba de CIFAR-10 para medir el olvido catastrófico.
4. Adaptación (S4): Ajuste fino en GenSyn10 seguido de la evaluación en el conjunto de prueba de GenSyn10.

Además, se realiza una tarea de clasificación binaria real-vs-sintético. Los modelos se entrenan para distinguir imágenes reales de CIFAR-10 de imágenes sintéticas de GenSyn10 (In-Distribution) y luego se prueban en imágenes sintéticas de Stable Diffusion 3.5 Large (Out-of-Distribution).

Contribuciones Clave

1. Benchmark Multi-Generador: GenSyn10 es el primer conjunto de datos equivalente a CIFAR-10 que incluye imágenes de FLUX.2-dev, HunyuanImage-3.0 y Qwen-Image-2512, cubriendo familias generativas distintas ausentes en benchmarks previos.
2. Gramática de Prompts Combinatoria: Un sistema estandarizado basado en plantillas que garantiza una generación diversa y reproducible con dificultad controlable, eliminando los sesgos de contenido del prompt.
3. Benchmark Exhaustivo de Clasificadores: Una evaluación sistemática de 17 arquitecturas bajo un protocolo de cuatro etapas, estableciendo líneas base de rendimiento para imágenes sintéticas de la generación actual.
4. Diagnóstico Sistemático de OOD: Una configuración experimental controlada utilizando un generador excluido para cuantificar la vulnerabilidad de los detectores ante arquitecturas no vistas, demostrando que el sesgo inductivo arquitectónico es un determinante primario de la resiliencia OOD.

Resultados

Rendimiento Zero-Shot y de Ajuste Fino (Fine-Tuning)

• Transferencia Zero-Shot: Los modelos entrenados con CIFAR-10 demostraron una alta transferibilidad semántica a GenSyn10. El mejor modelo (Swin-Base) alcanzó una precisión zero-shot del 96.86%, mientras que el más débil (MNASNet-1.0) alcanzó un 74.32%.
• Adaptación por Ajuste Fino: Tras el ajuste fino en GenSyn10, casi todos los modelos superaron el 98.5% de precisión, con ConvNeXt-Base alcanzando el 99.88%.
• Retención: Los modelos basados en Transformers (ViT, Swin) exhibieron una retención superior del conocimiento original de CIFAR-10 (por ejemplo, ViT-Base/16 retuvo un 95.12% de precisión) en comparación con los CNN clásicos, que sufrieron un olvido significativo (por ejemplo, ResNet-50 cayó al 52.02%).

Clasificación Binaria Real-vs-Sintético

• In-Distribution (ID): Los modelos alcanzaron un rendimiento cercano a la saturación en el conjunto de prueba de GenSyn10, con Swin-Base alcanzando un 99.94% de precisión.
• Out-of-Distribution (OOD): Cuando se probaron en el generador excluido Stable Diffusion 3.5 Large, todos los modelos experimentaron caídas de precisión de entre 3.80 y 18.15 puntos porcentuales.
  • ViT-Base/16 demostró la mayor robustez OOD, con la menor caída de precisión (−3.80%) y la mayor precisión OOD (96.08%).
  • ConvNeXtV2-Base sufrió la mayor caída (−18.15%).
• Análisis: La degradación del rendimiento fue impulsada principalmente por una caída en la exhaustividad sintética (synthetic recall) (clasificar erróneamente imágenes sintéticas no vistas como reales), mientras que la especificidad se mantuvo alta. Los puntajes AUC altos (cercanos a 1.0) persistieron incluso con las caídas de precisión, lo que sugiere que, aunque el rendimiento umbralizado se degrada, los modelos mantienen cierta capacidad para clasificar muestras como sintéticas vs. reales.

Significado y Reivindicaciones

El artículo posiciona a GenSyn10 como un benchmark controlado para abordar el problema del "desplazamiento de generadores OOD", identificado como un desafío abierto central en el campo. Los autores afirman que:

• El Sesgo Arquitectónico Importa: Los resultados sugieren que el sesgo inductivo arquitectónico (específicamente la auto-atención global de los transformers) es un factor más significativo para la resiliencia OOD que la capacidad del modelo por sí sola.
• Límites de la Generalización: El alto rendimiento en generadores conocidos no garantiza la robustez contra arquitecturas no vistas, lo que resalta una vulnerabilidad persistente en los métodos de detección actuales.
• Estandarización: Al proporcionar un conjunto de datos multi-generador estandarizado con un protocolo de evaluación excluido, GenSyn10 permite una investigación fundamentada sobre la adaptación de dominio y la generalización entre generadores, yendo más allá de los benchmarks de un solo generador que pueden sobreajustarse a firmas de artefactos específicos.

Los autores señalan limitaciones, incluyendo la exclusión de ciertos paradigmas (por ejemplo, GANs, modelos de consistencia) y la dependencia de la inspección manual para errores de generación, pero enfatizan la extensibilidad del conjunto de datos para futuras actualizaciones a medida que evolucionan los modelos generativos.