ImagenWorld: Stress-Testing Image Generation Models with Explainable Human Evaluation on Open-ended Real-World Tasks

1. Problema y Motivación

A pesar de los avances significativos en modelos de generación de imágenes (difusión, autoregresivos e híbridos) que permiten tareas de alta calidad como texto-a-imagen, edición y composición guiada, la evaluación actual presenta limitaciones críticas:

• Fragmentación: Los benchmarks existentes se centran en tareas aisladas (solo generación o solo edición) o dominios estrechos (arte o gráficos de texto).
• Opacidad: Las métricas actuales suelen proporcionar puntuaciones escalares sin explicar los modos de fallo, dificultando el diagnóstico de por qué un modelo falla.
• Falta de Generalización: No está claro cómo los modelos unificados modernos se desempeñan en el espectro completo de casos de uso del mundo real, especialmente en tareas complejas de edición y dominios simbólicos.

El objetivo es crear un entorno de evaluación unificado que no solo mida el rendimiento, sino que diagnostique los fallos específicos de los modelos.

2. Metodología: ImagenWorld

Los autores introducen ImagenWorld, un benchmark a gran escala diseñado para realizar pruebas de estrés a los modelos generativos.

A. Estructura del Dataset

• Escala: 3.600 conjuntos de condiciones (prompts + imágenes de referencia/fuente).
• Tareas (6 tipos): Cubre tanto la generación como la edición, con y sin referencias:
  1. Generación guiada por texto (TIG).
  2. Edición guiada por texto (TIE).
  3. Generación con una sola imagen de referencia (SRIG).
  4. Edición con una sola imagen de referencia (SRIE).
  5. Generación con múltiples imágenes de referencia (MRIG).
  6. Edición con múltiples imágenes de referencia (MRIE).
• Dominios Temáticos (6 categorías):
  1. Obras de arte (Artworks).
  2. Imágenes fotorrealistas.
  3. Gráficos de información (Information Graphics).
  4. Gráficos de texto (Textual Graphics).
  5. Gráficos por computadora (Computer Graphics).
  6. Capturas de pantalla (Screenshots).

B. Esquema de Evaluación Explicable

La innovación central es una evaluación humana estructurada que va más allá de las puntuaciones numéricas:

• Criterios de Puntuación: Se evalúan cuatro dimensiones en una escala Likert (1-5): Relevancia del Prompt, Calidad Estética, Coherencia del Contenido y Artefactos.
• Etiquetado de Errores (Explicabilidad):
  • Errores a nivel de objeto: Los anotadores identifican objetos faltantes, distorsionados o incorrectos basándose en la lista de objetos esperados.
  • Errores a nivel de segmento: Utilizando Set-of-Mark (SoM), los anotadores marcan regiones específicas de la imagen donde ocurren inconsistencias visuales o fallos técnicos.
• Validación: Se utilizaron 20.000 anotaciones humanas finas realizadas por expertos, complementadas por métricas automáticas basadas en Modelos de Lenguaje Visual (VLM) como Gemini-2.5-Flash y métricas tradicionales (CLIPScore, LPIPS).

C. Modelos Evaluados

Se evaluaron 14 modelos en total, incluyendo:

• Modelos Unificados: Capaces de realizar las 6 tareas (ej. GPT-Image-1, Gemini 2.0 Flash, BAGEL, OmniGen2).
• Modelos Especializados: Enfocados en subconjuntos de tareas (ej. SDXL, InstructPix2Pix, Flux, Qwen-Image).
• Se compararon arquitecturas de difusión, autoregresivas e híbridas.

3. Resultados Clave y Análisis

A. Rendimiento General

• Edición vs. Generación: Los modelos tienen un rendimiento significativamente peor en tareas de edición (especialmente ediciones locales) en comparación con la generación pura. El promedio de diferencia es de ~0.1 puntos.
• Dominios Simbólicos: Todos los modelos luchan con dominios que requieren precisión textual y lógica (Capturas de pantalla, Gráficos de información, Gráficos de texto), obteniendo puntuaciones cercanas a 0.55, frente a ~0.78 en arte y fotorrealismo.
• Cerrado vs. Abierto: Los sistemas de código cerrado (Closed-source) lideran consistentemente. Sin embargo, modelos de código abierto como Qwen-Image cierran la brecha en dominios densos en texto gracias a una curación de datos sintéticos específica.

B. Modos de Fallo Identificados

El análisis cualitativo reveló patrones de error recurrentes:

1. Edición: Dos modos de fallo dominantes: (i) regenerar una imagen completamente nueva ignorando la entrada, o (ii) devolver la imagen de entrada sin cambios. Esto sugiere una falta de mecanismos de control fino para modificar regiones específicas.
2. Inconsistencias Numéricas y de Texto: Errores frecuentes en gráficos (porcentajes que no suman 100), texto ilegible o corrupto, y etiquetas que apuntan a regiones incorrectas.
3. Alucinación de Referencias: En tareas con múltiples referencias, los modelos a menudo ignoran una o más referencias o colapsan en duplicados cercanos.

C. Evaluación Humana vs. VLM

• Correlación: Las métricas basadas en VLM logran una precisión de Kendall de hasta 0.79, alineándose bien con el consenso humano para la clasificación relativa (ranking).
• Limitación: Aunque los VLM son buenos para puntuaciones generales, fallan en la atribución de errores granulares. Los humanos siguen siendo indispensables para identificar y etiquetar fallos específicos (artefactos visuales, texto ilegible) que los VLM tienden a subestimar o ignorar.

4. Contribuciones Principales

1. ImagenWorld: Un benchmark unificado que cubre 6 tareas y 6 dominios, permitiendo una evaluación transversal consistente de sistemas de generación de imágenes.
2. Evaluación Explicable: Un esquema de anotación humana que no solo da una puntuación, sino que diagnostica el fallo mediante etiquetas de objetos y segmentos, revelando por qué falla un modelo.
3. Estudio de Fallos a Gran Escala: El primer estudio humano que identifica modos de fallo sistemáticos (como la incapacidad de edición local o el manejo de texto) en modelos unificados modernos.
4. Insights sobre Datos vs. Arquitectura: Demostración de que la curación de datos dirigida (como en Qwen-Image) puede superar deficiencias arquitectónicas en dominios específicos (texto), sugiriendo que el problema no es puramente arquitectónico.

5. Significado e Impacto

ImagenWorld establece un nuevo estándar para la evaluación de la generación de imágenes al:

• Desafiar la "Caja Negra": Proporciona herramientas para entender los fallos internos de los modelos, no solo su puntuación final.
• Guiar el Desarrollo Futuro: Los resultados indican que, aunque la generación ha mejorado con la escala, la edición precisa y el manejo de contenido simbólico requieren avances específicos en mecanismos de control y curación de datos.
• Herramienta Diagnóstica: Sirve como una herramienta para desarrollar sistemas multimodales más robustos, controlables y alineados con las preferencias humanas, ofreciendo datos de preferencia para el ajuste fino y la optimización.

En resumen, el artículo argumenta que para lograr un control total sobre la creación y manipulación de imágenes, la comunidad debe moverse más allá de las métricas escalares hacia evaluaciones explicables y diagnósticas que aborden las complejidades del mundo real.