CREval: An Automated Interpretable Evaluation for Creative Image Manipulation under Complex Instructions

Resumen Técnico: CREval y CREval-Bench

1. El Problema

A pesar del rápido progreso en la manipulación de imágenes basada en instrucciones multimodales, existe una carencia crítica en los métodos de evaluación actuales. Los desafíos principales identificados son:

• Falta de Marco Sistemático: Las evaluaciones existentes se centran en tareas simples (adición, eliminación o reemplazo de objetos) y no abordan adecuadamente las tareas de "edición creativa libre" bajo instrucciones complejas y detalladas.
• Limitaciones de las MLLM: Los modelos de lenguaje grandes multimodales (MLLM) actuales suelen utilizarse como evaluadores directos que asignan puntuaciones holísticas. Esto actúa como una "caja negra", careciendo de interpretabilidad, cubriendo dimensiones de evaluación de manera incompleta y a menudo ignorando detalles visuales cruciales.
• Desafíos en la Creatividad: Los modelos actuales luchan para seguir instrucciones complejas que requieren cambios de estilo, material, contexto o identidad sin perder la coherencia visual del sujeto original.

2. Metodología

El artículo propone dos componentes principales: CREval-Bench (un nuevo conjunto de datos) y CREval (un marco de evaluación automatizado).

A. CREval-Bench (El Benchmark)

• Escala: Contiene más de 800 pares de imagen-instrucción y 13,000 consultas de evaluación.
• Estructura: Organiza las tareas de edición creativa en 3 categorías principales y 9 dimensiones:
  1. Personalización (Customization): Personajes derivados, representaciones reimaginadas, fantasía surrealista.
  2. Contextualización: Escenarios en contenedores, diseño comercial, expresión narrativa/informativa.
  3. Estilización: Transformación de estilo artístico, transformación de identidad/cultural, transformación de material.
• Generación: Utiliza MLLMs (como GPT-4o) con aprendizaje few-shot para generar instrucciones creativas detalladas basadas en imágenes de alta calidad seleccionadas manualmente.

B. CREval (El Marco de Evaluación)
En lugar de pedir a un MLLM que dé una puntuación directa, CREval utiliza un enfoque basado en Preguntas y Respuestas (QA) para garantizar transparencia y exhaustividad. El proceso tiene tres etapas:

1. Generación de Instrucciones: Creación de pares imagen-instrucción para el benchmark.
2. Generación de Consultas (QA): Para cada par, se generan preguntas binarias (Sí/No) utilizando razonamiento de Cadena de Pensamiento (Chain-of-Thought, CoT). Estas preguntas se dividen en tres métricas:
   • Seguimiento de Instrucciones (IF): ¿Se han realizado los cambios solicitados?
   • Consistencia Visual (VC): ¿Se han preservado los elementos clave de la imagen original (identidad, características distintivas)? Se asignan pesos (1-3) según la importancia del elemento.
   • Calidad Visual (VQ): ¿La imagen resultante es realista, libre de artefactos y estructuralmente coherente?
3. Evaluación Automatizada: Un MLLM (ej. GPT-4o) actúa como evaluador. Se le presentan la imagen original, la imagen editada y las preguntas generadas. Si la respuesta del modelo coincide con la respuesta de referencia ("Sí"), se otorga la puntuación.

Fórmula de Puntuación Final:
La puntuación total ($S$) es un promedio ponderado:
$$S = 0.4 \times S_{IF} + 0.4 \times S_{VC} + 0.2 \times S_{VQ}$$
Nota: Se asigna menos peso a la Calidad Visual (VQ) debido a la sensibilidad limitada de los MLLMs actuales para detectar artefactos sutiles, mientras que IF y VC son más discriminativos.

3. Contribuciones Clave

1. CREval: Un marco de evaluación totalmente automatizado e interpretable basado en QA que supera las limitaciones de las puntuaciones de "caja negra" de los MLLM.
2. CREval-Bench: El primer benchmark integral diseñado específicamente para evaluar la manipulación creativa bajo instrucciones complejas, cubriendo 9 dimensiones creativas.
3. Evaluación Exhaustiva: Un análisis extenso de modelos de código abierto y cerrado, revelando sus fortalezas y debilidades específicas en tareas creativas.
4. Validación Humana: Estudios demuestran una fuerte correlación entre las métricas automatizadas de CREval y las preferencias humanas, validando la fiabilidad del sistema.

4. Resultados Principales

Se evaluaron modelos de código abierto (como Qwen-Image-Edit, FLUX.1, Bagel) y cerrados (Seedream 4.0, GPT-Image-1, Gemini 2.5 Flash Image).

• Rendimiento General: Los modelos de código cerrado generalmente superan a los de código abierto en tareas complejas, pero ningún modelo domina completamente. Todos luchan significativamente con la Consistencia Visual (VC), a menudo perdiendo elementos clave del sujeto original.
• Líderes:
  • Seedream 4.0 obtuvo el mejor rendimiento general, equilibrando bien IF, VC y VQ.
  • Qwen-Image-Edit-2509 (código abierto) se posicionó segundo, superando a GPT-Image-1 en rendimiento agregado.
  • GPT-Image-1 mostró un alto seguimiento de instrucciones (IF) pero un rendimiento deficiente en consistencia visual (VC), lo que indica dificultades para mantener la identidad del sujeto.
• Hallazgos Específicos:
  • Los modelos tienden a fallar en tareas de "Fantasía Surrealista" y "Transformación de Identidad", donde la preservación de características clave es difícil.
  • La métrica de Calidad Visual (VQ) es alta en casi todos los modelos, lo que sugiere que los MLLM evaluadores a menudo pasan por alto artefactos visuales sutiles (dedos extra, texturas extrañas).

5. Significado e Impacto

• Nuevo Estándar: CREval establece una base sólida y objetiva para la evaluación de modelos de edición de imágenes en escenarios creativos complejos, llenando un vacío en la investigación actual.
• Interpretabilidad: Al desglosar la evaluación en preguntas específicas, permite a los investigadores entender por qué un modelo falla (ej. ¿no siguió la instrucción o perdió la identidad?), en lugar de solo recibir una puntuación numérica.
• Dirección Futura: Los resultados señalan que, aunque los modelos de código cerrado lideran, el rápido progreso de los modelos de código abierto sugiere que la brecha se cerrará pronto. Además, destaca la necesidad urgente de mejorar la capacidad de los modelos para preservar la consistencia visual (VC) en ediciones creativas.

En conclusión, el trabajo proporciona tanto la herramienta (CREval) como el terreno de pruebas (CREval-Bench) necesarios para guiar el desarrollo futuro de sistemas de manipulación de imágenes más inteligentes, fieles y creativos.