Resumen Técnico: PAINTBENCH

Planteamiento del Problema

Si bien los modelos multimodales actuales demuestran competencia en la edición visual abierta y subjetiva (por ejemplo, "haz que el cielo sea más azul"), tienen dificultades con las tareas de edición visual precisas de respuesta única. Los benchmarks existentes para la edición de imágenes dependen en gran medida del juicio humano, la puntuación de modelos de lenguaje-visión (VLM) o métricas perceptuales (por ejemplo, SSIM, LPIPS, FID). Estos enfoques no son adecuados para tareas con verdades fundamentales deterministas, ya que introducen sesgos y no logran verificar la exactitud absoluta. El artículo identifica una brecha en la evaluación de si los modelos pueden ejecutar operaciones de ráster exactas —como mover una forma 50 píxeles, realizar un relleno de color en una región específica o eliminar una instancia específica— donde existe un único resultado correcto.

Metodología

PAINTBENCH: Un Benchmark Determinista

Los autores presentan PAINTBENCH, un benchmark generado procedimentalmente diseñado para evaluar 20 operaciones fundamentales de edición visual precisa a través de cuatro categorías:

1. Transformación Geométrica: Traslación, rotación, reflexión, escalado, cizallamiento.
2. Manipulación Estructural: Construcción, eliminación, copia, borde, recorte.
3. Cambio de Color: Recoloración, relleno de color (flood fill), mezcla, degradado, operaciones de punto.
4. Razonamiento Simbólico: Comparación, ordenación, patrón, conteo, leyenda.

Generación y Diseño:

• Generación Procedimental: Los problemas se generan a partir de semillas aleatorias con parámetros configurables (dimensiones del lienzo, recuento de objetos, textura de fondo, paleta de colores). Esto crea un conjunto de evaluación prácticamente infinito y resistente a la contaminación.
• Verdad Fundamental Determinista: Cada problema consiste en una imagen de entrada, una instrucción en lenguaje natural y una imagen de respuesta única generada mediante una transformación determinista $A = f(I, t)$.
• Condiciones Visuales: Para probar la robustez, cada tarea se evalúa bajo ocho condiciones visuales, variando un parámetro a la vez (por ejemplo, fondos rayados frente a sólidos, recuento de objetos de 3 a 60, paletas de colores no estándar).

Protocolo de Evaluación:

• Comparación a Nivel de Píxel: La evaluación evita por completo los "modelos jueces". En su lugar, compara la salida del modelo $\hat{A}$ contra la verdad fundamental $A$ y la entrada $I$ a nivel de píxel.
• Distancia de Color: La corrección por píxel se mide utilizando $\Delta E^*_{76}$ (distancia euclidiana en el espacio CIE Lab*). Un píxel se considera correcto si la distancia está dentro de una tolerancia $t \in \{0, \dots, 10\}$.
• Métricas:
  • IoU@t: El índice de Jaccard aplicado a la corrección de píxeles, que penaliza conjuntamente el fallo al editar (píxeles editados incorrectamente) y la corrupción de la región de preservación (píxeles preservados incorrectamente).
  • mIoU (IoU Medio): La métrica de resumen principal, que promedia el IoU@t a través de 11 tolerancias de color ($t=0$ a $10$) y todos los problemas. Esto captura el rendimiento a través de todo el espectro de precisión de color.

TINYGRAFIXBENCH

Para probar la generalización más allá de las formas sintéticas, los autores presentan TINYGRAFIXBENCH, un benchmark complementario para la edición de visualización de datos. Este aplica el mismo marco procedimental y determinista a cinco tipos de gráficos (barras, dispersión, líneas, mapa de calor, red) con 600 problemas.

Resultados Clave

Rendimiento General

A través de 11 modelos evaluados (que abarcan generadores multimodales nativos, editores de difusión y editores de flujo de emparejamiento), el rendimiento es extremadamente bajo:

• El modelo con mejor desempeño (NANO-BANANA-2) logra solo un 17.1% de mIoU.
• El segundo mejor (GPT-IMAGE-2) obtiene un 16.3%.
• Los modelos de pesos abiertos generalmente puntúan más bajo, con algunos (por ejemplo, HUNYUANIMAGE-3.0, INSTRUCTPIX2PIX) puntuando cerca de 0% en muchas tareas.

Dificultad de la Tarea y Especialización

• Tareas más Difíciles: Las transformaciones geométricas (especialmente el cizallamiento y el escalado), los cambios de color basados en fórmulas (degradados, mezclas) y la mayoría de las manipulaciones estructurales son consistentemente difíciles para todos los modelos.
• Tareas más Fáciles: La eliminación y las operaciones de un solo color (recoloración, relleno de color) son más tratables pero siguen estando lejos de resolverse (por ejemplo, la Eliminación alcanza aproximadamente el 50% para el mejor modelo).
• Especialización de los Modelos: Los modelos exhiben fortalezas distintas. Por ejemplo, GPT-IMAGE-2 destaca en tareas geométricas y estructurales, mientras que NANO-BANANA-2 lidera en cambios de color y razonamiento simbólico. Notablemente, NANO-BANANA-2 puntúa un 47.1% en tareas de "Leyenda" comparado con el 19.4% de GPT-IMAGE-2.

Sensibilidad a la Variación de la Escena

Los modelos son altamente frágiles ante las variaciones de la escena:

• Fondos Rayados: Causan caídas significativas en el mIoU (por ejemplo, -11.1% para NANO-BANANA-2).
• Altos Recuentos de Objetos: El rendimiento se degrada linealmente a medida que aumenta el número de objetos (por ejemplo, una caída de -11.9% para NANO-BANANA-2 al pasar de 3 a 60 objetos).
• Colores No Estándar: Aunque los mIoU principales parecen estables, la precisión de coincidencia exacta de píxeles ($\Delta E^*_{76} = 0$) colapsa para paletas no estándar, lo que indica que los modelos luchan por reproducir colores específicos y no estándar con precisión.
• Tamaño de la Región de Edición: Los modelos sobre-editan significativamente en relación con la región objetivo. Para regiones de edición pequeñas (< 32² píxeles), los modelos cambian entre 50 y 1,400 veces más píxeles de los requeridos, lo que provoca descensos bruscos en el rendimiento.

Generalización

Existe una fuerte correlación lineal ($R^2 = 0.91, p < 0.001$) entre las puntuaciones de PAINTBENCH y TINYGRAFIXBENCH. Esto sugiere que los benchmarks sintéticos de PAINTBENCH capturan capacidades fundamentales que se generalizan a las tareas aplicadas de edición de visualización de datos.

Significado y Reivindicaciones

El artículo afirma que PAINTBENCH proporciona una base riguroosa y libre de sesgos para medir el progreso en la edición visual precisa y multimodal. Al pasar de la evaluación subjetiva y abierta a la verificación determinista a nivel de píxel, el benchmark revela que los modelos de vanguardia actuales son fundamentalmente incapaces de ejecutar operaciones de ráster básicas con alta precisión.

Los autores enfatizan que:

1. Los modelos actuales no están "resueltos" para la edición precisa: Incluso los mejores modelos fallan en la mayoría de las tareas, particularmente aquellas que requieren precisión geométrica o lógica de color compleja.
2. La evaluación debe ser específica de la tarea: Los rankings agregados ocultan especializaciones y modos de fallo significativos (por ejemplo, imprecisión de color frente a omisión estructural).
3. La generación procedimental es esencial: Los benchmarks estáticos son propensos a la contaminación; la generación dinámica permite estudios de ablación controlados de las variaciones de la escena (fondos, recuento de objetos, colores).
4. El marco es extensible: El enfoque utilizado para PAINTBENCH y TINYGRAFIXBENCH puede aplicarse a otros dominios con salidas correctas únicas, como la visualización científica, el dibujo de ingeniería y la manipulación de escenas 3D.

El artículo concluye que, si bien la generación abierta ha avanzado, la capacidad de realizar ediciones visuales exactas y deterministas sigue siendo un desafío crítico y no resuelto en la IA multimodal.