Resumen Técnico: Edit-Compass y EditReward-Compass

Declaración del Problema

Los modelos recientes de edición de imágenes han avanzado significativamente en la seguimiento de instrucciones, la comprensión multimodal y la manipulación visual compleja. Sin embargo, el campo enfrenta dos brechas críticas de evaluación:

1. Benchmarks de Edición de Imágenes: Los benchmarks existentes a menudo no reflejan fielmente el juicio humano, particularmente para modelos de vanguardia. Esto se atribuye a una dificultad de tarea insuficiente y a protocolos de evaluación de grano grueso que no pueden distinguir diferencias sutiles en las capacidades. Además, muchos benchmarks dependen de métricas automatizadas o de prompts simples de MLLM que carecen de alineación con el razonamiento humano en escenarios complejos.
2. Benchmarks de Modelado de Recompensa: A medida que el aprendizaje por refuerzo (RL) se vuelve central para optimizar la edición de imágenes, la evaluación fiable de los modelos de recompensa es crucial. Los benchmarks actuales de modelos de recompensa sufren de desajustes de distribución; a menudo evalúan modelos en comparaciones estáticas entre modelos, en lugar de simular las distribuciones realistas de candidatos dentro del mismo modelo encontradas durante la optimización de RL (por ejemplo, escenarios FlowGRPO).

Metodología

Los autores introducen una suite de evaluación unificada que comprende Edit-Compass (para modelos de edición de imágenes) y EditReward-Compass (para modelos de recompensa).

1. Edit-Compass (Benchmark de Edición de Imágenes)

• Escala y Alcance: Contiene 2.388 instancias cuidadosamente anotadas que abarcan 36 categorías de tareas de grano fino a través de seis dimensiones progresivamente desafiantes:
  • Tareas Generales: Adición, eliminación, reemplazo y extracción de sujetos, cambios de color/tamaño/material, transferencia de estilo y edición de texto.
  • Manipulación Dinámica: Movimiento de objetos, intercambio, interacción, cambios de acción y modificación de emociones.
  • Razonamiento de Conocimiento del Mundo: Tareas de razonamiento temporal, causal, de juegos, matemático y químico.
  • Razonamiento Visual Algorítmico: Tareas que requieren deducción lógica multi-paso, como la identificación de la ruta óptima, la identificación de la envolvente convexa, la selección de la mochila y el descubrimiento de palabras en cuadrículas.
  • Tareas Multi-Imagen: Composición, prueba virtual y conciencia multi-imagen (transferencia de atributos entre imágenes).
  • Tareas Complejas: Instrucciones compuestas y tareas de "Pintura Compleja" donde los usuarios proporcionan señales visuales (flechas, círculos, máscaras) junto con texto.
• Construcción de Datos: Utiliza un enfoque híbrido. Las tareas Generales y Complejas utilizan imágenes del mundo real con instrucciones generadas por LLMs y verificadas por humanos. Las tareas Dinámicas, de Conocimiento del Mundo y Multi-Imagen son diseñadas por expertos con imágenes fuente generadas mediante prompts refinados. Las tareas Algorítmicas se generan programáticamente con anotaciones de verdad fundamental derivadas de soluciones algorítmicas (por ejemplo, Dijkstra, programación dinámica).
• Marco de Evaluación: Adopta un marco de grano fino y multidimensional basado en tres dimensiones centrales:
  • Conciencia de la Instrucción: Seguimiento de instrucciones y conciencia del conocimiento del mundo.
  • Consistencia Visual: Consistencia de la región no editada y consistencia de identidad.
  • Calidad Visual: Naturalidad, fidelidad estructural y severidad de artefactos.
  • Mecanismo: Utiliza una pipeline de MLLM como juez con razonamiento estructurado de cadena de pensamiento y rúbricas de puntuación específicas (escala de 1 a 5) para generar puntuaciones escalares y racionalizaciones interpretables.

2. EditReward-Compass (Benchmark de Modelado de Recompensa)

• Escala: Contiene 2.251 pares de preferencia, cada uno consistiendo en una instrucción de edición y dos imágenes editadas candidatas.
• Estrategia de Muestreo: Diseñado para simular escenarios realistas de optimización de RL. Emplea una estrategia inspirada en FlowGRPO con ecuaciones diferenciales estocásticas para muestrear salidas candidatas de diversos modelos (tanto de código abierto como propietarios). Esto asegura que la evaluación refleje las distribuciones de candidatos dentro del mismo modelo encontradas durante la optimización de la política, en lugar de solo comparaciones entre modelos.
• Anotación: Una pipeline rigurosa de anotación humana en dos etapas que involucra a ocho expertos asegura pares de preferencia de alta calidad con diferencias claras en la adherencia a la instrucción y la consistencia visual.

Resultados Clave

Los autores evaluaron 29 modelos de edición de imágenes de vanguardia y 21 modelos de recompensa.

Modelos de Edición de Imágenes

• Propietarios vs. Código Abierto: Existe una brecha sustancial de rendimiento. El mejor modelo propietario (Nano Banana Pro) logró una puntuación general de 3.99, mientras que el modelo de código abierto más fuerte (Qwen-Image-Edit) alcanzó 2.69.
• Debilidades Específicas por Tarea: Mientras que los modelos de código abierto tienen un rendimiento competitivo en tareas básicas (Generales, Manipulación Dinámica), luchan significativamente con:
  • Razonamiento de Conocimiento del Mundo: (Nano Banana Pro: 3.89 vs. Qwen-Image-Edit: 1.74).
  • Razonamiento Visual Algorítmico: La mayoría de los modelos puntúan cerca de la línea base (1.0–1.5), lo que indica un fracaso para realizar un razonamiento visual profundo y una ejecución fiel de ediciones algorítmicas.
  • Edición Multi-Imagen: Los modelos de código cerrado muestran una ventaja clara en la comprensión y composición entre imágenes.
• Idioma: Muchos modelos exhiben un desequilibrio multilingüe (mejor rendimiento en inglés), aunque los modelos unificados avanzados muestran capacidades más equilibradas.

Modelos de Recompensa

• MLLMs Nativos vs. Modelos Especializados: Los grandes modelos de lenguaje multimodales nativos (por ejemplo, Qwen3.5-9B, Qwen3.6-27B) superan a los modelos de recompensa de código abierto existentes entrenados explícitamente en datos de preferencia (por ejemplo, EditScore, EditReward).
• Escalado y Razonamiento: Los modelos más grandes generalmente tienen un mejor rendimiento. Habilitar la inferencia de "pensamiento" (cadena de pensamiento) mejora consistentemente el rendimiento del modelo de recompensa, con ganancias de hasta 10.56 puntos para modelos MoE dispersos.
• Protocolo de Evaluación: Los prompts estructurados utilizados en EditReward-Compass mejoran significativamente el rendimiento de la evaluación sobre los baselines anteriores (por ejemplo, prompts de EditScore), con ganancias de hasta el 12.93%.

Significado y Afirmaciones

El artículo afirma proporcionar un marco integral y alineado con el humano para evaluar sistemas de edición de imágenes de vanguardia y modelos de recompensa. Su significado radica en:

1. Evaluación Fiel: Al introducir tareas progresivamente desafiantes y una evaluación basada en razonamiento de grano fino, el benchmark revela debilidades persistentes en los modelos actuales (específicamente en razonamiento y conocimiento del mundo) que los benchmarks de grano grueso pasan por alto.
2. Alineación con RL: EditReward-Compass cierra la brecha entre la evaluación estática y los escenarios dinámicos de optimización de RL, ofreciendo un campo de pruebas realista para analizar la optimización guiada por recompensas.
3. Dirección Futura: Los resultados sugieren que, si bien la edición a nivel de percepción superficial está madurando, el campo debe centrarse en un razonamiento más profundo, la integración de conocimiento del mundo y la manipulación compleja de múltiples imágenes. Además, los LLMs multimodales nativos parecen ser una base más prometedora para el modelado de recompensas que los modelos especializados de menor escala entrenados únicamente en datos de preferencia.

Los autores reconocen limitaciones, señalando su dependencia de jueces MLLM basados en API, lo cual puede introducir variabilidad. Proponen trabajo futuro para desarrollar modelos jueces dedicados a la edición de imágenes para garantizar una evaluación más estable y transparente sin dependencias propietarias.