EditCaption: Human-Aligned Instruction Synthesis for Image Editing via Supervised Fine-Tuning and Direct Preference Optimization

Resumen Técnico: EditCaption

1. El Problema: El Cuello de Botella en la Síntesis de Instrucciones

El paradigma central en la edición de imágenes guiada por instrucciones depende de triplets de alta calidad: pares de imágenes (fuente y objetivo) acompañados de una instrucción de edición precisa. Sin embargo, la construcción manual de estos datos a gran escala es prohibitivamente costosa.

La comunidad ha recurrido a Modelos Visuales-Lingüísticos (VLM) para automatizar la síntesis de estas instrucciones. No obstante, el artículo identifica que los VLMs actuales sufren de tres modos de fallo sistemáticos cuando se les pide razonar sobre la transformación entre dos imágenes:

1. Inconsistencia de Orientación: Confusión frecuente entre direcciones (ej. describir un desplazamiento a la izquierda como si fuera a la derecha).
2. Ambigüedad de Punto de Vista: Fallo al caracterizar correctamente los cambios de perspectiva o movimiento de la cámara.
3. Falta de Detalles de Alta Frecuencia: Descripciones genéricas que omiten cambios críticos a nivel de atributos (color, textura, modificaciones específicas de objetos).

La evaluación humana revela que más del 47% de las instrucciones generadas por VLMs potentes (como baselines fuertes) contienen errores críticos (P0) que las hacen inutilizables para el entrenamiento de modelos de edición posteriores.

2. Metodología: El Pipeline de Dos Etapas (EditCaption)

Para abordar estos fallos, los autores proponen EditCaption, un pipeline de post-entrenamiento escalable en dos etapas diseñado para alinear los VLMs con el juicio humano y corregir errores espaciales y semánticos.

• Etapa 1: Ajuste Fino Supervisado (SFT)

  • Construcción de Datos: Se crea un conjunto de datos de 100,000 pares de imágenes.
  • Proceso: Se inicia con anotaciones automáticas generadas por GLM. Luego, se aplica un filtro de calidad utilizando EditScore (un modelo de recompensa de código abierto) para eliminar muestras desalineadas. Finalmente, anotadores humanos refinan las instrucciones restantes, corrigiendo errores espaciales, direccionales y de atributos.
  • Objetivo: Establecer una capacidad base sólida para generar instrucciones estructuradas y precisas a gran escala.

• Etapa 2: Optimización Directa de Preferencias (DPO)

  • Construcción de Datos: Se construyen 10,000 pares de preferencias (elegido vs. rechazado).
  • Proceso: El modelo SFT genera instrucciones que, aunque mejoradas, aún presentan los fallos sistemáticos identificados. Los anotadores humanos proporcionan versiones corregidas ("elegidas") que resuelven específicamente la inconsistencia de orientación, la ambigüedad de punto de vista y la falta de detalle.
  • Objetivo: Utilizar DPO para alinear el modelo más allá de lo que logra el SFT, penalizando directamente los modos de fallo residuales y maximizando la probabilidad de las instrucciones corregidas por humanos.

3. Contribuciones Clave

1. Análisis Empírico Sistemático: Identificación y cuantificación de los tres modos de fallo dominantes en la síntesis de instrucciones de edición (orientación, punto de vista, detalle), demostrando que la simple escala o ingeniería de prompts no resuelve estos problemas.
2. Pipeline de Construcción de Datos Escalable: Desarrollo de un flujo de trabajo híbrido que combina 100K datos de SFT refinados por humanos y 10K pares de preferencias, diseñado específicamente para atacar errores espaciales y semánticos.
3. Rendimiento de Vanguardia (SOTA): Demostración de que la combinación SFT + DPO supera consistentemente a los modelos de código abierto y se acerca o supera a modelos propietarios cerrados en múltiples benchmarks.

4. Resultados Experimentales

El modelo fine-tuned Qwen3-VL-235B (con SFT+DPO) fue evaluado en tres benchmarks: Eval-400 (interno), ByteMorph-Bench (movimiento no rígido) y HQ-Edit.

• Evaluación Objetiva:

  • En Eval-400, el modelo alcanzó una puntuación ponderada de 4.712, superando a Gemini-3-Pro (4.706) y a GPT-4.1 (4.220).
  • En el desafiante ByteMorph-Bench, obtuvo 4.588, superando significativamente a Gemini-3-Pro (4.522) y GPT-4.1 (3.412), lo que demuestra una superioridad en el razonamiento espacial y de movimiento.
  • El modelo de 32B también mostró mejoras notables, superando a su contraparte base y compitiendo con modelos mucho más grandes.

• Evaluación Humana:

  • La tasa de errores críticos (P0) se redujo drásticamente del 47.75% (modelo base) al 23% (modelo fine-tuned).
  • La tasa de corrección (instrucciones utilizables) aumentó del 41.75% al 66%.
  • El modelo de 235B alcanzó un rendimiento casi idéntico al de Gemini-3-Pro en evaluación humana.

• Estudio de Ablación:

  • El uso de DPO solo sin SFT previo resultó en un rendimiento muy pobre, confirmando que se necesita una base generativa sólida antes de optimizar preferencias.
  • La combinación SFT + DPO fue superior a cualquiera de las etapas por separado, validando el diseño de dos etapas.

5. Significado e Impacto

El trabajo de EditCaption ofrece una solución práctica y efectiva para la construcción de datos a gran escala para modelos de edición de imágenes. Al resolver los fallos sistemáticos de los VLMs en el razonamiento espacial y la descripción de atributos, permite generar datasets de entrenamiento de alta calidad sin depender exclusivamente de la anotación manual costosa.

Esto es fundamental para escalar el entrenamiento de modelos de edición de imágenes fundacionales, permitiendo que sistemas más pequeños y eficientes (como el Qwen3-VL de 235B) alcancen o superen el rendimiento de modelos propietarios masivos en tareas de edición guiada por texto. El enfoque demuestra que la alineación con humanos mediante DPO es crucial para corregir alucinaciones espaciales que el entrenamiento supervisado por sí solo no puede eliminar completamente.