HP-Edit: A Human-Preference Post-Training Framework for Image Editing

1. El Problema

Aunque los modelos de difusión generativa han establecido un estándar para la edición de imágenes, los enfoques actuales basados en Ajuste Fino Supervisado (SFT) presentan dos limitaciones críticas:

1. Desalineación con preferencias humanas: Los datos de entrenamiento a menudo provienen de fuentes mixtas (dibujos animados, imágenes sintéticas) que no reflejan las preferencias del mundo real.
2. Costo de anotación: Construir conjuntos de datos alineados con preferencias humanas requiere anotación manual costosa, lo que hace inviable la escalabilidad.

Además, aunque el Aprendizaje por Refuerzo (RL) ha mejorado la generación de texto a imagen, su aplicación a la edición de imagen a imagen (I2I) sigue siendo poco explorada. La edición I2I requiere un doble objetivo: precisión en la tarea (ej. eliminar un objeto) y alineación con preferencias (ej. realismo y estética), lo cual es difícil de lograr sin un marco de recompensa específico y datos de preferencia escalables.

2. Metodología: HP-Edit

Los autores proponen HP-Edit, un marco de post-entrenamiento diseñado para alinear los modelos de edición con las preferencias humanas. El enfoque se divide en tres etapas clave:

A. HP-Scorer (Evaluador de Preferencia Humana)

• Se utiliza un Modelo de Lenguaje Visual Grande (VLM) preentrenado (ej. Qwen2.5-VL) para actuar como un evaluador automático.
• Se entrena mediante un proceso iterativo donde se ajustan los prompts de puntuación específicos para cada tarea (ej. "¿El objeto reemplazado es lógico?", "¿Hay sangrado de color?").
• El objetivo es que el VLM imite las puntuaciones humanas (escala de 0 a 5) con alta precisión, sirviendo como un proxy escalable para la recompensa en RL.

B. Construcción de Datos de Preferencia (RealPref-50K)

• Se introduce RealPref-50K, un conjunto de datos masivo con más de 55,000 casos reales cubriendo 8 tareas comunes: adición, eliminación, intercambio de objetos, reemplazo de fondo, cambio de color, desenfoque (bokeh), reiluminación y transferencia de estilo.
• Filtrado de Casos Difíciles: Un hallazgo crucial es que los modelos preentrenados ya obtienen puntuaciones altas (5/5) en muchos casos fáciles. Para el entrenamiento por RL, se filtran estos casos y se retienen solo los "casos difíciles" (baja puntuación inicial) donde el modelo falla o produce resultados subóptimos. Esto fuerza al modelo a aprender de los errores.
• El conjunto de datos está equilibrado por categorías de objetos (basado en MS-COCO) para asegurar diversidad.

C. Post-Entrenamiento con RL (Flow-GRPO)

• Se emplea Flow-GRPO (Group Relative Policy Optimization adaptado a modelos de flujo), un algoritmo de RL eficiente en memoria.
• Función de Recompensa: El HP-Scorer actúa como la función de recompensa. Se normaliza la puntuación del VLM (0-5) a un rango [0,1] mediante una función sigmoide para guiar el entrenamiento.
• El modelo se entrena en línea, generando múltiples muestras por instrucción y optimizando la política para maximizar la recompensa relativa dentro del grupo, manteniendo la estabilidad mediante una penalización KL.

3. Contribuciones Clave

1. Marco HP-Edit: Un pipeline unificado que integra un evaluador basado en VLM, una estrategia de construcción de datos enfocada en casos difíciles y entrenamiento por RL específico para tareas.
2. RealPref-50K: El primer conjunto de datos a gran escala orientado al mundo real, equilibrado por tareas y objetos, diseñado específicamente para el aprendizaje de preferencias en edición.
3. RealPref-Bench: Un nuevo benchmark para evaluar el rendimiento de edición en escenarios reales, utilizando instrucciones verificadas manualmente y evaluaciones objetivas.
4. Validación de Escalabilidad: Demostración de que un pequeño conjunto de datos de puntuación humana (50-100 ejemplos por tarea) es suficiente para calibrar un VLM y generar un evaluador automático robusto.

4. Resultados

• Rendimiento Cuantitativo: En el RealPref-Bench, HP-Edit supera consistentemente a los modelos más avanzados (SOTA) como Step1X-Edit, BAGEL, X2Edit, FLUX.1-Kontext y la base Qwen-Image-Edit-2509.
  • Obtiene una puntuación global de 4.667 (escala 0-5), superando a la base Qwen-Image-Edit-2509 (4.472) y a otros SOTA.
  • Mejoras notables en tareas que requieren razonamiento semántico fino y realismo, como cambio de color, bokeh y reiluminación.
• Rendimiento Cualitativo: Las imágenes generadas son más realistas, con menos artefactos y una mejor adherencia a las instrucciones complejas en comparación con las líneas base.
• Estudios de Usuario: Una evaluación con anotadores humanos confirmó que las puntuaciones del HP-Scorer tienen una alta correlación (PCC de 0.89) con las preferencias humanas, validando su uso como función de recompensa.
• Ablación: Se demostró que tanto el filtrado de datos (usar solo casos difíciles) como el uso del HP-Scorer específico por tarea son esenciales; usar datos sin filtrar o un evaluador genérico resulta en un rendimiento inferior o incluso degradado.

5. Significado e Impacto

El trabajo de HP-Edit es significativo porque cierra la brecha entre la capacidad técnica de los modelos de difusión y las preferencias estéticas y funcionales humanas en la edición de imágenes.

• Escalabilidad: Resuelve el cuello de botella de la anotación manual masiva al utilizar un VLM calibrado como evaluador automático.
• Eficiencia: Al centrarse en "casos difíciles", maximiza la eficiencia del entrenamiento por RL, evitando que el modelo se estanque en datos fáciles.
• Generalización: La metodología no solo mejora un modelo específico, sino que ofrece un marco aplicable a diversos modelos base y tareas de edición, estableciendo un nuevo estándar para la alineación de preferencias en visión generativa.

En resumen, HP-Edit demuestra que el post-entrenamiento con preferencias humanas, guiado por evaluadores automáticos inteligentes y datos de alta calidad enfocados en el error, es la vía más efectiva para llevar la edición de imágenes al siguiente nivel de realismo y utilidad práctica.