RetouchIQ: MLLM Agents for Instruction-Based Image Retouching with Generalist Reward

RetouchIQ es un marco que utiliza agentes de modelos de lenguaje multimodal (MLLM) guiados por un modelo de recompensa generalista para realizar edición de imágenes basada en instrucciones, superando las limitaciones de las recompensas tradicionales mediante un aprendizaje por refuerzo que mejora la coherencia semántica y la calidad perceptual.

Lo esencial

¡Claro que sí! Imagina que RETOUCHIQ es como tener a un fotógrafo experto y un crítico de arte trabajando juntos en tu bolsillo, listos para mejorar tus fotos con solo una frase.

Aquí te explico cómo funciona, usando analogías sencillas:

1. El Problema: "Quiero que se vea mejor"

Imagina que le dices a un asistente: "Haz que esta foto de la playa se vea más dramática y cinematográfica".

• Los sistemas antiguos (como los filtros automáticos): A veces son como un robot que sigue una receta estricta. Si no entienden exactamente qué significa "dramático", pueden arruinar la foto o hacerla ver falsa.
• Los sistemas de IA generativa (como los que crean imágenes de la nada): Son como un pintor loco que, al escuchar tu petición, puede cambiar el cielo, borrar a las personas o alterar la historia de la foto. ¡Ya no es tu foto original!

2. La Solución: RETOUCHIQ (El Agente Inteligente)

RETOUCHIQ es diferente. No inventa la foto de cero, sino que usa las herramientas reales que usan los fotógrafos profesionales (como Adobe Lightroom).

Piensa en RETOUCHIQ como un músico de orquesta:

1. Escucha tu deseo: Tú dices: "Quiero un atardecer cálido y nostálgico".
2. Razona: En lugar de adivinar, el agente piensa: "Ah, para lograr eso, necesito subir un poco la temperatura (más amarillo/naranja), bajar las sombras y aumentar el contraste".
3. Actúa: Va a los controles deslizantes reales del software y ajusta los números exactos. Es como si un humano experto estuviera moviendo los botones por ti.

3. El Gran Reto: ¿Cómo sabemos si la foto quedó bien?

Aquí está la parte más genial del papel. En matemáticas, hay una respuesta correcta (2+2=4). Pero en el arte, la belleza es subjetiva.

• Si le pides a un robot que juzgue la foto comparándola con una "foto perfecta" guardada en su memoria, fallará. ¿Por qué? Porque tu idea de "nostálgico" puede ser diferente a la de la máquina.

La Innovación: El "Crítico Generalista" (Generalist Reward Model)
En lugar de usar una regla fija, RETOUCHIQ tiene un crítico de arte interno (un cerebro de IA entrenado específicamente para esto).

• Cómo funciona: Cuando el agente hace un cambio, el crítico no solo mira si los colores coinciden. Genera sus propios criterios para esa foto específica.
  • Ejemplo: Si la foto es de unas flores, el crítico se inventa una lista: "¿Se ven los pétalos nítidos? (8/10). ¿Hay demasiado brillo? (2/10). ¿Se siente fresco? (9/10)".
  • Luego, da una puntuación final basada en esa lista personalizada.

4. El Entrenamiento: El "Entrenador Personal" (PGRT)

Para que el agente aprenda a ser perfecto, necesitan entrenarlo.

• El problema anterior: Antes, entrenaban al agente usando fotos "malas" que se creaban rompiendo las fotos buenas de forma aleatoria (como quitarle el color a una foto al azar). Pero las fotos que hace el agente son más complejas que eso. Era como entrenar a un futbolista contra oponentes débiles y luego jugar contra el campeón del mundo; el agente no estaba preparado.
• La solución (PGRT): Ahora, el "crítico" se entrena viendo las fotos que realmente hace el agente (incluso las que salen mal). Es como si el entrenador y el jugador se entrenaran juntos, ajustando la dificultad en tiempo real. Esto hace que el agente aprenda a distinguir matices muy finos y a entender mejor lo que tú quieres.

En Resumen

RETOUCHIQ es un asistente que:

1. Entiende lo que quieres decir (aunque sea con palabras vagas como "más mágico").
2. Piensa qué ajustes técnicos hacer para lograrlo.
3. Usa herramientas profesionales reales para editar la foto sin deformarla.
4. Se evalúa a sí mismo con un crítico inteligente que aprende de cada intento para mejorar la próxima vez.

El resultado es una foto que se ve profesional, fiel a tu visión y con la calidad de un experto, todo sin que tú tengas que saber cómo mover los controles de un programa de edición. ¡Es como tener un fotógrafo mágico que lee tu mente!

Resumen técnico

Resumen Técnico: RETOUCHIQ

1. El Problema

El reto principal abordado por el artículo es la dificultad de utilizar Modelos de Lenguaje Multimodal (MLLM) para la edición de imágenes profesional basada en instrucciones naturales. Aunque los MLLMs han avanzado en razonamiento visual y lingüístico, su aplicación en software de edición real (como Adobe Lightroom) enfrenta dos obstáculos críticos:

• Subjetividad de la edición creativa: A diferencia de tareas objetivas (como matemáticas o código), la edición de fotos no tiene una única "respuesta correcta". Una misma instrucción (ej. "hazlo más cálido") puede tener múltiples resultados válidos y estéticamente agradables.
• Fallas en las recompensas tradicionales: Los métodos actuales de Aprendizaje por Refuerzo (RL) suelen utilizar recompensas verificables basadas en reglas o similitud de píxeles con una imagen de referencia fija. Esto falla en la edición creativa porque penaliza variaciones válidas que se desvían ligeramente de la referencia, o no logra capturar la intención estética subjetiva del usuario. Además, existe un desplazamiento de distribución (distribution shift) entre las ediciones sintéticas usadas para entrenar y las ediciones complejas que genera el modelo.

2. Metodología

RETOUCHIQ es un agente MLLM diseñado para traducir instrucciones de lenguaje natural en secuencias de parámetros ejecutables dentro de software de edición profesional. Su arquitectura se basa en un flujo de dos etapas y un componente central innovador:

• Agente de Política (Policy Agent):

  • Recibe una imagen de entrada y una instrucción del usuario.
  • Genera una traza de razonamiento (explicando la intención estética) y una secuencia de operaciones de edición (parámetros específicos como exposición, temperatura, contraste, etc.).
  • Se entrena primero mediante Ajuste Fino Supervisado (SFT) con datos de ediciones humanas reales, y luego se refina mediante Aprendizaje por Refuerzo (RL).

• Modelo de Recompensa Generalista (Generalist Reward Model - GRM):

  • En lugar de usar métricas fijas, el GRM es un MLLM fine-tuned que evalúa los resultados de la edición de manera dinámica.
  • Proceso de Evaluación: Ante una instrucción y una imagen editada, el GRM primero genera un conjunto de métricas específicas para ese caso (ej. "equilibrio de blancos", "vibrancia", "atmósfera otoñal") y luego asigna una recompensa escalar basada en esas métricas generadas.
  • Esto permite una supervisión flexible y contextual, adaptándose a la subjetividad de cada solicitud.

• Entrenamiento con Recompensa Guiada por la Política (Policy-Guided Reward Training - PGRT):

  • Para resolver el problema del desplazamiento de distribución, los autores proponen PGRT.
  • En lugar de entrenar el modelo de recompensa solo con imágenes perturbadas artificialmente (que son simples), PGRT entrena al modelo de recompensa utilizando imágenes generadas por el propio modelo de política durante el entrenamiento.
  • Esto alinea la distribución de datos del crítico (recompensa) con la del agente (política), mejorando la estabilidad y la precisión de las señales de gradiente.

3. Contribuciones Clave

1. RETOUCHIQ: El primer marco que aborda la naturaleza subjetiva de la retocación de imágenes mediante un Modelo de Recompensa Generalista, superando las limitaciones de las recompensas verificables tradicionales.
2. PGRT (Policy-Guided Reward Training): Una nueva paradigna de RL que utiliza las salidas del modelo de política para refinar la estimación de recompensas, capturando mejor las diferencias perceptuales sutiles y alineando las distribuciones de entrenamiento.
3. Nuevo Dataset y Benchmark:
   • Curación de un dataset extendido de 190k pares instrucción-razonamiento extraídos de ediciones humanas reales.
   • Introducción de RETOUCHEVAL, un benchmark dedicado para evaluar la calidad de la retocación basada en instrucciones, dividido en mejora de calidad, transformación de estilo y retocación local.

4. Resultados

Los experimentos demuestran que RETOUCHIQ supera significativamente a los sistemas basados en difusión y otros agentes MLLM existentes (como JarvisArt, MonetGPT) y a modelos generales (GPT-5, Gemini):

• Calidad Perceptual y Consistencia Semántica: En el benchmark RETOUCHEVAL, RETOUCHIQ logra las puntuaciones más altas en métricas de calidad perceptual (PQ) y consistencia semántica, especialmente en escenarios complejos como el balance de tonos nocturnos o la armonización de estilos.
• Superioridad sobre Métodos de Difusión: A diferencia de los modelos de difusión que a menudo alteran la estructura original o la identidad de la imagen, RETOUCHIQ mantiene la integridad de la imagen original mientras aplica ajustes de parámetros precisos.
• Eficacia del PGRT: La comparación de variantes muestra que el uso de PGRT mejora tanto el modelo de recompensa (mayor precisión al distinguir ediciones buenas de malas) como el modelo de política final, superando a las versiones entrenadas solo con datos perturbados.

5. Significado e Impacto

El trabajo de RETOUCHIQ representa un avance crucial hacia la edición de imágenes asistida por IA profesional y explicable.

• Interpretabilidad: Al generar trazas de razonamiento y parámetros específicos, el sistema es transparente, a diferencia de los métodos de "caja negra" de los modelos de difusión.
• Flexibilidad: El enfoque de recompensa generalista permite que el sistema maneje instrucciones creativas y subjetivas que antes eran imposibles de automatizar con precisión.
• Futuro del RL en Visión: El artículo establece un precedente para el uso de modelos de recompensa generativos y dinámicos en tareas visuales subjetivas, sugiriendo que el RL guiado por agentes es una vía viable para el control preciso de herramientas profesionales de diseño.

En resumen, RETOUCHIQ cierra la brecha entre la intención creativa del usuario y la ejecución técnica precisa, utilizando un agente inteligente que razona, actúa y se evalúa a sí mismo mediante un criterio estético flexible.