Resumen Técnico: DARS – Asignación de Crédito de Doble Nivel con Razonamiento Estructurado para la Edición de Imágenes Basada en Instrucciones

Planteamiento del Problema

Los sistemas de edición de imágenes basados en instrucciones adoptan cada vez más un pipeline de planificador-renderizador: un Modelo de Lenguaje-Visión (VLM) interpreta una instrucción de lenguaje natural para generar un plan de edición intermedio, que luego un modelo de difusión ejecuta para producir la imagen final. Si bien esta descomposición mejora la capacidad de control, introduce un problema de asignación de crédito de doble nivel al optimizar mediante Aprendizaje por Refuerzo (RL) con recompensas de imagen final:

1. Ambigüedad entre Módulos: Una mala imagen final no revela si el fallo se originó en un plan defectuoso (error del planificador) o en un fallo al ejecutar un plan correcto (error del renderizador). Las estrategias de RL conjunto estándar actualizan los módulos de forma uniforme (diluyendo la señal de aprendizaje) o los optimizan por separado (perdiendo mejoras coordinadas).
2. Opacidad dentro del Planificador: Incluso cuando el planificador es el cuello de botella, los rastros de razonamiento de formato libre dificultan la localización de qué parte específica del plan (por ejemplo, la intención de modificación, las restricciones de preservación o las pistas de ejecución) es incorrecta, lo que impide correcciones dirigidas.

Los métodos existentes luchan por distinguir entre modos de fallo "dominados por el plan" y "dominados por el renderizado", lo que conduce a una optimización ineficiente donde las ediciones con baja puntuación no indican dónde se debe centrar el esfuerzo de optimización adicional.

Metodología: Marco de Trabajo DARS

DARS (Asignación de Crédito de Doble Nivel con Razonamiento Estructurado) aborda estos problemas a través de un marco de RL conjunto que descompone la asignación de crédito en dos niveles: enrutamiento entre módulos y diagnóstico dentro del planificador.

1. Razonamiento Estructurado y Asignación de Crédito por Lotes (Slot-Wise)

Para permitir un diagnóstico detallado dentro del planificador, DARS reemplaza los rastros de razonamiento de formato libre y opacos por un resultado estructurado de cuatro campos:

• Modificar (Modify): Especifica el cambio visible solicitado.
• Preservar (Preserve): Establece qué debe permanecer sin cambios.
• Global (Overall): Captura la coherencia de la escena y la consistencia global.
• Consejos (Tips): Proporciona pistas de ejecución para el renderizador.

Recompensa con Puerta de Prefijo (Prefix-Gated Reward): El marco emplea un ordenamiento causal donde los campos posteriores solo reciben recompensa si los anteriores son correctos. Un mecanismo de recompensa con puerta de prefijo asegura que si el campo Modificar falla, los campos descendentes (Preservar, Global, Consejos) reciban recompensa cero, evitando que el modelo sea recompensado por un texto descendente "bueno" que compensa un error de planificación fundamental.

Reponderación de Ventaja a Nivel de Token: Para la optimización de la política, la señal de ventaja se repondera a nivel de token basada en las puntuaciones de los campos. Los tokens en un campo específico reciben actualizaciones negativas más fuertes si ese campo es la causa principal de una puntuación de plan baja, mientras que las actualizaciones positivas se refuerzan solo si toda la cadena causal de campos es sólida.

2. Descomposición de la Varianza de Ejecución para el Enrutamiento entre Módulos

Para determinar si se debe enfatizar el planificador o el renderizador para una muestra dada, DARS utiliza ejecuciones (rollouts) de múltiples planes y múltiples renderizados ($M$ planes, $K$ renderizados por plan). Descompone la varianza de la recompensa compartida ($R_{share}$) en dos componentes utilizando la ley de la varianza total:

• Variabilidad Entre Planes ($U_{plan}$): Mide cuánto cambia la recompensa esperada al cambiar de plan. Valores altos indican que el plan actual es el cuello de botella (dominante del plan).
• Variabilidad Dentro del Plan ($U_{rend}$): Mide la fluctuación de la recompensa bajo un plan fijo. Valores altos indican que el renderizador es inestable o está fallando en la ejecución del plan (dominante del renderizado).

Estas estadísticas impulsan un enrutamiento suave de módulos, asignando un peso de actualización adicional al módulo responsable de la variabilidad dominante. Esto permite al sistema enrutar dinámicamente las señales de aprendizaje: las muestras con alto $U_{plan}$ reciben actualizaciones más fuertes para el planificador, mientras que aquellas con alto $U_{rend}$ reciben actualizaciones más fuertes para el renderizador.

3. Programación de Currículo Adaptativo

DARS estima la dificultad de la muestra basándose en la recompensa media a través de las ejecuciones. Un currículo adaptativo programa el entrenamiento priorizando las muestras más fáciles al principio del entrenamiento y presentando progresivamente muestras más difíciles a medida que el modelo mejora. Esta estimación de dificultad trabaja en conjunto con el enrutamiento de módulos: el currículo determina cuándo una muestra contribera fuertemente, mientras que la descomposición de la varianza determina dónde (qué módulo) debe ponerse el énfasis.

4. Objetivos de Optimización

El marco optimiza el planificador y el renderizador de forma conjunta pero con objetivos distintos:

• Planificador: Optimizado mediante text-GRPO con ventajas ponderadas por campos derivadas de la recompensa con puerta de prefijo.
• Renderizador: Optimizado mediante flow-GRPO con ventajas por renderizado.
• Ponderación: Ambos objetivos se escalan mediante un peso de currículo ($w_{cur}$) y un peso de enrutamiento de módulo residual ($\alpha$ para el planificador, $\omega$ para el renderizador) derivado de la descomposición de la varianza.

Contribuciones Clave

1. Formulación de Asignación de Crédito de Doble Nivel: El artículo formula la optimización conjunta de RL para la edición de planificador-renderizador como un problema de doble nivel, abordando explícitamente tanto la asignación de actualizaciones entre módulos como el diagnóstico de razonamiento dentro del planificador.
2. Descomposición de la Varianza de Ejecución: Un método novedoso para separar la variabilidad entre planes de la variabilidad dentro del plan, proporcionando señales basadas en datos para el enrutamiento suave de módulos sin requerir etiquetas de fallo externas.
3. Planificador Estructurado con Puerta de Prefijo: La introducción de un esquema de razonamiento estructurado de cuatro campos combinado con recompensas de puerta de prefijo y reponderación de ventaja a nivel de token, permitiendo la optimización localizada del planificador a partir de la retroalimentación post-renderizado.
4. Integración de Currículo Adaptativo: Un mecanismo de programación de currículo impulsado por estimaciones de dificultad derivadas de la ejecución que complementa la estrategia de enrutamiento de módulos.

Resultados Experimentales

DARS fue evaluado en cinco bancos de pruebas: KRIS-Bench (intensivo en razonamiento), RISE-Bench (informado por razonamiento), ImgEdit-Bench (edición general), GEdit-Bench-EN (consistencia semántica) y PICA-Bench (realismo físico).

• Rendimiento: DARS logró las mejores puntuaciones generales en los cinco bancos de pruebas.
• Ganancias de Razonamiento: Las mayores mejoras se observaron en tareas intensivas de razonamiento (KRIS-Bench: +8.57 sobre la línea base controlada; RISE-Bench: +1.80), validando la eficacia del razonamiento estructurado y los mecanismos de asignación de crédito para ediciones complejas.
• Estudios de Ablación:
  • Eliminar el currículo adaptativo o el enrutamiento suave provocó caídas significativas en el rendimiento.
  • Reemplazar el planificador estructurado con razonamiento de formato libre causó divergencia en algunos entornos y un rendimiento inferior en otros, resaltando el valor estabilizador y diagnóstico del esquema de cuatro campos.
  • La recompensa con puerta de prefijo superó al promedio plano y a la suma ponderada, confirmando la importancia de la dependencia causal en la asignación de crédito.
• Validación: Las señales de enrutamiento (dominante del plan vs. dominante del renderizado) mostraron una alta concordancia (>86% de precisión, >0.93 AUROC) con las etiquetas pseudo generadas por GPT-5, confirmando que las estadísticas de ejecución capturan eficazmente los modos de fallo.

Significado y Reivindicaciones

El artículo afirma que DARS proporciona una solución fundamentada a la naturaleza subespecificada de la asignación de crédito en la edición de imágenes de dos etapas. Al distinguir entre fallos dominados por el plan y dominados por el renderizado, DARS evita la ineficiencia de la optimización conjunta uniforme. El resultado de razonamiento estructurado transforma la retroalimentación a nivel de resultado en supervisión localizada, permitiendo al planificador diagnosticar y corregir errores semánticos o compositivos específicos que los rastros de formato libre oscurecen.

Los autores enfatizan que su enfoque no depende de la ingeniería de formatos de arranque en frío complejos o recetas de prompting diseñadas por expertos, sino de un esquema compacto y semánticamente alineado que se integra naturalmente con los backbones de VLM existentes. Los resultados sugieren que los mecanismos explícitos de asignación de crédito son críticos para escalar las capacidades de razonamiento en la edición de imágenes basada en instrucciones, particularmente para tareas que requieren razonamiento temporal, espacial y físico.