Resumen Técnico: Escalamiento de la Generación de Imágenes con Referencia Múltiple mediante la Optimización Dinámica de Recompensas

Declaración del Problema

Aunque la generación de imágenes personalizada ha avanzado significamente, la Generación de Imágenes con Referencia Múltiple (MRIG, por sus siglas en inglés) sigue siendo una tarea desafiante. La MRIG requiere la integración efectiva de múltiples imágenes de referencia de diversos tipos (por ejemplo, sujeto, pose, estilo, iluminación, fondo) en un único resultado coherente. La investigación actual se ve obstaculizada por dos limitaciones primarias:

1. Evaluación Insuficiente: Los benchmarks actuales suelen centrarse en tareas simples con un número limitado de imágenes de referencia o tipos de referencia únicos. Carecen de la complejidad necesaria para evaluar escenarios que requieren la integración de numerosas y diversas referencias, y a menudo dependen de métricas de grano grueso que no logran evaluar el rendimiento a través de tipos de referencia específicos.
2. Degradación del Rendimiento en Modelos de Código Abierto: Los modelos principales de código abierto tienen dificultades en escenarios complejos de MRIG. Si bien funcionan adecuadamente con unas pocas referencias, su rendimiento se deteriora rápidamente a medida que aumenta el número de imágenes de referencia de tipos mixtos, creando una brecha significativa en comparación con los modelos de código cerrado de última generación (SOTA).

Metodología: Marco de Trabajo DyRef

Para abordar estos desafíos, los autores proponen DyRef, un marco de entrenamiento de dos etapas diseñado para escalar las capacidades de MRIG mediante la optimización dinámica de recompensas.

Etapa I: Ajuste Fino Supervisado (SFT)

La primera etapa dota al modelo de las capacidades básicas para manejar tareas complejas de MRIG.

• Base (Baseline): Los autores utilizan Qwen-Image-Edit-2511 (un backbone dual-stream MMDiT) como base de entrenamiento.
• Datos: Se construyen aproximadamente 14,000 muestras de entrenamiento utilizando un pipeline que genera imágenes objetivo mediante modelos de Texto-a-Imagen (T2I) y deriva las correspondientes imágenes de referencia (sujeto, fondo, estilo, iluminación, pose) utilizando modelos de segmentación y edición.
• Entrenamiento: El modelo se ajusta mediante LoRA con pérdida de Flow Matching para aprender el mapeo fundamental entre las entradas complejas de múltiples referencias y los resultados objetivo.

Etapa II: Optimización Dinámica de Recompensas

La segunda etapa emplea Aprendizaje por Refuerzo (específicamente Flow-GRPO) para alinear el modelo con las preferencias humanas y mejorar el rendimiento en muestras difíciles. Esta etapa introduce dos componentes novedosos:

1. Reponderación de Ventaja Consciente de la Dificultad (DAR):

   • Motivación: El entrenamiento estándar de RL tiende a estar dominado por muestras más simples (pocas referencias), mientras que las muestras complejas (muchas referencias de tipos mixtos) reciben señales de aprendizaje insuficientes debido a puntuaciones de recompensa iniciales más bajas.
   • Mecanismo: DAR ajusta dinámicamente el objetivo de optimización asignando pesos de grupo basados en la puntuación de recompensa promedio de las muestras dentro de un grupo. Aumenta el peso de los grupos con bajo rendimiento (aquellos con numerosas referencias de tipos mixtos) para fomentar que el modelo se concentre en estos casos difíciles, evitando al mismo tiempo el sobreajuste a muestras simples de alto rendimiento.

2. Escalamiento Discriminativo de Recompensas (DRS):

   • Motivación: Las señales de recompensa de los codificadores visuales estándar (por ejemplo, CLIP, SigLIPv2) a menudo exhiben una distribución estrecha, donde las muestras de alta y baja calidad reciben puntuaciones similares, debilitando las señales de gradiente para las actualizaciones de la política.
   • Mecanismo: DRS aplica una función de transformación a las puntuaciones de recompensa brutas para ampliar las diferencias de recompensa intra-grupo. Esta amplificación asegura que las muestras superiores reciban recompensas significativamente mayores que las inferiores, facilitando una optimización de la política más efectiva.

Señales de Recompensa

El marco utiliza un sistema de recompensa híbrido:

• Alineación de Estilo: Utiliza CSD (una métrica de similitud de estilo) para guiar las tareas relacionadas con el estilo.
• Consistencia Semántica: Utiliza SigLIPv2 (o CLIP) para medir la consistencia semántica entre las imágenes generadas y las imágenes objetivo.

Contribuciones Clave

1. OmniRef-Bench: Los autores introducen un nuevo benchmark que comprende 395 instancias anotadas por expertos que cubren cinco tipos de referencia (sujeto, fondo, estilo, iluminación, pose) y hasta cuatro tipos de referencia simultáneos. Cuenta con una estrategia de evaluación híbrida que combina métricas cuantitativas objetivas y evaluaciones basadas en Modelos de Lenguaje de Gran Escala Multimodales (MLLM) con criterios de grano fino para cada tipo de referencia.
2. Marco de Trabajo DyRef: Un enfoque de entrenamiento de dos etapas que logra cerrar la brecha de rendimiento entre los modelos de código abierto y los de código cerrado en tareas complejas de MRIG mediante la integración de SFT con DAR y DRS.
3. Validación Empírica: Experimentos extensos demuestran que DyRef mejora significativamente los modelos de código abierto en OmniRef-Bench y se generaliza bien a los benchmarks de edición de imagen única.

Resultados Experimentales

• Rendimiento en OmniRef-Bench: DyRef supera significativamente a los modelos de código abierto existentes (por ejemplo, OmniGen2, DreamOmni2, BAGEL) en al menos un 12% en métricas objetivas y un 29% en evaluaciones de MLLM. Notablemente, logra resultados comparables a los modelos de código cerrado SOTA como Nano Banana Pro y Seedream 4.5, destacando especialmente en las métricas de estilo y pose.
• Generalización: El método mejora el rendimiento en los benchmarks de edición de imagen única (ImgEdit y DreamBench++), lo que indica que las mejoras en las capacidades de múltiples referencias no comprometen las habilidades básicas de edición de imágenes.
• Robustez: El enfoque muestra efectividad a través de diferentes escalas de modelos (probado en modelos de 9B y 20B parámetros) y mantiene el rendimiento en tipos de referencia no vistos.
• Estudio de Usuario: Un estudio con expertos humanos confirma que la evaluación basada en MLLM se alinea bien con las preferencias humanas (correlación de Pearson de 0.9), y las imágenes generadas por DyRef ocupan puestos altos frente a los baselines de código cerrado.

Significancia y Reclamaciones

Los autores afirman que la contribución principal de este trabajo es abordar la degradación crítica del rendimiento observada en los modelos de código abierto a medida que aumenta la complejidad y el número de referencias. Al introducir OmniRef-Bench, los autores proporcionan una herramienta necesaria para evaluar rigurosamente los escenarios complejos de MRIG, revelando las limitaciones de los métodos actuales. A través de DyRef, demuestran que la optimización dinámica de recompensas (específicamente DAR y DRS) puede mitigar eficazmente la varianza del rendimiento a través de diferentes escalas de referencia.

Los autores posicionan su trabajo como un paso hacia lograr que la generación de imágenes de múltiples referencias complejas y de alta fidelidad sea accesible mediante modelos de código abierto, lo cual es crucial para aplicaciones en diseño visual profesional y publicidad, donde la integración coherente de elementos visuales variados es esencial. Reconocen que, si bien DyRef reduce la brecha significativamente, la MRIG compleja sigue siendo un problema abierto, particularmente en lo que respecta al seguimiento de instrucciones y la desvinculación de características (feature disentanglement) en escenarios extremos.