Resumen Técnico: MIRO (Preentrenamiento Condicionado por Múltiples Recompensas)

1. Declaración del Problema

Las pipelines actuales de generación de texto a imagen (T2I) suelen seguir un paradigma de tres etapas: (1) preentrenamiento sobre datos web ruidosos para aprender la estructura de la imagen, (2) ajuste fino supervisado en subconjuntos curados para estrechar la distribución y (3) Aprendizaje por Refuerzo a partir de Retroalimentación Humana (RLHF) para alinearse con las preferencias del usuario. Los autores argumentan que este paradigma adolece de tres ineficiencias críticas:

• Descarte de Datos: El ajuste fino descarta datos de "baja calidad", perdiendo las señales estructurales presentes en la distribución completa de los datos.
• Colapso de Modos y Pérdida de Fidelidad: El RLHF optimiza una única recompensa escalar, a menudo colapsando la distribución (reduciendo la diversidad) y perjudicando la fidelidad semántica.
• Inflexibilidad: El compromiso de recompensa se fija en el momento del entrenamiento, impidiendo que los usuarios ajusten las preferencias durante la inferencia.
• Ineficiencia: El proceso de múltiples etapas requiere recursos computacionales significativos y ajuste de hiperparámetros para cada etapa.

El artículo postula que alinear múltiples recompensas durante la fase de preentrenamiento en sí misma, en lugar de como una etapa posterior, puede preservar el espectro completo de datos mientras habilita una generación controlable.

2. Metodología: MIRO

MIRO (Preentrenamiento Condicionado por Múltiples Recompensas) es un marco que integra la alineación directamente en la fase de preentrenamiento condicionando el modelo generativo a un vector de puntuaciones de recompensa.

2.1. Aumento de Conjuntos de Datos

En lugar de filtrar datos, MIRO anota cada imagen de entrenamiento $(x, c)$ con un vector de $N$ puntuaciones de recompensa $s = [s_1, s_2, \dots, s_N]$. Los autores utilizan siete modelos de recompensa complementarios:

1. Puntuación Estética: Atractivo visual.
2. HPSv2 y PickScore: Alineación con preferencias humanas.
3. ImageReward: Seguimiento de instrucciones y preferencias del usuario.
4. VQAScore: Comprensión visual.
5. Puntuación JINA CLIP: Alineación texto-imagen (optimizada para descripciones largas).
6. SciScore: Corrección científica.

Las puntuaciones crudas se normalizan y se agrupan en $B$ contenedores discretos para garantizar una representación equilibrada en todos los niveles de calidad y para manejar las escalas variables entre diferentes modelos de recompensa.

2.2. Coincidencia de Flujos Condicionada por Múltiples Recompensas

El objetivo principal de entrenamiento modifica la formulación estándar de Coincidencia de Flujos (Flow Matching). El modelo $v_\theta$ aprende a predecir el campo de velocidad condicionado a la muestra ruidosa $x_t$, al prompt de texto $c$ y al vector de recompensa $s$:
$$\mathcal{L} = \mathbb{E}_{(x,c,s) \sim \tilde{D}, \epsilon \sim \mathcal{N}(0,I), t \sim U(0,1)} \left[ \| v_\theta(x_t, c, \hat{s}) - (\epsilon - x) \|_2^2 \right]$$
Al entrenar sobre el espectro completo de niveles de recompensa, el modelo aprende la distribución condicional $p(x|c, s)$, asociando características visuales específicas con niveles de recompensa específicos sin descartar ningún dato.

2.3. Inferencia Guiada por Recompensa

En la inferencia, MIRO habilita un control fino a través de la Guía sin Clasificador de Múltiples Recompensas (CFG). El vector de guía se calcula contrastando un objetivo de recompensa positivo $\hat{s}^+$ (por ejemplo, recompensas máximas) y un objetivo negativo $\hat{s}^-$ (por ejemplo, recompensas mínimas):
$$\hat{v}_\theta(x_t, c) = (1 + \omega)v_\theta(x_t, c, \hat{s}^+) - \omega v_\theta(x_t, c, \hat{s}^-)$$
Teóricamente, esto corresponde a muestrear de una distribución inclinada por recompensa $p_\omega(x|c) \propto p(x|c, s^+) \left( \frac{p(s^+|x, c)}{p(s^-|x, c)} \right)^\omega$. Esto permite a los usuarios:

• Maximizar todas las recompensas simultáneamente.
• Navegar compromisos (por ejemplo, priorizando la estética sobre la alineación del texto) ajustando componentes específicos de $\hat{s}^+$.
• Evitar la manipulación de recompensas equilibrando múltiples objetivos.

3. Contribuciones Clave

1. Marco MIRO: Un método de preentrenamiento que se condiciona a un vector de puntuaciones de recompensa, eliminando la necesidad de etapas separadas de filtrado, ajuste fino o RLHF posterior.
2. Eficiencia y Rendimiento: Un modelo MIRO de 0.36B de parámetros logra resultados de vanguardia en GenEval y en benchmarks de preferencia de usuarios (PickScore, ImageReward, HPSv2), superando al modelo FLUX-dev de 12B de parámetros mientras requiere 370× menos cómputo de entrenamiento.
3. Velocidad de Convergencia: MIRO converge hasta 19× más rápido que el preentrenamiento de referencia en métricas estéticas y de preferencia.
4. Eficiencia en Inferencia: Bajo escalado basado en muestras, MIRO logra un rendimiento comparable o superior a las referencias con 3× menos cómputo de inferencia.
5. Garantías Teóricas: El artículo proporciona pruebas de que MIRO preserva la distribución completa de datos (preservación de entropía) y evita el colapso de modos y los conflictos de gradiente inherentes a la alineación basada en RL (DDPO).

4. Resultados Experimentales

• GenEval (Benchmarks Composicionales): MIRO logra una puntuación general de 57 (vs. 52 de la referencia), con ganancias significativas en tareas desafiantes como Atribución de Color (+31%) y Dos Objetos (+24%). Cuando se combina con descripciones sintéticas, MIRO alcanza 68, superando a FLUX-dev (67).
• Preferencia de Usuario: MIRO lidera los benchmarks ImageReward, HPSv2 y PickScore.
• Dinámicas de Entrenamiento: El análisis cualitativo muestra que MIRO genera imágenes reconocibles y de alta calidad en 50k pasos, mientras que las referencias requieren 200k–400k pasos para una calidad similar.
• Manipulación de Recompensas: Los modelos de recompensa única (por ejemplo, optimizados solo para Puntuación Estética) muestran una degradación severa en las métricas semánticas. El condicionamiento de múltiples recompensas de MIRO previene esto, manteniendo un rendimiento equilibrado en todas las métricas.
• Escalado en Tiempo de Prueba: MIRO demuestra una eficiencia de muestreo superior; para métricas como PickScore, MIRO con 4 muestras iguala el rendimiento de la referencia con 128 muestras (una ganancia de eficiencia de 32×).

5. Significado y Afirmaciones

El artículo afirma que MIRO representa un cambio de paradigma de "optimizar para una recompensa" a "aprender la distribución de recompensas". Al tratar las puntuaciones de recompensa como entradas controlables durante el preentrenamiento, MIRO:

• Desacopla contenido de calidad: El modelo aprende a generar en cualquier nivel de calidad deseado sin reentrenamiento.
• Elimina el compromiso "Filtrado vs. Señal": Utiliza el espectro completo de datos, preservando las señales estructurales de imágenes naturales que a menudo se descartan en conjuntos de datos curados.
• Proporciona Control Principiado: Los usuarios pueden ajustar explícitamente los compromisos entre objetivos en competencia (por ejemplo, estética vs. alineación semántica) en el momento de la inferencia, una capacidad no disponible en las pipelines estándar de RLHF.
• Reduce el Costo Computacional: El método logra resultados de vanguardia con modelos significativamente más pequeños y menos cómputo, abordando las preocupaciones de eficiencia y medioambientales de escalar modelos T2I.

Los autores concluyen que este enfoque abre nuevas direcciones de investigación para el preentrenamiento consciente de recompensas, ofreciendo una alternativa estable, eficiente y controlable a las pipelines de alineación de múltiples etapas actuales.