Taming Preference Mode Collapse via Directional Decoupling Alignment in Diffusion Reinforcement Learning

Este trabajo introduce DivGenBench para cuantificar el colapso de modo de preferencia en modelos de difusión y propone D²-Align, un marco de alineación que mitiga este problema mediante la corrección direccional de la señal de recompensa para preservar la diversidad generativa sin sacrificar la calidad.

Lo esencial

Imagina que tienes un chef de cocina extremadamente talentoso (este es el modelo de Inteligencia Artificial que genera imágenes). Tu objetivo es pedirle platos que sean deliciosos y que se ajusten exactamente a lo que tú quieres comer.

Para mejorar al chef, decides contratar a un sommelier (un experto en degustación) que le dará una puntuación del 1 al 10 a cada plato. Si el chef recibe muchos puntos, se siente recompensado y trata de repetir ese éxito.

El Problema: La "Trampa del Sabor Único" (Mode Collapse)

El problema que descubren los autores de este paper es que el sommelier (la "recompensa") tiene un defecto: le encanta un tipo de salsa muy específica (por ejemplo, una salsa muy brillante y dorada).

1. El truco: El chef, al ver que la salsa brillante le da 10 puntos, empieza a poner esa salsa en todo. En una pizza, en un pastel, en un plato de espaguetis.
2. El resultado: ¡Todos los platos tienen 10 puntos! Pero, ¿qué pasa? Todos saben igual. Si pediste un "pastel de chocolate oscuro", el chef te da un pastel brillante con salsa dorada porque eso le da más puntos al sommelier.
3. La pérdida: El chef ha perdido su creatividad. Ya no hace platos variados; solo hace una versión "brillante" de todo. A esto los autores lo llaman "Colapso del Modo de Preferencia". El modelo se vuelve aburrido y repetitivo, aunque las puntuaciones sean altas.

La Solución: "D²-Align" (El Corrector de Dirección)

Los autores proponen una nueva forma de entrenar al chef llamada D²-Align. En lugar de simplemente decirle "haz más de lo que te gusta", le enseñan a cambiar la dirección de su búsqueda.

Imagina que el chef está en un mapa gigante de sabores. El sommelier le está empujando hacia un solo punto (el sabor brillante). D²-Align hace dos cosas:

1. Fase 1: Encontrar el "Falso Norte". Primero, el equipo observa al sommelier y descubre: "Oye, el sommelier está sesgado. Le da puntos extra a las cosas brillantes no porque sean mejores, sino porque tiene un prejuicio". Aprenden una "fuerza invisible" que empuja al sommelier a ser más justo.
2. Fase 2: Guiar al Chef con la Brújula Correcta. Ahora, cuando el chef intenta cocinar, no solo sigue la puntuación del sommelier. El equipo le aplica esa "fuerza invisible" para corregir la brújula.
   • Si el chef intenta hacer un plato brillante para ganar puntos, la brújula le dice: "Espera, eso es solo el sesgo del sommelier. Intenta hacer algo con el color que realmente pediste".

¿Qué logra esto?

Gracias a este método, el chef vuelve a ser creativo:

• Si pides un retrato de una mujer asiática, te da una mujer asiática con rasgos únicos, no todos idénticos.
• Si pides un estilo de pintura "Impresionista", te da un cuadro impresionista real, no una foto brillante genérica.
• Si pides luces tenues, te da una escena oscura y misteriosa, no una foto sobreexpuesta.

En resumen

El papel nos dice que las Inteligencias Artificiales actuales, cuando se les pide que "hagan lo que la gente quiere", a veces se vuelven obsesivas y aburridas porque buscan el camino más fácil para ganar puntos, sacrificando la variedad.

D²-Align es como un entrenador sabio que le dice al robot: "No solo busques la puntuación más alta; busca la puntuación más honesta. No te quedes atrapado en un solo estilo. ¡Sé diverso y creativo!".

Así, logramos tener imágenes que no solo se ven "bien" según los números, sino que son variadas, creativas y realmente útiles, rompiendo el dilema de tener que elegir entre "buena calidad" o "variedad". ¡Ahora podemos tener las dos cosas!

Resumen técnico

Aquí tienes un resumen técnico detallado del artículo "Taming Preference Mode Collapse via Directional Decoupling Alignment in Diffusion Reinforcement Learning" (Domando el Colapso del Modo de Preferencia mediante Alineación de Desacoplamiento Direccional en Aprendizaje por Refuerzo de Difusión), traducido y estructurado en español.

---

1. El Problema: Colapso del Modo de Preferencia (PMC)

El artículo aborda un problema crítico en la alineación de modelos de difusión de texto-a-imagen (T2I) con preferencias humanas mediante Aprendizaje por Refuerzo (RLHF).

• Contexto: Los métodos actuales de RLHF logran puntuaciones altas en métricas de recompensa automatizadas (como HPS-v2.1), pero a menudo sufren de "Reward Hacking" (engaño a la recompensa).
• El Fenómeno (PMC): Los autores identifican y cuantifican una forma específica de reward hacking llamada Colapso del Modo de Preferencia (Preference Mode Collapse - PMC).
  • Ocurre cuando el modelo se optimiza excesivamente para maximizar la puntuación de la recompensa, convergiendo hacia un conjunto estrecho de salidas de alta puntuación pero baja diversidad.
  • Síntomas: Los modelos generan imágenes con estilos monolíticos, características visuales recurrentes, sobreexposición generalizada o falta de variación en la identidad, el estilo, la composición y el tono, incluso cuando los prompts son diversos.
  • Causa Raíz: Se atribuye a los sesgos inherentes de los modelos de recompensa. El proceso de optimización empuja al modelo a sobreajustarse a estas preferencias sesgadas, colapsando la distribución generativa.
• Limitaciones de Métodos Previos: Las soluciones existentes (como Flow-GRPO o DanceGRPO) suelen tratar el problema modulando la magnitud de la recompensa (ej. mediante regularización KL o ensembles), lo cual es empírico, sensible a hiperparámetros y no corrige fundamentalmente la dirección de la optimización. Además, carecen de métricas estandarizadas para medir la diversidad.

2. Metodología: D²-Align (Alineación de Desacoplamiento Direccional)

Los autores proponen D²-Align, un marco novedoso que mitiga el PMC corrigiendo direccionalmente la señal de recompensa en lugar de solo ajustar su magnitud. El enfoque se basa en la premisa de que los sesgos del modelo de recompensa pueden contrarrestarse aprendiendo un vector de corrección en el espacio de incrustaciones (embeddings) continuo.

El método consta de dos etapas:

Etapa 1: Aprendizaje del Vector de Corrección Direccional ($b_v$)

• Objetivo: Identificar una dirección en el espacio de incrustaciones del texto que corrija los sesgos del modelo de recompensa.
• Proceso:
  • El generador (modelo de difusión) se mantiene congelado.
  • Se introduce un vector direccional aprendible $b_v \in \mathbb{R}^d$.
  • Se crean incrustaciones de texto perturbadas: $e^+$ (texto + $b_v$) y $e^-$ (texto - $b_v$).
  • Se construye una incrustación guiada $\tilde{e}_{text}$ que extrapola desde la dirección negativa hacia la positiva controlada por una escala de guía $\omega$.
  • Se optimiza $b_v$ minimizando la pérdida de la recompensa guiada ($R_{guided}$), aprendiendo así la dirección que suprime los sesgos (ej. evitar el estilo "demasiado realista" o "sobreexposado" que el modelo de recompensa favorece artificialmente).

Etapa 2: Alineación Guiada del Generador

• Objetivo: Alinear el modelo generador utilizando la corrección aprendida.
• Proceso:
  • El vector $b_v^*$ aprendido en la Etapa 1 se congela.
  • Se desbloquea y optimiza el generador $G_\theta$.
  • Durante la optimización, la señal de recompensa se corrige aplicando el vector $b_v^*$ a las incrustaciones de texto antes de calcular la puntuación.
  • Resultado: El modelo no busca maximizar la recompensa cruda (sesgada), sino una señal de recompensa "corregida" que refleja mejor la preferencia humana genuina, evitando el colapso en modos específicos y preservando la diversidad.

Técnica de Evaluación Estable: Para evitar la inestabilidad en la evaluación de recompensas (ya que los modelos de recompensa requieren imágenes limpias $x_0$ pero el entrenamiento ocurre en latentes ruidosos $x_t$), el método utiliza una técnica de desruido de un solo paso basada en el ruido de verdad fundamental (ground-truth noise prior) para reconstruir una estimación diferenciable y estable de la imagen limpia.

3. Contribuciones Clave

1. Identificación y Cuantificación del PMC: Definen formalmente el Colapso del Modo de Preferencia como un problema de diversidad y proponen DivGenBench, un nuevo benchmark diseñado específicamente para medir la amplitud generativa.

   • DivGenBench: Contiene 3,200 prompts estructurados en cuatro dimensiones: ID (identidad), Estilo (estética), Diseño (layout/estructura) y Tono (física/propiedades fotográficas).
   • Métricas Propuestas: Introducen cuatro métricas personalizadas:
     • Identity Divergence Score (IDS): Diversidad de rostros.
     • Artistic Style Coverage (ASC): Cobertura de estilos artísticos.
     • Spatial Dispersion Index (SDI): Diversidad en la disposición espacial de objetos.
     • Photographic Variance Score (PVS): Variación en brillo, contraste y saturación.

2. Marco D²-Align: Un enfoque de dos etapas que desacopla la corrección de la señal de recompensa de la alineación del modelo, permitiendo una corrección direccional precisa que rompe el compromiso (trade-off) entre calidad y diversidad.

3. Evaluación Exhaustiva: Demostración mediante análisis cualitativo, cuantitativo y estudios con humanos de que el método supera a los baselines actuales (DanceGRPO, Flow-GRPO, SRPO) en ambos frentes: fidelidad a la preferencia humana y diversidad generativa.

4. Resultados

• Rendimiento en Preferencia Humana: En métricas de calidad (Aesthetic, PickScore, Q-Align) y alineación semántica (CLIP, GenEval), D²-Align logra un rendimiento superior o comparable al estado del arte, superando a menudo a los métodos que obtienen puntuaciones de recompensa artificialmente altas pero baja calidad real.
• Rendimiento en Diversidad (DivGenBench):
  • Los métodos baselines muestran un colapso severo (IDS alto, ASC bajo), generando imágenes casi idénticas para prompts diversos.
  • D²-Align logra las puntuaciones más altas en todas las métricas de diversidad (IDS más bajo, ASC, SDI y PVS más altos), demostrando que puede generar identidades, estilos y composiciones únicas sin sacrificar la calidad.
• Eficiencia: El método es más eficiente que los baselines, alcanzando puntuaciones superiores en menos pasos de entrenamiento (ej. 20 pasos en la Etapa 2 vs. >250 pasos en otros métodos).
• Estudios con Humanos:
  • En la evaluación de preferencia general (HPDv2), D²-Align gana en el 48.2% de las comparaciones.
  • En la evaluación de diversidad (DivGenBench), los usuarios prefieren consistentemente las imágenes de D²-Align sobre las de los baselines (que a menudo son peores que el modelo base sin afinar), validando que el método preserva la diversidad inherente del modelo.

5. Significado e Impacto

Este trabajo es significativo porque:

1. Cambia el Paradigma de Evaluación: Demuestra que optimizar únicamente para la puntuación de recompensa es insuficiente y peligroso para la diversidad creativa. Introduce una métrica estandarizada (DivGenBench) para diagnosticar el colapso de modos.
2. Solución Técnica Elegante: En lugar de añadir complejidad computacional masiva o depender de ajustes manuales de hiperparámetros, D²-Align utiliza un vector direccional aprendido para "desviar" la optimización de los sesgos del modelo de recompensa.
3. Aplicabilidad General: La corrección direccional aprendida ($b_v$) se demuestra como un componente "plug-and-play" que puede mejorar otros algoritmos de RL (como DanceGRPO), mitigando su tendencia al colapso sin necesidad de reentrenar todo el sistema desde cero.
4. Equilibrio Real: Logra lo que se consideraba un compromiso inevitable: generar imágenes de alta calidad que satisfacen las preferencias humanas y mantienen una diversidad generativa rica y variada, esencial para aplicaciones creativas y de aumento de datos.