Resumen Técnico: Alineación y Seguridad de Modelos de Difusión mediante Aprendizaje por Refuerzo y Modelado de Recompensas

1. Planteamiento del Problema

Los modelos de difusión se han consolidado como el paradigma dominante para la generación de imágenes de alta calidad y multimodal. Sin embargo, su entrenamiento estándar mediante máxima verosimilitud sobre amplios datos de internet a menudo resulta en salidas que no se alinean con la intención humana, las preferencias estéticas o las restricciones de seguridad. Los problemas específicos incluyen:

• Mala Alineación con el Prompt: Incapacidad para seguir instrucciones complejas con precisión (por ejemplo, cantidades de objetos, colores).
• Contenido No Deseado: Generación de imágenes ofensivas, violentas o sesgadas debido a los sesgos en los datos de entrenamiento.
• Degradación de la Calidad: Producción de imágenes borrosas o con artefactos cuando no se optimizan explícitamente métricas de calidad específicas.

El desafío central en la alineación de los modelos de difusión radica en la naturaleza del proceso de generación: es una trayectoria iterativa de eliminación de ruido de alta dimensión donde la retroalimentación suele ser escasa (disponible solo en la salida final) y la señal de recompensa (preferencia humana) a menudo no es diferenciable. Incorporar directamente los valores humanos en el bucle de entrenamiento requiere adaptar las técnicas de aprendizaje por refuerzo (RL) y modelado de recompensas a los sesgos inductivos específicos de los procesos de difusión.

2. Metodología y Taxonomía

La encuesta organiza la literatura en cinco ejes principales: la fuente de la retroalimentación, la forma de la señal de recompensa, el mecanismo de optimización, el manejo del desplazamiento de distribución y el tratamiento explícito de la seguridad. Las metodologías se categorizan de la siguiente manera:

2.1 Aprendizaje por Refuerzo a partir de Retroalimentación Humana (RLHF)

Estos enfoques tratan el proceso de muestreo de difusión como un Proceso de Decisión de Markov (MDP) donde la política es el modelo de difusión.

• Pipeline: Se recopila retroalimentación humana (por ejemplo, comparaciones por pares), se utiliza para entrenar un modelo de recompensa escalar ($r_\phi$) y, a continuación, el modelo de difusión se ajusta fino para maximizar esta recompensa.
• Algoritmos: Trabajos tempranos como Lee et al. [2023] utilizaron verosimilitud ponderada por recompensa. DPOK [Fan et al., 2023] introdujo RL en línea con gradientes de política regularizados por KL (similar a PPO) para evitar la deriva del modelo base.
• Variantes Avanzadas: Para abordar la inestabilidad y la ineficiencia en el muestreo, métodos más recientes como variantes de GRPO (Optimización de Política Relativa de Grupo) (por ejemplo, DanceGRPO, Flow-GRPO) muestrean grupos de trayectorias para calcular ventajas relativas sin un crítico de valor separado. TDPO-R [Zhang et al., 2024] aborda el "hackeo de recompensas" introduciendo sesgos inductivos temporales y reiniciando neuronas del crítico sobreactivas.

2.2 Optimización Directa de Preferencias (DPO) y Variantes

Estos métodos evitan el entrenamiento explícito de un modelo de recompensa, optimizando la política directamente sobre datos de preferencia.

• Mecanismo: Al tratar el modelo base como un prior, estos métodos derivan una función de pérdida a partir de preferencias por pares (por ejemplo, $A \succ B$) que actualiza el modelo para aumentar la verosimilitud de las salidas preferidas.
• Adaptaciones: Diffusion-DPO [Wallace et al., 2023a] y D3PO [Yang et al., 2024b] adaptan DPO a la naturaleza multi-paso de la difusión, a menudo descomponiendo la señal de preferencia a través de los pasos de tiempo para gestionar la memoria y la asignación de crédito. Diffusion-KTO [Li et al., 2024a] extiende esto a retroalimentación binaria por imagen (me gusta/no me gusta), utilizando señales débiles del comportamiento del usuario.
• Personalización: Métodos como PPD [Dang et al., 2025] y C-DPO [Dunlop et al., 2026] aprenden incrustaciones específicas del usuario para personalizar la alineación sin reentrenar todo el modelo.

2.3 Ajuste Fino con Recompensa Diferenciable

Esta categoría asume que la función de recompensa es diferenciable (o aproximada por un sustituto) y retropropaga gradientes a través del proceso de muestreo.

• Enfoque: En lugar de tratar al generador como una caja negra, estos métodos tratan la trayectoria de eliminación de ruido como un grafo de computación. AlignProp [Prabhudesai et al., 2024] y DRaFT [Clark et al., 2024] realizan una retropropagación de extremo a extremo del gradiente de recompensa a través de los pasos de difusión.
• Optimizaciones: Para gestionar la memoria, las técnicas incluyen checkpointing de gradientes, adaptadores de bajo rango y truncamiento de la retropropagación a los pasos finales. LaSRO [Jia et al., 2025a] aprende una recompensa sustituto diferenciable en el espacio latente para manejar recompensas no diferenciables en modelos altamente destilados.

2.4 Técnicas Específicas de Seguridad y Conscientes de la Región

Mientras que la alineación genérica mejora la calidad, la seguridad a menudo requiere restricciones explícitas.

• Alineación Dirigida: AlignGuard [Liu et al., 2025b] entrena expertos en seguridad utilizando pérdidas estilo DPO en pares etiquetados por seguridad.
• Específicas de Región: Focus-N-Fix [Xing et al., 2024] identifica regiones problemáticas (por ejemplo, contenido NSFW) mediante máscaras de atención y ajusta fino solo esas áreas espaciales específicas, preservando la fidelidad y el estilo del resto de la imagen.

3. Contribuciones Clave

El artículo proporciona un mapa técnico coherente del campo emergente de la alineación de modelos de difusión. Sus contribuciones principales incluyen:

1. Taxonomía Estructurada: Una clasificación de métodos de alineación basada en fuentes de retroalimentación, formas de recompensa y mecanismos de optimización, aclarando las relaciones entre RLHF, DPO y enfoques diferenciables.
2. Explicaciones Tutorial: Inclusión de explicaciones fundamentales para el muestreo de difusión, el modelado de recompensas y la optimización de preferencias para hacer la encuesta accesible a una audiencia más amplia.
3. Análisis Comparativo: Una comparación sistemática de métodos representativos (resumidos en la Tabla 1) a través de dimensiones como requisitos de retroalimentación, costo computacional, escalabilidad, susceptibilidad al hackeo de recompensas y adecuación para la seguridad.
4. Síntesis de Desafíos Abiertos: Identificación de cinco brechas de investigación críticas:
   • Alineación Multiobjetivo: Equilibrar objetivos conflictivos (por ejemplo, seguridad vs. fidelidad del prompt) sin olvidar catastrófico.
   • Eficiencia de la Retroalimentación: Reducir la dependencia de datos humanos costosos mediante aprendizaje activo y retroalimentación sintética (RLAIF).
   • Robustez Adversarial: Desarrollar mecanismos de seguridad robustos frente a prompts adversarios y desplazamientos de distribución.
   • Alineación Continua: Adaptar modelos a normas y preferencias de usuarios en evolución sin reentrenamiento completo.
   • Interpretabilidad: Ir más allá de modelos de recompensa de caja negra hacia señales de preferencia descomponibles y auditables.

4. Resultados y Tendencias

La encuesta sintetiza hallazgos de la literatura para destacar varias tendencias:

• Cambio de RL a Optimización Directa: Mientras que los primeros métodos RLHF (por ejemplo, Lee et al., 2023) demostraron la viabilidad de la alineación, los nuevos métodos diferenciables (AlignProp, DRaFT) y los métodos de preferencia directa (variantes de DPO) a menudo demuestran una eficiencia de muestreo y estabilidad de entrenamiento superiores.
• Manejo del Hackeo de Recompensas: El RL ingenuo a menudo conduce al hackeo de recompensas (explotar peculiaridades del modelo de recompensa). Se ha demostrado que técnicas como TDPO-R (corrección de sesgo temporal) y la regularización KL en DPOK mitigan esto.
• Convergencia de Datos y Modelos: El campo converge hacia conjuntos de datos estándar (por ejemplo, Pick-a-Pic, HPSv2) y modelos de recompensa (por ejemplo, ImageReward, PickScore) para la evaluación, permitiendo una evaluación comparativa más rigurosa.
• Arquitecturas Híbridas: Los enfoques más efectivos a menudo combinan métodos, como el uso de recompensas diferenciables para velocidad mientras se aplican restricciones estilo RL para prevenir el desplazamiento de distribución, o superponer correcciones de seguridad específicas de región sobre modelos alineados globalmente.

5. Significado

El artículo afirma que, aunque se ha logrado un progreso significativo en la alineación de modelos de difusión, el despliegue confiable en contextos críticos para la seguridad o en evolución del mundo real sigue siendo un desafío abierto. El significado de esta encuesta radica en:

• Identificación de Brechas Metodológicas: Destaca que los métodos actuales a menudo luchan con compensaciones multiobjetivo, robustez adversarial y el alto costo de la retroalimentación humana.
• Provisión de una Hoja de Ruta: Al sintetizar la literatura en un conjunto de desafíos abiertos, guía la investigación futura hacia marcos unificados para la alineación multiobjetivo, el aprendizaje activo para la eficiencia de datos y el modelado de recompensas interpretable.
• Contextualización de la Seguridad: Enfatiza que la seguridad no puede tratarse meramente como una preferencia genérica, sino que a menudo requiere estrategias de alineación explícitas, conscientes de la región o basadas en restricciones para prevenir salidas dañinas sin degradar la utilidad general.

La encuesta concluye que alinear la IA generativa con los valores humanos es un prerrequisito para trasladar estos modelos de entornos de laboratorio a flujos de trabajo profesionales y creativos diarios. Las direcciones de investigación identificadas buscan garantizar que los futuros modelos generativos no solo sean capaces, sino también confiables, robustos y alineados con las normas éticas humanas.