💻 computer science

On-Policy Self-Distillation in Diffusion Models

El artículo presenta DiffusionOPSD, un marco de autodestilación on-policy que convierte las recompensas a nivel de imagen en objetivos de supervisión intermedia explícitos para modelos de difusión, logrando un rendimiento de alineación superior y ganancias significativas en la eficiencia de entrenamiento en comparación con los métodos existentes.

Autores originales: Wei Zhou, Xiongwei Zhu, Lingdong Kong, Bo Chen, Lei Zhang, Yongyuan Liang, Xiaoxia Hou, Ye Tian, Xian Sun, Yingshuo Wang, Linfeng Li, Shengqiong Wu, Leigang Qu, Feng Li, Wei Liu, Julian McAuley, Tat-S

Publicado 2026-08-26

📖 6 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Wei Zhou, Xiongwei Zhu, Lingdong Kong, Bo Chen, Lei Zhang, Yongyuan Liang, Xiaoxia Hou, Ye Tian, Xian Sun, Yingshuo Wang, Linfeng Li, Shengqiong Wu, Leigang Qu, Feng Li, Wei Liu, Julian McAuley, Tat-Seng Chua

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

En el mundo de la inteligencia artificial, existe una clase creciente de sistemas capaces de pintar imágenes de la nada, convirtiendo una simple frase como "un gato con un sombrero" en una imagen vívida. Estos sistemas, conocidos como modelos de difusión, funcionan comenzando con una nube caótica de ruido estático y limpiándola gradualmente, paso a paso, hasta que emerge una imagen clara. Durante años, los investigadores se han centrado en hacer que estas imágenes se vean más nítidas o realistas. Más recientemente, el objetivo se ha desplazado hacia lograr que se alineen con las preferencias humanas, asegurando que la IA entienda no solo cómo se ve un objeto, sino qué encuentran los humanos hermoso o útil. Para enseñar estas preferencias a un modelo, los científicos suelen utilizar un método llamado aprendizaje por refuerzo. En esta configuración, la IA genera una imagen, un programa informático la califica según qué tan bien coincide con un resultado deseado, y la IA intenta mejorar su siguiente intento basándose en esa calificación. Sin embargo, existe un problema fundamental en este proceso: la puntuación solo se otorga al final, después de que la imagen está terminada. La IA se queda adivinando cómo ajustar sus pasos intermedios —las etapas desordenadas y borrosas de la creación— para alcanzar esa buena puntuación final. Es como intentar aprender una habilidad compleja siendo solamente informado si ganaste o perdiste al final del juego, sin recibir ningún tipo de retroalimentación sobre tus movimientos específicos durante el partido.

Un equipo de investigadores ha introducido un nuevo método llamado DiffusionOPSD para resolver este problema específico. En lugar de esperar hasta que la imagen esté completa para ofrecer retroalimentación, su enfoque descompone el proceso en momentos manejables. Tratan el proceso de generación de la IA como una serie de instantáneas. En una etapa específica y temprana de la creación de una imagen, hacen una pausa y piden al programa informático que evalúe cómo se vería la imagen si se detuviera justo ahí. Utilizando esta evaluación, calculan una dirección precisa de mejora, creando un objetivo claro al que la IA debe apuntar. Este objetivo no es solo una sugerencia vaga; es una instrucción concreta y acotada que le dice a la IA exactamente cómo desplazar su predicción actual para que el resultado final sea mejor. Los investigadores luego entrenan a la IA para moverse hacia ese objetivo. Crucialmente, hacen esto en un bucle: la IA realiza un movimiento, el sistema calcula un nuevo objetivo basado en el propio comportamiento actual de la IA, y la IA aprende de esa instrucción específica antes de que el sistema actualice su propia comprensión para la siguiente ronda. Este ciclo permite que la IA aprenda de la retroalimentación inmediata y accionable, en lugar de de resultados finales distantes.

Los investigadores probaron este método en dos sistemas diferentes de generación de imágenes potentes. En casi todos los escenarios que probaron, involucrando diez formas diferentes de juzgar la calidad de la imagen, su nuevo método produjo mejores resultados que las técnicas más fuertes existentes. En diecinueve de veinte comparaciones, la IA entrenada con este nuevo enfoque creó imágenes que fueron calificadas más alto tanto por sistemas de puntuación automatizados como por evaluadores humanos. La mejora fue significativa; en algunos casos, la calidad de las imágenes aumentó casi un cuarenta y cuatro por ciento en comparación con el mejor método anterior. Más allá de solo crear mejores imágenes, el nuevo enfoque es también mucho más eficiente. Requirió un cuarenta por ciento menos de tiempo de computación en un sistema y un sesenta y tres por ciento menos en el otro para lograr estos resultados. Esta eficiencia es importante porque entrenar estos modelos suele demandar cantidades masivas de energía y hardware costoso. Al reducir el tiempo necesario, el método hace que sea más factible refinar estas herramientas para tareas específicas sin un costo abrumador.

Un descubrimiento clave en este trabajo fue que el simple hecho de tener una mejor idea de qué mejorar no garantiza que la IA mejore realmente de inmediato. Los investigadores encontraron que podían medir dos cosas distintas: la calidad de la instrucción dada a la IA y qué tan bien la IA siguió esa instrucción en un solo paso de entrenamiento. A veces, una instrucción muy fuerte conducía solo a una pequeña mejora, mientras que una instrucción más débil conducía a una mayor. Esta separación les permitió ver que el éxito de su método provenía tanto de la creación de instrucciones claras como de asegurar que la IA pudiera aprender de ellas de manera efectiva en un solo intento. También probaron si la IA necesitaba ver exactamente la misma imagen desordenada que había generado antes, o si podía aprender de una versión ligeramente diferente de esa imagen. Encontraron que el origen de la imagen importaba muy poco; lo que realmente impulsaba la mejora era la dirección de la retroalimentación en sí misma. Esto sugiere que el método es robusto y depende de la calidad de la guía en lugar de los detalles específicos de la imagen analizada.

Cuando los investigadores observaron las imágenes reales producidas, las diferencias eran claras. La IA entrenada con este nuevo método era mejor siguiendo instrucciones complejas, como incluir texto específico, mantener la identidad de los objetos o capturar efectos de movimiento e iluminación. En comparaciones directas, los jueces humanos prefirieron las imágenes del nuevo método sobre las de las técnicas anteriores más destacadas en la mayoría de los casos. Las imágenes eran más consistentes con los prompts, preservando detalles que otros métodos a menudo perdían o distorsionaban. Los investigadores también demostraron que este método puede manejar múltiples objetivos a la vez. Entrenaron a una sola IA para satisfacer tres criterios diferentes simultáneamente, y esta tuvo éxito en mejorar los tres sin sacrificar el rendimiento en ninguno de ellos. Esto muestra que el enfoque es lo suficientemente flexible como para manejar requisitos complejos del mundo real donde una imagen necesita ser buena en varias formas al mismo tiempo.

El trabajo representa un cambio en la forma en que enseñamos a estos sistemas potentes. Al convertir una puntuación final en una instrucción intermedia clara, los investigadores han proporcionado una forma de guiar el proceso de pensamiento de la IA paso a paso. Este enfoque evita las conjeturas de los métodos tradicionales y permite un camino más directo y eficiente hacia mejores resultados. Los hallazgos sugieren que el futuro del entrenamiento de estos modelos puede residir en descomponer metas complejas en pasos pequeños y explícitos que la IA pueda entender y ejecutar de inmediato. El método no depende de la magia o de trucos complejos; se basa en un proceso claro y repetible de establecer un objetivo, medir la distancia hacia él y dar un paso. El resultado es un sistema que aprende más rápido, utiliza menos energía y crea imágenes que son más fieles a la intención humana.

Resumen Técnico: Auto-destilación On-Policy en Modelos de Difusión (DiffusionOPSD)

1. Planteamiento del Problema

El aprendizaje por refuerzo (RL) se utiliza cada vez más para alinear modelos de difusión y de flujo con las preferencias humanas y los objetivos específicos de una tarea. Sin embargo, existe un desajuste estructural fundamental entre las recompensas de punto final (endpoint rewards) y las predicciones de eliminación de ruido intermedias. En la generación de difusión estándar, una muestra se produce mediante una secuencia de pasos de eliminación de ruido interdependientes, pero la señal de recompensa solo se observa después de que el endpoint del despliegue (rollout) final es decodificado.

Los métodos existentes intentan cerrar esta brecha, pero enfrentan limitaciones específicas:

Métodos de gradiente de política (p. ej., FlowGRPO): Dependen de estimaciones de ventaja muestreadas y de la asignación de crédito de la trayectoria, lo cual depende fuertemente de los presupuestos de muestreo, la estimación de verosimilitud y las elecciones de discretización. No construyen objetivos de mejora locales explícitos.
Métodos de recompensa diferenciable (p. ej., ReFL): Realizan retropropagación de recompensas a través de una única predicción de estado tardío. Si bien acoplan la evaluación de la recompensa con la optimización, a menudo ejecutan el prefijo sin gradientes y no decodifican el endpoint completo del despliegue, lo que limita el alcance de la actualización.
Métodos supervisados por el punto final (p. ej., DiffusionNFT): Reponderan los endpoints del despliegue, pero no especifican cómo una predicción intermedia debería cambiar para mejorar el resultado final.

El desafío central es traducir la recompensa a nivel de resultado en una supervisión accionable y explícita para las consultas de eliminación de ruido intermedias, distinguiendo entre la calidad del objetivo construido y la capacidad del modelo para realizar dicho objetivo mediante actualizaciones finitas.

2. Metodología: DiffusionOPSD

Los autores presentan DiffusionOPSD, un marco de auto-destilación on-policy que convierte los gradientes de recompensa a nivel de imagen en objetivos explícitos para las predicciones de salida limpia. El método opera en un bucle iterativo que consta de tres etapas principales:

A. Recolección de Consultas y Generación de Anclas

En cada iteración externa $i$ , una política de comportamiento congelada ( $v_{\theta_{old}}$ ) genera trayectorias para un conjunto de prompts.

Anclas: Para un estado de consulta de bajo ruido muestreado $s = (c, z_q, \sigma_q)$ , la política de comportamiento produce una "predicción de salida limpia" (ancla) $y_0 = z_q - \sigma_q v_{\theta_{old}}(s)$ . Este $y_0$ sirve como punto de referencia para la construcción del objetivo.
Recompensas: La política también genera endpoints de despliegue para calcular los pesos de ajuste normalizados por grupo ( $\omega$ ) basados en las recompensas del endpoint, los cuales controlan la fuerza relativa del ajuste positivo frente al negativo.

B. Construcción de Objetivos

En lugar de usar el endpoint directamente, el método construye objetivos positivos y negativos acotados alrededor del ancla $y_0$ utilizando gradientes de recompensa:

Objetivo Positivo ( $\bar{y}_+$ ): Se construye tomando pasos estabilizados y normalizados en la dirección del ascenso del gradiente de recompensa ( $\nabla_y \tilde{R}$ ).
Objetivo Negativo ( $\bar{y}_-$ ): Se construye tomando pasos en la dirección opuesta (descenso de recompensa), actuando como una referencia repulsiva.
Acotamiento: Estos objetivos se proyectan sobre una bola de región de confianza de radio $\rho \|y_0\|$ para garantizar la estabilidad.
Desacoplamiento (Detachment): Los objetivos construidos se desacoplan (stop-gradient) del grafo de computación de la recompensa. Esto separa la construcción del objetivo del proceso de ajuste.

C. Ajuste Finito y Actualización de la Política

Una política entrenable ( $v_\theta$ ) se actualiza para ajustar estos objetivos desacoplados:

Ramas de Ajuste: La salida del modelo se divide en dos ramas: una rama atractiva que se mueve hacia $\bar{y}_+$ y una rama repulsiva que se aleja de $\bar{y}_-$ .
Función de Pérdida: El objetivo minimiza la distancia entre las predicciones del modelo y los objetivos desacoplados, ponderados por los pesos de recompensa normalizados por grupo.
Actualización de la Política de Comportamiento: Después de un número finito de actualizaciones de ajuste (p. ej., $M_{fit}=1$ ), la política de comportamiento se actualiza mediante una Media Móvil Exponencial (EMA) de la política entrenable. Esto asegura que las consultas y anclas de la siguiente iteración sean generadas por una política que ha incorporado el aprendizaje previo, manteniendo la naturaleza "on-policy" de la destilación.

3. Contribuciones Clave

Innovación Metodológica: La introducción de un bucle de auto-destilación on-policy que construye objetivos positivos y negativos explícitos y acotados a partir de gradientes de recompensa a nivel de imagen. A diferencia del trabajo previo, no depende de pesos de ventaja implícitos o supervisión únicamente del endpoint.
Análisis Desacoplado: El marco separa explícitamente la construcción del objetivo (la ganancia potencial de la dirección del gradiente de recompensa) de la realización finita (la ganancia real lograda tras una actualización del modelo). Esto permite diagnosticar si los cuellos de botella del rendimiento provienen de una mala construcción del objetivo o de la incapacidad del modelo para ajustarse al mismo.
Eficiencia y Rendimiento: El método logra resultados de vanguardia con costos computacionales significativamente reducidos en comparación con las líneas base existentes.

4. Resultados Experimentales

Los autores evaluaron DiffusionOPSD en dos backbones: SD3.5-M y el modelo de paso destilado Z-Image-Turbo, a través de diez evaluadores (incluyendo Pick-a-Pic, CLIPScore, HPSv2.1 y modelos de preferencia internos).

Rendimiento en Datos No Vistos (Held-Out): DiffusionOPSD logró los mejores puntajes finales de held-out en 19 de 20 configuraciones de emparejamiento de recompensa.
- En SD3.5-M, superó al método competidor más fuerte hasta en un 44.0% (en VLM-Pairwise) y un 43.0% (en HPSv3).
- En Z-Image-Turbo, lideró las diez comparaciones de emparejamiento de recompensa, con ganancias que oscilan entre el 3.9% y el 30.7% sobre las mejores líneas base.
Eficiencia de Entrenamiento: DiffusionOPSD redujo las horas de GPU de entrenamiento en relación con DiffusionNFT en un 40% en SD3.5-M y un 63% en Z-Image-Turbo.
Entrenamiento de Multi-Recompensa: Una única política entrenada conjuntamente en PickScore, CLIPScore y HPSv2.1 superó a DiffusionNFT en los tres objetivos simultáneamente, reteniendo casi todas las ganancias de los especialistas entrenados por separado.
Mejoras Cualitativas: Las evaluaciones humanas mostraron una preferencia por DiffusionOPSD sobre el modelo base, FlowGRPO, DiffusionNFT y ReFL en el 64% al 90% de los prompts, con mejoras significativas en la fidelidad del prompt, la renderización de texto y los detalles estructurales finos.

5. Significado y Reivindicaciones

El artículo afirma que DiffusionOPSD establece la auto-destilación on-policy como un enfoque eficiente y analizable para el post-entrenamiento de difusión. Al convertir la guía de recompensa a nivel de imagen en una supervisión intermedia explícita que se actualiza continuamente a medida que la política evoluciona, el método:

Resuelve el Desajuste Estructural: Proporciona un mecanismo directo para traducir las recompensas de punto final en objetivos intermedios accionables sin depender de la asignación de crédito a nivel de trayectoria o de la supervisión exclusiva del endpoint.
Permite el Diagnóstico: La separación de la construcción del objetivo y el ajuste finito permite a los investigadores medir la "ganancia de construcción" frente a la "ganancia realizada", revelando que mayores ganancias a nivel de objetivo no siempre se traducen en mayores ganancias realizadas tras una única actualización.
Ofrece Eficiencia: Logra una alineación superior con las preferencias humanas mientras reduce significativamente el costo computacional en comparación con los métodos actuales de vanguardia como DiffusionNFT.

Los autores concluyen que este enfoque abre un camino hacia un alineamiento más eficiente y diagnosticable para los modelos de difusión, yendo más allá de las limitaciones de la supervisión basada únicamente en la recompensa del punto final.