💻 computer science

Scaling Reinforcement Learning for Diffusion Models via Velocity Matching

Este artículo introduce Reward-based Velocity Matching (RVM), un marco de trabajo sin trayectorias, simple y computacionalmente eficiente, que optimiza directamente el campo de velocidad de los modelos de difusión para el ajuste fino basado en recompensas, superando a los métodos existentes de gradiente de política basados en verosimilitud y ofreciendo una perspectiva unificada sobre enfoques recientes y permitiendo la mejora de recompensas dinámicas para la generación de video.

Autores originales: Jaemoo Choi, Wei Guo, Yuchen Zhu, Arash Vahdat, Molei Tao, Julius Berner, Yongxin Chen

Publicado 2026-08-26

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Jaemoo Choi, Wei Guo, Yuchen Zhu, Arash Vahdat, Molei Tao, Julius Berner, Yongxin Chen

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

En el mundo de la inteligencia artificial, que evoluciona rápidamente, ha surgido una clase específica de programas informáticos capaces de crear imágenes deslumbrantes y vídeos realistas a partir de simples descripciones de texto. Estos sistemas, conocidos como modelos de difusión, funcionan aprendiendo a revertir un proceso de corrupción gradual. Imagine tomar una fotografía clara y añadir lentamente ruido estático hasta que se vuelva irreconocible; estos modelos aprenden el camino matemático para ir hacia atrás, comenzando desde el ruido puro y eliminándolo cuidadosamente paso a paso para revelar una imagen coherente. Si bien estas herramientas se han vuelto increíblemente poderosas, enseñarles a seguir las preferencias humanas —como hacer que un vídeo se mueva de forma más natural o que una imagen luzca más bella— ha resultado difícil. Tradicionalmente, los investigadores han intentado adaptar métodos utilizados para los modelos de lenguaje, que dependen del cálculo de la probabilidad de cada posible siguiente paso en una secuencia. Sin embargo, debido a que la generación de imágenes y vídeos implica millones de píxeles cambiando simultáneamente, calcular estas probabilidades es computacionalmente costoso y, a menudo, imposible de realizar con una exactitud perfecta.

Un equipo de investigadores de Georgia Tech y NVIDIA ha encontrado una forma más simple y directa de enseñar a estos modelos lo que los humanos prefieren. En lugar de intentar calcular probabilidades complejas para cada pequeño paso del proceso de generación, propusieron un método que se centra directamente en la "velocidad" de la imagen mientras se forma. En el lenguaje de estos modelos, el sistema predice cómo debería cambiar la imagen de un momento a otro para alcanzar el resultado final. Los investigadores descubrieron que simplemente podían dirigir esta predicción hacia direcciones que conducen a resultados de alta calidad y alejarla de direcciones que conducen a resultados pobres, utilizando una señal de recompensa como guía. Este enfoque, que llaman correspondencia de velocidad basada en recompensas (reward-based velocity matching), evita la necesidad de los complicados cálculos de probabilidad que han ralentizado intentos anteriores.

Los investigadores probaron esta idea en modelos de generación de vídeo a gran escala, los cuales son particularmente costosos de entrenar porque la creación de un solo vídeo requiere una potencia de cómputo significativa. Compararon su nuevo método con técnicas existentes que dependen del seguimiento de toda la trayectoria de la creación del vídeo. Los resultados fueron impactantes: su método más simple produjo vídeos que no solo eran de mejor calidad, sino que también requirieron una fracción del tiempo de computación. En una prueba específica utilizando un modelo llamado Wan2.1, su enfoque logró las puntuaciones de calidad general más altas utilizando solo aproximadamente un doceavo del tiempo de entrenamiento requerido por los mejores métodos anteriores. Esto sugiere que la complejidad de los métodos antiguos era innecesaria; la clave de la mejora no residía en refinar la maquinaria matemática de la probabilidad, sino en cómo se diseñaban y aplicaban las señales de recompensa.

Una parte crítica de su descubrimiento consistió en comprender qué estaban optimizando realmente los modelos. Los investigadores descubrieron que las recompensas estándar, que a menudo se centran en la claridad visual o en qué tan bien coincide el vídeo con una descripción de texto, podrían fomentar inadvertidamente que el modelo produzca imágenes estáticas e inmóviles que se ven limpias pero que son aburridas. Para solucionar esto, introdujeron un nuevo tipo de recompensa que rastrea específicamente el movimiento, asegurando que el vídeo contenga un movimiento significativo. Cuando añadieron esta recompensa centrada en el movimiento a su sistema, los vídeos se volvieron significamente más dinámicos sin perder su calidad visual. Este hallazgo destaca que, para estos modelos potentes, el factor más importante no es la complejidad del algoritmo de entrenamiento, sino la claridad y especificidad de los objetivos establecidos para la máquina.

El estudio también reveló que la fórmula matemática específica utilizada para actualizar el modelo importa menos de lo que se pensaba anteriormente. Los investigadores demostraron que su nuevo método es matemáticamente equivalente a varios otros enfoques recientes, lo que significa que las diferencias de rendimiento entre esos métodos se debían probablemente a cómo configuraban sus recompensas y no al algoritmo central en sí. Al despojar al método de las capas innecesarias de estimación de probabilidad, demostraron que una actualización directa basada en la velocidad es suficiente para guiar al modelo hacia mejores resultados. Esta simplificación abre la puerta a un entrenamiento más eficiente, permitiendo a los investigadores iterar más rápido y potencialmente escalar estas tecnologías hacia tareas aún más complejas sin verse limitados por los costes computacionales.

En última instancia, este trabajo sugiere un cambio en la forma en que pensamos sobre el entrenamiento de la IA generativa. En lugar de tratar el problema como un complejo rompecabezas de estimación de probabilidad, los investigadores demostraron que es mejor verlo como una alineación directa de la dirección interna del modelo con las preferencias humanas. El éxito de su método, que logró resultados superiores con recursos drásticamente reducidos, indica que el futuro del entrenamiento eficiente de la IA puede residir en bucles de retroalimentación más simples y directos. A medida que estos modelos continúen creciendo en tamaño y capacidad, la habilidad para ajustarlos de manera rápida y efectiva será esencial, y este nuevo enfoque ofrece un camino claro y práctico para hacer que la inteligencia artificial sea más sensible a las necesidades humanas.

Resumen Técnico: Escalamiento del Aprendizaje por Refuerzo para Modelos de Difusión mediante el Emparejamiento de Velocidad

Planteamiento del Problema

El ajuste fino basado en recompensas se ha convertido en un mecanismo crítico para alinear los modelos de difusión y de flujo con las preferencias humanas y objetivos de tareas específicos (por ejemplo, alineación semántica, calidad visual, movimiento). Sin embargo, los métodos existentes heredan en gran medida la maquinaria de gradiente de política de los Grandes Modelos de Lenguaje (LLM) autorregresivos, tales como PPO y GRPO. Esta transferencia es problemática porque, a diferencia de los LLM, los modelos de difusión no proporcionan verosimilitudes (likelihoods) tratables para las muestras generadas.

Consecuentemente, los enfoques actuales intentan eludir esta intratabilidad a través de dos rutas complejas:

Métodos basados en trayectorias: Construyen verosimilitudes a partir de transiciones de eliminación de ruido estocásticas de un solo paso a lo largo de una trayectoria muestreada. Esto requiere ejecuciones (rollouts) estocásticas costosas, almacenamiento de trayectorias y, a menudo, produce actualizaciones de alta varianza porque los estados intermedios de eliminación de ruido son estocásticos y no necesariamente más cercanos al punto final limpio que el estado actual.
Métodos basados en ELBO: Aproximan la verosimilitud marginal de la muestra final utilizando un Límite Inferior de la Evidencia (ELBO). Aunque esto desacopla el entrenamiento del muestreador de la trayectoria completa, estos métodos siguen originándose en una formulación de gradiente de política basada en la verosimilitud, reteniendo razones de política estimadas y la carga computacional de la aproximación de la verosimilitud.

La pregunta central planteada por este trabajo es si la estimación de la verosimilitud es realmente necesaria para un ajuste fino de recompensa efectivo en modelos de difusión, o si la actualización del modelo puede simplificarse para actuar directamente sobre su representación de entrenamiento nativa.

Metodología: Emparejamiento de Velocidad Basado en Recompensa (RVM)

Los autores proponen el Emparejimiento de Velocidad Basado en Recompensa (RVM), un mecanismo de actualización simple y libre de trayectorias que opera directamente sobre el campo de velocidad del modelo de difusión.

Objetivo Central

En lugar de construir un objetivo de gradiente de política y aproximar razones de verosimilitud intratables, RVM trata el ajuste fino de recompensa como un problema de regresión sobre el campo de velocidad. Dado un grupo de finales generados $\{x_0^i\}$ , cada muestra se somete a un ruido hacia adelante a un estado intermedio $x_t^i$ con un objetivo de velocidad $v_i = \epsilon_i - x_0^i$ . La velocidad del modelo $v_\theta(x_t, t)$ se actualiza utilizando una función de pérdida compuesta por dos términos:

$\mathcal{L}_{\text{RVM}} = \frac{1}{2} \mathbb{E} \left[ r_i \| v_\theta(x_t^i, t) - v_i \|_2^2 + \beta(r_i) \| v_\theta(x_t^i, t) - v_{\text{anc}}(x_t^i, t) \|_2^2 \right]$

Donde:

$r_i$ (Peso de Recompensa): Una señal de preferencia con signo derivado de la recompensa $R(x_0^i)$ . Las recompensas positivas refuerzan la dirección de la velocidad asociada con la muestra (atrayendo $v_\theta$ hacia $v_i$ ), mientras que las recompensas negativas la suprimen (empujando $v_\theta$ lejos de ella).
$v_{\text{anc}}$ (Velocidad de Anclaje): Un término opcional que controla la deriva del campo de velocidad de referencia (por ejemplo, un modelo de referencia congelado o un EMA de la política actual). Esto evita una deriva excesiva de la política durante el ajuste fino.
Eficiencia: El método requiere solo un estado con ruido por muestra, evitando el almacenamiento de trayectorias completas de eliminación de ruido y el cálculo de razones de verosimilitud.

Unificación Teórica

El artículo demuestra que RVM proporciona un marco general que recupera métodos de ajuste fino recientes como casos especiales:

RAM (Reinforce Adjoint Matching): Se demuestra que es equivalente en actualización a RVM cuando la política de muestreo es on-policy ( $\pi_{\text{old}} = \pi_\theta$ ), el ancla es la velocidad de referencia congelada ( $v_{\text{anc}} = v_{\text{ref}}$ ) y la fuerza del ancla es unitaria.
DiffusionNFT: Se demuestra que es un caso especial de RVM donde el ancla es una velocidad actualizada mediante EMA y la fuerza del ancla depende de la recompensa.
Gradientes de Política basados en ELBO: El artículo muestra que los métodos de Gradiente de Política Exacto (EPG), que dependen de aproximaciones ELBO de razones de logaritmos, se reducen exactamente a RVM cuando se omiten los pesos de importancia y los factores de ponderación dependientes del tiempo.

Esta unificación sugiere que la forma algebraica específica de la pérdida de velocidad es menos crítica que el diseño de los pesos de recompensa y el mecanismo de anclaje.

Contribuciones Clave

Introducción de RVM: Un método simple e independiente de la trayectoria que incorpora la retroalimentación de la recompensa directamente en la representación nativa de emparejamiento de velocidad, eliminando la necesidad de estimar razones de política y el almacenamiento de trayectorias.
Unificación Teórica: La prueba de que RVM generaliza métodos recientes (RAM, DiffusionNFT) y reduce los gradientes de política basados en ELBO a la regresión de velocidad, desplazando el enfoque de la álgebra de la pérdida hacia el diseño de la recompensa y el anclaje.
Eficiencia y Rendimiento Empírico: Demostración de que los métodos basados en velocidad igualan o superan a los baselines basados en trayectorias (FlowGRPO, DanceGRPO) reduciendo sustancialmente los costos de entrenamiento.
Perspectivas del Diseño de Recompensas: Identificación de que, para la generación de video, las recompensas de preferencia estándar suelen favorecer salidas estáticas. Los autores introducen una recompensa de Seguimiento Dinámico (DT) basada en el flujo óptico, que fomenta explícitamente el movimiento significativo, mejorando significativamente el grado de dinamismo y la calidad general del video.

Resultados Experimentales

Los autores evaluaron RVM en modelos de texto-a-imagen (Stable Diffusion 3.5), texto-a-video (Wan2.1-T2V-1.3B) e imagen-a-video (SkyReels-I2V).

Rendimiento: En Wan2.1-T2V-1.3B, RVM alcanzó la puntuación general de VBench más alta (84.13), superando a métodos basados en trayectorias como FlowGRPO (75.91) y DanceGRPO (79.46). Notablemente, RVM logró un Grado de Dinamismo de 75.00, comparado con el 55–58 de los métodos basados en trayectorias.
Eficiencia: RVM redujo los costos de entrenamiento significativamente. En Wan2.1, RVM requirió 525 horas-GPU (8×H100), comparado con 1,159 para FlowGRPO y 6,171 para DanceGRPO/TaRoS. Esto representa una reducción de costos de 2.2× a 11.8×.
Estudios de Ablación:
- Variantes de Pérdida: RVM, RAM y DiffusionNFT se comportaron de manera comparable, confirmando que la variante específica de la pérdida de velocidad importa menos que el diseño de la recompensa y el anclaje.
- Diseño de Recompensa: La adición de la recompensa de Seguimiento Dinámico (DT) fue el principal motor para mejorar la calidad del movimiento, elevando el Grado de Dinamismo de ~5.5 a 75.0.
- Generación de Pocos Pasos: Los modelos ajustados con RVM demostraron una robustez superior a la reducción agresiva de pasos (por ejemplo, inferencia de 4 pasos), manteniendo una alta calidad donde los modelos base se degradaban drásticamente.

Significado y Reivindicaciones

El artículo sostiene que el ajuste fino de recompensa escalable para modelos de difusión se plantea mejor en la representación nativa de velocidad en lugar de como una optimización de política basada en la verosimilitud. Los autores argumentan que la complejidad de los métodos basados en trayectorias y las aproximaciones de verosimilitud es innecesaria.

Las conclusiones clave enfatizadas por los autores incluyen:

Simplicidad: Se puede lograr un ajuste fino efectivo con una pérdida de emparejamiento de velocidad simple sin razones de política ni almacenamiento de trayectorias.
Recompensa sobre Pérdida: La elección específica del funcional de pérdida de velocidad es secundaria; los factores críticos son cómo las recompensas se transforman en pesos de actualización y cómo se ancla el modelo.
Movimiento en Video: Las recompensas de preferencia genéricas pueden conducir a videos estáticos; el seguimiento dinámico explícito es esencial para la generación de video de alta calidad.

El trabajo sugiere que el escalamiento futuro en el post-entrenamiento de modelos de difusión debería centrarse en la especificación de la recompensa y el diseño del anclaje, en lugar de en formulaciones de pérdida de política cada vez más elaboradas.