🤖 machine learning

MeanFlowNFT: Bringing Forward-Process RL to Average-Velocity Generators

El artículo presenta MeanFlowNFT, un novedoso marco que adapta el método de Aprendizaje por Refuerzo de proceso hacia adelante DiffusionNFT a los generadores MeanFlow mediante la construcción de un predictor de velocidad instantánea inducida, permitiendo así una optimización de recompensa eficiente que preserva el muestreo rápido de pocos pasos mientras supera significativamente a los modelos existentes ajustados por RL de pocos y hasta de múltiples pasos en la generación de imágenes y videos.

Autores originales: Yushi Huang, Xiangxin Zhou, Jun Zhang, Liefeng Bo, Tianyu Pang

Publicado 2026-07-17

📖 4 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Yushi Huang, Xiangxin Zhou, Jun Zhang, Liefeng Bo, Tianyu Pang

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás intentando enseñarle a un robot artista a pintar un cuadro de un "coche elegante conduciendo por una calle cyberpunk iluminada con luces de neón". En el mundo de la inteligencia artificial, los mejores artistas actuales utilizan una técnica llamada difusión o flujo. Piensa en esto como un escultor tallando un bloque de mármol. Comienzan con un bulto rugoso y ruidoso de piedra (estática aleatoria) y realizan ajustes diminutos y cuidadosos paso a paso para revelar la estatua final. El problema es que este proceso es lento. Para obtener una imagen realmente buena, el robot podría necesitar dar 50 o incluso 100 pasos diminutos, revisando su trabajo después de cada pequeño golpe. Es como cruzar una habitación dando pasos de una pulgada; llegarás, pero toma una eternidad.

Para hacer esto más rápido, los científicos inventaron recientemente un nuevo truco llamado MeanFlow. En lugar de dar pasos diminutos, el robot aprende a predecir la "velocidad promedio" que necesita recorrer durante un tramo completo de tiempo. Es como si el robot aprendiera a dar saltos gigantes y seguros a través de la habitación en lugar de arrastrarse. Esto le permite crear imágenes de alta calidad en solo unos pocos pasos. Sin embargo, hay un inconveniente: estos robots rápidos son difíciles de enseñar lo que a los humanos realmente les gusta. Normalmente, para enseñar a una IA a ser más creativa o a seguir reglas mejor, utilizamos un método llamado Aprendizaje por Refuerzo (RL). Pero los mejores métodos de RL que tenemos actualmente fueron diseñados para los robots lentos y paso a paso, no para los rápidos y saltadores. Intentar enseñar al robot rápido con las lecciones de los viejos robots lentos es como intentar enseñarle a un guepardo a correr dándole instrucciones destinadas a una tortuga; las matemáticas simplemente no encajan.

Aquí es donde entra el nuevo artículo, MeanFlowNFT. Los investigadores se hicieron una pregunta simple pero complicada: ¿Podemos enseñar a nuestro robot rápido y saltador a ser aún mejor utilizando los mismos métodos de RL eficientes que usamos para los lentos, sin ralentizarlo?

La respuesta es un rotundo sí, y así es como lo hicieron. El equipo se dio cuenta de que, aunque el robot está entrenado para predecir la "velocidad promedio" (para dar esos grandes saltos), existe un vínculo matemático oculto entre esa velocidad promedio y la "velocidad instantánea" (la velocidad en cualquier momento diminuto y específico) que los antiguos métodos de RL necesitan. Construyeron un puente ingenioso llamado predictor de velocidad instantánea inducida. Piensa en esto como si fuera así: el cerebro del robot está entrenado para planificar un viaje por carretera largo (la velocidad promedio). Los investigadores crearon un "traductor" especial que mira ese plan de viaje largo e instantáneamente calcula qué marcaría el velocímetro del coche en cualquier segundo específico (la velocidad instantánea).

Luego utilizaron este traductor para enseñar al robot usando el antiguo método eficiente de RL. El robot aprende de la retroalimentación (recompensas) basándose en las lecturas del velocímetro del traductor, pero una vez terminada la lección, el robot vuelve a usar su cerebro de "velocidad promedio" original para generar imágenes. Esto significa que el robot se vuelve más inteligente y se alinea mejor con las preferencias humanas sin perder su supervelocidad.

Los resultados son impresionantes. Cuando probaron esto en generadores de imágenes (como Stable Diffusion 3.5-Medium) y generadores de video (como Wan2.1), el nuevo modelo MeanFlowNFT superó consistentemente a los modelos rápidos anteriores. De hecho, en la generación de imágenes, superó a otros modelos de alto nivel en 6 de las 8 métricas de calidad diferentes. Lo que es aún más sorprendente es que, en la generación de video, un modelo MeanFlowNFT de 4 pasos obtuvo una puntuación de 84.33 en una prueba de calidad llamada VBench. Esto es mejor que un modelo mucho más lento de 50 pasos (LongCat-Video RL), que solo obtuvo 82.57.

El artículo demuestra que este método no solo funciona en teoría; funciona en la práctica. Al utilizar este truco del "traductor", lograron mantener el proceso de entrenamiento rápido y eficiente (sin necesidad de calcular probabilidades complejas) y, al mismo tiempo, obtener los beneficios del aprendizaje por refuerzo avanzado. El robot aprende a dar mejores saltos, creando imágenes y videos más hermosos y precisos en una fracción del tiempo que solía tardar. Es un poco como enseñarle a un guepardo a correr más rápido no haciendo que camine, sino dándole un mejor mapa del terreno para que sepa exactamente dónde colocar sus patas gigantes.

Resumen Técnico: MeanFlowNFT

1. Planteamiento del Problema

Los modelos de Difusión y Flow Matching se han consolidado como los paradigmas dominantes para la generación de imágenes y videos de alta calidad. Sin embargo, su dependencia de la integración de velocidades instantáneas a lo largo de muchos pasos secuenciales resulta en tiempos de inferencia lentos. MeanFlow aborda este cuello de botella prediciendo la velocidad promedio sobre un intervalo de tiempo, permitiendo una generación de alta calidad en solo unos pocos pasos.

Simultáneamente, el Aprendizaje por Refuerzo (RL) se ha convertido en un método estándar para alinear los modelos generativos con las preferencias humanas. Si bien DiffusionNFT introdujo un marco de RL de proceso directo eficiente que evita las trayectorias del proceso inverso y la estimación de verosimilitud, este optimiza las velocidades instantáneas. Existe una brecha crítica: aplicar el RL de proceso directo a MeanFlow no es trivial, ya que MeanFlow realiza el muestreo utilizando velocidades promedio, lo que crea un desajuste entre el objetivo de optimización (instantáneo) y el mecanismo de muestreo (promedio). La pregunta central es si un modelo MeanFlow preentrenado puede ser ajustado mediante un RL de proceso directo eficiente para permitir una generación de pocos pasos superior.

2. Metodología: MeanFlowNFT

El artículo propone MeanFlowNFT, el primer marco de RL de proceso directo diseñado específicamente para generadores MeanFlow. La innovación central radica en cerrar la brecha entre las velocidades instantáneas y las velocidades promedio utilizando la identidad de MeanFlow.

2.1 Fundamento Teórico

El método se basa en la identidad de MeanFlow, que relaciona la velocidad instantánea $v(x_t, t)$ con la velocidad promedio $u(x_t, s, t)$ sobre un intervalo $[s, t]$ :
$v(x_t, t) = u(x_t, s, t) + (t - s) \frac{d}{dt}u(x_t, s, t)$
donde $\frac{d}{dt}u = \partial_t u + (\partial_x u) v$ .

2.2 Predictor de Velocidad Instantánea Inducido

En lugar de modificar la red MeanFlow para predecir directamente las velocidades instantáneas, los autores construyen un predictor de velocidad instantánea inducido, denotado como $V_\theta$ :
$V_\theta(x_t, s, t) \triangleq u_\theta(x_t, s, t) + (t - s) [\partial_t u_\theta + (\partial_x u_\theta) \hat{v}_\theta]$
Aquí, $u_\theta$ es la red de velocidad promedio entrenable. El término $\hat{v}_\theta$ sirve como la dirección para la derivada espacial y se aproxima mediante la velocidad instantánea de la red en $s=t$ .

2.3 Objetivo de Optimización

El marco aplica el objetivo de estilo DiffusionNFT a este predictor inducido $V_\theta$ . El proceso de entrenamiento involucra:

Parametrización Implícita: Construcción de predictores "positivos" ( $V^+_\theta$ ) y "negativos" ( $V^-_\theta$ ) basados en un modelo de referencia congelado ( $V^{old}$ ) y el modelo entrenable ( $V_\theta$ ), ponderados por una recompensa $r$ y una fuerza de guía $\beta$ .
Pérdida de Proceso Directo: Minimización del error cuadrático ponderado por la recompensa entre estos predictores inducidos y la velocidad condicional $v_t$ :
$\mathcal{L}_{MFNFT} = \mathbb{E} [ r \|V^+_\theta - v_t\|^2 + (1-r) \|V^-_\theta - v_t\|^2 ]$
Muestreo Desacoplado: Crucialmente, mientras la optimización ocurre en el espacio de la velocidad instantánea ( $V_\theta$ ), la inferencia sigue basándose en la velocidad promedio $u_\theta$ . Esto preserva la eficiencia de muestreo de pocos pasos nativa de MeanFlow.

2.4 Detalles de Implementación Práctica

Para asegurar la estabilidad del entrenamiento y la eficiencia computacional, los autores introducen tres decisiones de diseño clave:

Derivadas de Diferencia Finita: El término de la derivada total $\frac{d}{dt}u$ se aproxima utilizando diferencias finitas centrales en el tiempo $t$ , evitando costosos productos Jacobiano-vector (JVP).
Término de Derivada Compartido: Para evitar el colapso del entrenamiento, los predictores entrenable y de referencia comparten el mismo término de derivada estimado ( $\frac{d}{dt}u^{old}$ ). Esto elimina el término de diferencia de la derivada que de otro modo desestabilizaría la optimización.
Dirección de Velocidad Condicional: La dirección para las diferencias finitas utiliza la velocidad condicional del proceso directo $v_t$ (disponible sin costo adicional) en lugar de la velocidad instantánea entrenable $\hat{v}_\theta$ , lo que mejora la estabilidad.

3. Contribuciones Clave

Primer RL de Proceso Directo para MeanFlow: MeanFlowNFT es el primer marco que aplica RL de proceso directo a generadores MeanFlow. Logra optimizar la velocidad promedio subyacente aplicando objetivos de estilo DiffusionNFT a un predictor de velocidad instantánea inducido.
Garantías Teóricas: Los autores demuestran que, en un entorno idealizado, el predictor inducido óptimo recupera el objetivo de política mejorado de DiffusionNFT. Además, demuestran que esta mejora de la política se transfiere de manera demostrable a la red de velocidad promedio, asegurando que la política de MeanFlow mejore estrictamente.
Eficiencia y Rendimiento: El método mantiene la naturaleza libre de verosimilitud (likelihood-free) y agnóstica al solver de DiffusionNFT, preservando al mismo tiempo la eficiencia de muestreo de pocos pasos de MeanFlow.

4. Resultados Experimentales

Se realizaron experimentos en generación de imágenes (Stable Diffusion 3.5-Medium) y generación de video (Wan2.1 1.3B).

Generación de Imágenes (SD3.5-M): MeanFlowNFT (4 pasos) supera consistentemente a las líneas base de pocos pasos (DMD, CDM, AnyFlow) y a los métodos recientes de RL de pocos pasos (Rdm, RTDMD). Notablemente, logra resultados superiores o comparables al baseline de 40 pasos de DiffusionNFT en 6 de 8 métricas (ej. ImageReward, CLIPScore, OCR) utilizando 10 $\times$ menos evaluaciones de función.
Generación de Video (Wan2.1): Con solo 4 pasos de muestreo, MeanFlowNFT logra los mejores resultados entre los modelos de pocos pasos en 5 de 7 métricas. Supera al baseline de RL de 50 pasos de LongCat-Video en todas las métricas reportadas (ej. puntuación VBench de 84.33 frente a 82.57).
Escalado en Tiempo de Prueba: El modelo exhibe mejoras de rendimiento consistentes a medida que aumenta el número de pasos de muestreo (de 2 a 32), manteniendo una alta consistencia en el diseño y el contenido a través de diferentes conteos de pasos, superando al baseline AnyFlow en consistencia de pasos.

5. Significado y Reivindicaciones

El artículo afirma que MeanFlowNFT logra cerrar la brecha entre la eficiencia de los generadores de velocidad promedio y las capacidades de alineación del RL de proceso directo. Al desacoplar la optimización (espacio instantáneo) del muestreo (espacio promedio), el método permite una generación de pocos pasos superior sin sacrificar los beneficios de velocidad de MeanFlow.

Los autores enfatizan que MeanFlowNFT no solo mejora a los generadores de pocos pasos existentes, sino que también desafía la noción de que los modelos ajustados con RL de múltiples pasos son necesarios para un alto rendimiento. Los resultados sugieren que, con el puente teórico correcto (la identidad de MeanFlow), los modelos de pocos pasos pueden superar a los modelos de difusión ajustados con RL de múltiples pasos tanto en calidad como en eficiencia. El trabajo se presenta como un paso fundacional, señalando los autores que la construcción de su predictor inducido podría extenderse potencialmente a otros modelos de mapa de flujo (ej. modelos de trayectoria de consistencia) y otros objetivos de RL de proceso directo, aunque esto queda como trabajo futuro.