🤖 machine learning

MeanFlowNFT: Bringing Forward-Process RL to Average-Velocity Generators

L'article présente MeanFlowNFT, un nouveau cadre qui adapte la méthode d'apprentissage par renforcement de processus direct DiffusionNFT aux générateurs MeanFlow en construisant un prédicteur de vitesse instantanée induit, permettant ainsi une optimisation efficace des récompenses qui préserve l'échantillonnage rapide en quelques étapes tout en surpassant de manière significative les modèles existants optimisés par RL en quelques étapes et même en plusieurs étapes dans la génération d'images et de vidéos.

Auteurs originaux : Yushi Huang, Xiangxin Zhou, Jun Zhang, Liefeng Bo, Tianyu Pang

Publié 2026-07-17

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Yushi Huang, Xiangxin Zhou, Jun Zhang, Liefeng Bo, Tianyu Pang

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez d'apprendre à un robot artiste à peindre le tableau d'une « voiture élégante roulant dans une rue cyberpunk éclairée au néon ». Dans le monde de l'intelligence artificielle, les meilleurs artistes actuels utilisent une technique appelée diffusion ou flow (flux). Voyez cela comme un sculpteur taillant un bloc de marbre. Ils partent d'un gros tas de pierre rugueux et bruyant (du statique aléatoire) et effectuent de petits ajustements minutieux, étape par étape, pour révéler la statue finale. Le problème est que ce processus est lent. Pour obtenir une image vraiment bonne, le robot pourrait avoir besoin de faire 50 ou même 100 petites étapes, vérifiant son travail après chaque coup de ciseau. C'est comme traverser une pièce en faisant des pas d'un pouce ; vous arriverez, mais cela prendra une éternité.

Pour rendre cela plus rapide, des scientifiques ont récemment inventé un nouveau tour appelé MeanFlow. Au lieu de faire de petits pas, le robot apprend à prédire la « vitesse moyenne » qu'il doit parcourir sur toute une période de temps. C'est comme si le robot apprenait à faire de grands bonds confiants à travers la pièce au lieu de traîner les pieds. Cela lui permet de créer des images de haute qualité en seulement quelques étapes. Cependant, il y a un piège : ces robots rapides sont difficiles à enseigner ce que les humains aiment réellement. Habituellement, pour apprendre à une IA à être plus créative ou à mieux suivre des règles, nous utilisons une méthode appelée Apprentissage par Renforcement (RL - Reinforcement Learning). Mais les meilleures méthodes de RL dont nous disposons actuellement ont été conçues pour les robots lents, étape par étape, et non pour les robots rapides qui bondissent. Essayer d'enseigner au robot rapide avec les anciennes leçons du robot lent, c'est comme essayer d'apprendre à un guépard à courir en lui donnant des instructions destinées à une tortue ; les mathématiques ne correspondent pas.

C'est là qu'intervient le nouvel article, MeanFlowNFT. Les chercheurs se sont posé une question simple mais délicate : Pouvons-nous apprendre à notre robot rapide, celui qui bondit, à être encore meilleur en utilisant les mêmes méthodes de RL efficaces que celles que nous utilisons pour les robots lents, sans le ralentir ?

La réponse est un oui retentissant, et voici comment ils ont fait. L'équipe a réalisé que même si le robot est entraîné pour prédire une « vitesse moyenne » (pour faire ces grands bonds), il existe un lien mathématique caché entre cette vitesse moyenne et la « vitesse instantanée » (la vitesse à n'importe quel petit instant précis) dont les anciennes méthodes de RL ont besoin. Ils ont construit un pont ingénieux appelé prédictor de vitesse instantanée induit. Pensez à ceci : le cerveau du robot est entraîné à planifier un long voyage routier (la vitesse moyenne). Les chercheurs ont créé un « traducteur » spécial qui regarde ce plan de long voyage et détermine instantanément ce que le compteur de vitesse de la voiture afficherait à n'importe quelle seconde précise (la vitesse instantanée).

Ils ont ensuite utilisé ce traducteur pour enseigner au robot en utilisant l'ancienne méthode de RL efficace. Le robot apprend de ses retours (récompenses) basés sur les lectures du compteur de vitesse du traducteur, mais une fois la leçon terminée, le robot revient à son cerveau de « vitesse moyenne » d'origine pour générer des images. Cela signifie que le robot devient plus intelligent et plus aligné sur les préférences humaines sans perdre sa super-vitesse.

Les résultats sont impressionnants. Lorsqu'ils ont testé cela sur des générateurs d'images (comme Stable Diffusion 3.5-Medium) et des générateurs de vidéos (comme Wan2.1), le nouveau modèle MeanFlowNFT a systématiquement battu les précédents meilleurs modèles rapides. En fait, sur la génération d'images, il a surpassé les autres modèles de haut niveau sur 6 des 8 différentes métriques de qualité. Plus surprenant encore, sur la génération de vidéos, un modèle MeanFlowNFT en 4 étapes a obtenu un score de 84,33 sur un test de qualité appelé VBench. C'est mieux qu'un modèle beaucoup plus lent, LongCat-Video RL, qui n'a obtenu que 82,57.

L'article prouve que cette méthode ne fonctionne pas seulement en théorie ; elle fonctionne en pratique. En utilisant ce tour du « traducteur », ils ont réussi à garder le processus d'entraînement rapide et efficace (pas besoin de calculer des probabilités complexes) tout en bénéficiant des avantages de l'apprentissage par renforcement avancé. Le robot apprend à faire de meilleurs bonds, créant des images et des vidéos plus belles et plus précises en une fraction du temps qu'il lui fallait auparavant. C'est un peu comme apprendre à un guépard à courir plus vite non pas en le faisant marcher, mais en lui donnant une meilleure carte du terrain afin qu'il sache exactement où poser ses pattes géantes.

Résumé Technique : MeanFlowNFT

1. Énoncé du Problème

Les modèles de diffusion et de Flow Matching se sont imposés comme les paradigmes dominants pour la génération d'images et de vidéos de haute qualité. Cependant, leur dépendance à l'intégration des vélocités instantanées sur de nombreuses étapes séquentielles entraîne des temps d'inférence lents. MeanFlow s'attaque à ce goulot d'étranglement en prédisant la vélocité moyenne sur un interval de temps, permettant une génération de haute qualité en seulement quelques étapes.

Simultanément, l'Apprentissage par Renforcement (RL) est devenu une méthode standard pour aligner les modèles génératifs sur les préférences humaines. Bien que DiffusionNFT ait introduit un cadre de RL de processus direct (forward-process) efficace qui évite les trajectoires de processus inverse et l'estimation de la vraisemblance, il optimise les vélocités instantanées. Un fossé critique existe : appliquer le RL de processus direct à MeanFlow est non trivial car MeanFlow échantillonne en utilisant des vélocités moyennes, créant un décalage entre la cible d'optimisation (instantanée) et le mécanisme d'échantillonnage (moyenne). La question centrale est de savoir si un modèle MeanFlow pré-entraîné peut être affiné avec un RL de processus direct efficace pour permettre une génération en peu d'étapes supérieure.

2. Méthodologie : MeanFlowNFT

Le papier propose MeanFlowNFT, le premier cadre de RL de processus direct spécifiquement conçu pour les générateurs MeanFlow. L'innovation centrale réside dans le pont jeté entre les vélocités instantanées et moyennes grâce à l'identité de MeanFlow.

2.1 Fondement Théorique

La méthode repose sur l'identité de MeanFlow, qui relie la vélocité instantanée $v(x_t, t)$ à la vélocité moyenne $u(x_t, s, t)$ sur un intervalle $[s, t]$ :
$v(x_t, t) = u(x_t, s, t) + (t - s) \frac{d}{dt}u(x_t, s, t)$
où $\frac{d}{dt}u = \partial_t u + (\partial_x u) v$ .

2.2 Prédicteur de Vélocité Instantanée Induit

Au lieu de modifier le réseau MeanFlow pour prédire directement les vélocités instantanées, les auteurs construisent un prédicteur de vélocité instantanée induit, noté $V_\theta$ :
$V_\theta(x_t, s, t) \triangleq u_\theta(x_t, s, t) + (t - s) [\partial_t u_\theta + (\partial_x u_\theta) \hat{v}_\theta]$
Ici, $u_\theta$ est le réseau de vélocité moyenne entraînable. Le terme $\hat{v}_\theta$ sert de direction pour la dérivée spatiale et est approximé par la vélocité instantanée du réseau à $s=t$ .

2.3 Objectif d'Optimisation

Le cadre applique l'objectif de type DiffusionNFT à ce prédicteur induit $V_\theta$ . Le processus d'entraînement implique :

Paramétrage Implicite : Construction de prédicteurs "positifs" ( $V^+_\theta$ ) et "négatifs" ( $V^-_\theta$ ) basés sur un modèle de référence gelé ( $V^{old}$ ) et le modèle entraînable ( $V_\theta$ ), pondérés par une récompense $r$ et une force de guidage $\beta$ .
Perte de Processus Direct : Minimisation de l'erreur quadratique pondérée par la récompense entre ces prédicteurs induits et la vélocité conditionnelle $v_t$ :
$\mathcal{L}_{MFNFT} = \mathbb{E} [ r \|V^+_\theta - v_t\|^2 + (1-r) \|V^-_\theta - v_t\|^2 ]$
Échantillonnage Découplé : Crucialement, bien que l'optimisation se déroule dans l'espace de la vélocité instantanée ( $V_\theta$ ), l'inférence reste basée sur la vélocité moyenne $u_\theta$ . Cela préserve l'efficacité d'échantillonnage en peu d'étapes native de MeanFlow.

2.4 Détails de Mise en Œuvre Pratique

Pour assurer la stabilité de l'entraînement et l'efficacité computationnelle, les auteurs introduisent trois choix de conception clés :

Dérivées par Différences Finies : Le terme de dérivée totale $\frac{d}{dt}u$ est approximé par des différences finies centrales en temps $t$ , évitant les produits Jacobien-Vecteur (JVP) coûteux.
Terme de Dérivée Partagé : Pour éviter l'effondrement de l'entraînement, les prédicteurs entraînable et de référence partagent le même terme de dérivée estimé ( $\frac{d}{dt}u^{old}$ ). Cela élimine le terme de différence de dérivée qui déstabiliserait autrement l'optimisation.
Direction de la Vélocité Conditionnelle : La direction pour les différences finies utilise la vélocité conditionnelle du processus direct $v_t$ (disponible sans coût supplémentaire) plutôt que la vélocité instantanée entraînable $\hat{v}_\theta$ , ce qui améliore la stabilité.

3. Contributions Clés

Premier RL de Processus Direct pour MeanFlow : MeanFlowNFT est le premier cadre appliquant le RL de processus direct aux générateurs MeanFlow. Il réussit à optimiser la vélocité moyenne sous-jacente en appliquant des objectifs de type DiffusionNFT à un prédicteur de vélocité instantanée induit.
Garanties Théoriques : Les auteurs prouvent que dans un cadre idéalisé, le prédicteur induit optimal récupère la politique améliorée de DiffusionNFT. De plus, ils démontrent que cette amélioration de politique se transfère de manière prouvable au réseau de vélocité moyenne, garantissant que la politique de MeanFlow s'améliore strictement.
Efficacité et Performance : La méthode conserve la nature sans vraisemblance (likelihood-free) et agnostique au solveur de DiffusionNFT tout en préservant l'efficacité d'échantillonnage en peu d'étapes de MeanFlow.

4. Résultats Expérimentaux

Des expériences ont été menées sur la génération d'images (Stable Diffusion 3.5-Medium) et la génération de vidéos (Wan2.1 1.3B).

Génération d'Images (SD3.5-M) : MeanFlowNFT (4 étapes) surpasse systématiquement les bases de comparaison en peu d'étapes (DMD, CDM, AnyFlow) et les méthodes récentes de RL en peu d'étapes (Rdm, RTDMD). Notamment, il atteint des résultats supérieurs ou comparables au baseline DiffusionNFT de 40 étapes sur 6 des 8 métriques (ex: ImageReward, CLIPScore, OCR) tout en utilisant 10 $\times$ moins d'évaluations de fonctions.
Génération de Vidéo (Wan2.1) : Avec seulement 4 étapes d'échantillonnage, MeanFlowNFT obtient les meilleurs résultats parmi les modèles en peu d'étapes sur 5 des 7 métriques. Il surpasse le baseline RL LongCat-Video de 50 étapes sur toutes les métriques rapportées (ex: score VBench de 84.33 contre 82.57).
Mise à l'Échelle au Moment du Test (Test-Time Scaling) : Le modèle présente des améliorations de performance constantes à mesure que le nombre d'étapes d'échantillonnage augmente (de 2 à 32), maintenant une haute cohérence de la mise en page et du contenu à travers différents nombres d'étapes, surpassant la base de comparaison AnyFlow en termes de cohérence de l'étape.

5. Signification et Revendications

Le papier affirme que MeanFlowNFT comble avec succès le fossé entre l'efficacité des générateurs de vélocité moyenne et les capacités d'alignement du RL de processus direct. En découplant l'optimisation (espace instantané) de l'échantillonnage (espace moyen), la méthode permet une génération supérieure en peu d'étapes sans sacrifier les avantages de vitesse de MeanFlow.

Les auteurs soulignent que MeanFlowNFT ne fait pas qu'améliorer les générateurs existants en peu d'étapes, mais remet également en question l'idée que les modèles de diffusion optimisés par RL multi-étapes sont nécessaires pour une haute performance. Les résultats suggèrent qu'avec le pont théorique correct (l'identité de MeanFlow), les modèles en peu d'étapes peuvent surpasser les modèles de diffusion optimisés par RL multi-étapes tant en qualité qu'en efficacité. Ce travail est présenté comme une étape fondamentale, les auteurs notant que la construction de leur prédicteur induit pourrait potentiellement s'étendre à d'autres modèles de flux (ex: modèles de trajectoire de cohérence) et à d'autres objectifs de RL de processus direct, bien que cela constitue des travaux futurs.