💻 computer science

Reinforcing Few-step Generators via Reward-Tilted Distribution Matching

Le papier propose la distillation d'appariement de distributions biaisée par la récompense (RTDMD), un cadre en deux étapes qui unifie l'appariement de distributions avec l'apprentissage par renforcement guidé par la récompense pour réaliser une génération d'images en quelques étapes à la pointe de l'art en optimisant à la fois l'alignement des distributions et les métriques de préférence humaine.

Auteurs originaux : Yushi Huang, Xiangxin Zhou, Ruoyu Wang, Chi Zhang, Jun Zhang, Tianyu Pang

Publié 2026-05-26

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Yushi Huang, Xiangxin Zhou, Ruoyu Wang, Chi Zhang, Jun Zhang, Tianyu Pang

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous avez un chef étoilé (le Professeur) capable de préparer un repas parfait et complexe, mais qui lui faut 50 heures pour y parvenir. Vous souhaitez enseigner à un commis de cuisine (l'Élève) à préparer le même repas en seulement 4 heures.

Le problème est double :

Vitesse vs Qualité : Si vous dites simplement à l'élève de « copier le maître », il risque de se précipiter et de faire des dégâts car il n'a pas le temps de réfléchir à chaque étape.
Le Goût : Le chef étoilé pourrait préparer une nourriture techniquement parfaite mais qui ne correspond pas aux préférences réelles des humains (peut-être trop salée ou avec une texture étrange). Vous voulez que l'élève apprenne la technique du maître mais aussi qu'il apprenne à préparer une nourriture que les humains adorent.

Ce papier, RTDMD, est une nouvelle méthode d'entraînement conçue pour résoudre exactement ce problème. Il apprend à l'élève à préparer un repas de haute qualité en seulement 4 étapes tout en s'assurant que la nourriture plaît aux humains.

Voici comment ils procèdent, décomposé en concepts simples :

1. Le « Menu Incliné » (Distribution Tilted par la Récompense)

Habituellement, lorsque vous enseignez à un élève à copier un maître, vous dites : « Corresponds exactement à la sortie du maître ». Mais le maître peut produire certains plats « mauvais » (faible récompense) et certains plats « excellents » (forte récompense) avec la même fréquence.

Les auteurs proposent une astuce ingénieuse : Inclinez le menu.
Imaginez que vous prenez le livre de recettes du maître et que vous l'inclinez physiquement de sorte que les « Excellents Plats » glissent vers le haut et que les « Mauvais Plats » glissent vers le bas. Maintenant, lorsque l'élève tente de copier le maître, il copie naturellement une version du maître qui déjà préfère les bonnes choses.

Les Mathématiques : Ils combinent la distribution du maître avec une « fonction de récompense » (un score indiquant la qualité de l'image). Cela crée une nouvelle cible qui est le style du maître, mais fortement pondérée vers ce que les humains aiment.

2. Le Camp d'Entraînement en Deux Étapes

Le papier utilise un processus en deux étapes pour entraîner l'élève.

Étape 1 : L'Échauffement « Main Stable » (AC-DMD)

Dans la première étape, l'élève apprend les bases.

Le Problème : Dans un processus de 4 étapes, l'élève travaille avec des ingrédients « bruyants » à mi-parcours. C'est comme essayer de peindre un tableau pendant que quelqu'un secoue la table. Le « faux score » de l'élève (un outil qui l'aide à deviner à quoi l'image finale devrait ressembler) se trompe car la cible bouge constamment.
La Solution (Ambient-Consistent) : Les auteurs introduisent un Régularisateur de Cohérence. Considérez cela comme un « contrôle de réalité ».
- Si l'élève prédit qu'une tache floue à l'étape 2 deviendra un chat à l'étape 4, la règle de cohérence dit : « Attends, si tu prends cette tache floue et que tu fais une étape en avant, est-ce que cela ressemble toujours à quelque chose qui se dirige vers un chat ? »
- Cela force la logique interne de l'élève à rester cohérente à travers les étapes bruyantes, l'empêchant de devenir fou alors qu'il tente d'apprendre.

Étape 2 : Le Renforcement « Dégustation » (Gradient de Politique Hybride)

Maintenant que l'élève peut cuisiner rapidement, il doit apprendre à cuisiner délicieusement. C'est ici que l'Apprentissage par Renforcement (RL) intervient.

Le Problème : Le processus de cuisson est un mélange de deux choses :
1. Étapes Stochastiques (Aléatoires) : Les 3 premières étapes impliquent d'ajouter du bruit aléatoire (comme jeter des ingrédients en l'air pour les mélanger).
2. Étape Déterministe (Fixe) : L'étape finale est précise et calculée (comme dresser le plat parfaitement).
L'Erreur : Les anciennes méthodes ne regardaient que les étapes aléatoires ou ne regardaient que l'étape finale. C'est comme juger un chef uniquement sur la façon dont il a lancé la salade, ou uniquement sur la façon dont il a dressé le dessert, mais en ignorant l'ensemble du repas.
La Solution (Gradient de Politique Hybride) : Les auteurs ont créé une nouvelle façon de calculer le « score » qui examine les deux :
- Ils utilisent une technique appelée SubGRPO pour les étapes aléatoires. Imaginez que vous avez un groupe de 24 élèves cuisinant le même plat. Au lieu de leur permettre d'utiliser tous des ingrédients totalement différents (ce qui rend difficile de déterminer qui est bon), vous leur permettez de partager certains ingrédients pour la plupart des étapes, mais de changer les ingrédients pour une seule étape spécifique. Cela isole pourquoi un plat a mieux goûté que les autres.
- Pour l'étape finale, ils rétropropagent simplement la récompense. Puisque la dernière étape est une ligne droite (sans aléatoire), ils peuvent simplement calculer exactement comment modifier ce dernier mouvement améliore le goût et mettre à jour l'élève immédiatement.

3. Les Résultats

Les auteurs ont testé cela sur certains des générateurs d'images les plus avancés disponibles (comme SD3, SD3.5 et FLUX.2).

L'Affirmation : Leur méthode (RTDMD) produit des images en 4 étapes qui sont meilleures et correspondent mieux aux préférences humaines que presque toute autre méthode.
L'Effet Wow : Leur modèle en 4 étapes (basé sur un modèle de 4 milliards de paramètres) a en fait surpassé la version originale en 50 étapes d'un modèle beaucoup plus grand de 9 milliards de paramètres dans de nombreuses catégories. Ils ont réussi à comprimer la qualité d'un supercalculateur lent et massif dans un petit et rapide.

Analogie de Résumé

Pensez à RTDMD comme une école de conduite pour une voiture autonome :

Étape 1 : Vous enseignez à la voiture à rester dans sa voie et à maintenir une vitesse constante, même lorsque la route est cahoteuse (Régularisateur de Cohérence).
Étape 2 : Vous enseignez à la voiture à conduire en toute sécurité et efficacement en simulant des milliers de trajets. Vous ne punissez pas seulement la voiture pour un accident à la fin ; vous analysez les déviations aléatoires au milieu et la manœuvre finale de freinage ensemble pour fournir le meilleur retour d'information possible (Gradient de Politique Hybride).

Le résultat ? Une voiture qui conduit vite (4 étapes) mais qui est plus sûre et plus confortable pour les passagers (préférence humaine) que des voitures qui conduisent lentement mais sont mal optimisées.

Résumé technique : Renforcement des générateurs en quelques étapes par correspondance de distribution inclinée par récompense

Énoncé du problème

Les récentes avancées dans les modèles génératifs basés sur la diffusion et les flux ont permis une synthèse image-à-partir-de-texte de haute qualité, mais leurs procédures d'échantillonnage itératif nécessitent généralement des dizaines d'évaluations de fonctions (NFE), créant un goulot d'étranglement pour les applications sensibles à la latence telles que la création de contenu interactif et les systèmes visuels en temps réel. Bien que les techniques de distillation (par exemple, la distillation par correspondance de distribution, DMD) aient réussi à réduire ces modèles à des générateurs en quelques étapes, l'alignement de ces modèles efficaces avec les préférences humaines reste un défi.

Deux obstacles principaux entravent l'intégration de l'apprentissage par renforcement (RL) dans la génération en quelques étapes :

Signaux de distillation peu fiables : Dans la génération en quelques étapes, les latents intermédiaires sont intrinsèquement bruyants. Le modèle de « score factice » dans DMD doit suivre une distribution de générateur en évolution sous des budgets de calcul limités, rendant le signal de distillation au démarrage instable.
Dynamiques d'échantillonnage hybrides : La trajectoire d'échantillonnage se compose d'étapes intermédiaires stochastiques (en raison du bruit injecté) et d'une étape finale déterministe (où le bruit est nul). Les méthodes RL existantes optimisent souvent uniquement les étapes stochastiques ou uniquement la carte finale, échouant à prendre en compte la nature hybride de la trajectoire complète, ce qui conduit à des gradients de politique sous-optimaux.

Méthodologie : RTDMD

Les auteurs proposent la Distillation par correspondance de distribution inclinée par récompense (RTDMD), un cadre en deux étapes qui unifie la distillation par correspondance de distribution avec l'apprentissage par renforcement guidé par la récompense. L'insight théorique central est que la minimisation de la divergence de Kullback–Leibler (KL) par rapport à une distribution enseignante inclinée par récompense se décompose naturellement en un terme de correspondance de distribution et un terme de maximisation de la récompense.

Étape 1 : Distillation par correspondance de distribution cohérente avec l'environnement (AC-DMD)

Pour fournir un démarrage stable, les auteurs introduisent l'AC-DMD, qui résout l'instabilité de l'entraînement des modèles de score factice sur des latents intermédiaires bruyants.

Correspondance de distribution environnementale : Au lieu de supposer des échantillons propres, la méthode effectue une correspondance de distribution sur des sous-intervalles $[t_k, 1]$ conditionnés par le latent intermédiaire bruyant $\hat{x}_{t_k}$ . Cela ré-derive l'objectif DMD pour qu'il soit valide pour des entrées bruyantes.
Régularisation de cohérence : Pour stabiliser le modèle de score factice ( $s_\phi$ ) à mesure que la distribution du générateur évolue, un régularisateur de cohérence est ajouté. Cela impose une propriété d'auto-cohérence où la prédiction du modèle à un instant $t'$ doit être égale à la prédiction attendue après une étape de diffusion inverse vers $t''$ . Cela couple les prédictions à travers les instants, réduisant la variance d'estimation.

Étape 2 : Gradient de politique hybride avec GRPO sous-ensemble d'étapes

Dans la deuxième étape, le cadre optimise conjointement les termes de correspondance de distribution et de maximisation de la récompense.

Gradient de politique hybride : Reconnaissant que le générateur en quelques étapes est une politique hybride (transitions gaussiennes stochastiques suivies d'une étape finale déterministe), les auteurs dérivent un estimateur de gradient qui combine :
1. Un estimateur de type REINFORCE pour les transitions intermédiaires stochastiques.
2. Une rétropropagation directe de la récompense à travers l'étape finale déterministe.
GRPO sous-ensemble d'étapes (SubGRPO) : Pour réduire la variance du gradient de politique, les auteurs introduisent le SubGRPO. Contrairement au GRPO naïf qui utilise un bruit indépendant pour chaque étape de chaque trajectoire, le SubGRPO sélectionne un sous-ensemble d'étapes stochastiques pour utiliser un bruit indépendant tout en partageant le bruit au sein du groupe pour les étapes restantes. Cela isole l'effet d'étapes spécifiques sur la récompense, agissant comme une variante de Rao–Blackwell qui réduit la variance du gradient.

Contributions clés

Unification théorique : L'article démontre que la minimisation de la divergence KL par rapport à une distribution inclinée par récompense fournit une décomposition principielle de la distillation et du RL, évitant le besoin d'objectifs séparés et ad hoc.
AC-DMD : Une stratégie de distillation novatrice qui permet un entraînement stable des modèles de score factice sur des latents intermédiaires bruyants via une correspondance de sous-intervalles et une régularisation de cohérence, résolvant le problème de la « cible mouvante » dans la distillation en quelques étapes.
Gradient de politique hybride : Un estimateur de gradient adapté qui gère correctement la nature mixte stochastique-déterministe des générateurs de flux en quelques étapes, exploitant à la fois REINFORCE et les dérivées pathwise.
SubGRPO : Une technique de réduction de variance pour les générateurs en quelques étapes qui partage le bruit à travers les trajectoires pour les étapes non sélectionnées, améliorant l'efficacité de l'optimisation de la récompense.

Résultats expérimentaux

Les auteurs ont évalué RTDMD sur SD3-M, SD3.5-M et FLUX.2 4B en utilisant 4 étapes d'inférence.

Performances de l'état de l'art : RTDMD a établi de nouveaux résultats de l'état de l'art sur l'ensemble des métriques de préférence (HPSv2, ImageReward), d'esthétique et de composition (GenEval).
Efficacité vs Qualité : Sur FLUX.2, le modèle distillé 4B (4 étapes) a surpassé le modèle complet FLUX.2 9B (50 étapes) sur la majorité des benchmarks, démontrant que la distillation guidée par RL peut efficacement combler l'écart de qualité introduit par la réduction de l'échelle du modèle.
Études d'ablation : Les expériences ont confirmé que le régularisateur de cohérence dans l'AC-DMD et la stratégie SubGRPO améliorent significativement les performances par rapport à leurs bases respectives (A-DMD et GRPO naïf).

Importance et affirmations

L'article affirme que RTDMD offre une solution principielle et efficace pour entraîner des générateurs en quelques étapes de haute qualité alignés avec les préférences humaines. En unifiant la correspondance de distribution avec l'optimisation de la récompense et en abordant les défis spécifiques des intermédiaires bruyants et des dynamiques hybrides, la méthode permet une génération d'images efficace (4 NFE) sans sacrifier la qualité généralement associée à l'échantillonnage multi-étapes ou aux modèles plus grands. Les auteurs positionnent ce travail comme une avancée vers la mise en pratique des modèles génératifs haute fidélité pour les applications en temps réel et interactives.

Note : L'article limite explicitement son champ d'application à la génération image-à-partir-de-texte, notant que l'extension du cadre à la synthèse vidéo ou à l'édition d'images reste un travail futur en raison de défis supplémentaires dans la conception de récompenses et la cohérence temporelle.