🤖 machine learning

Reinforce Adjoint Matching: Scaling RL Post-Training of Diffusion and Flow-Matching Models

Ce papier présente Reinforce Adjoint Matching (RAM), une méthode d'entraînement postérieur par apprentissage par renforcement évolutive pour les modèles de diffusion et d'appariement de flux, qui atteint un alignement supérieur avec les récompenses en dérivant une fonction de perte de cohérence simple qui corrige les objectifs de préentraînement sans nécessiter de simulations coûteuses d'équations différentielles stochastiques, de balayages adjoints en arrière ou de gradients de récompense.

Auteurs originaux : Andreas Bergmeister, Stefanie Jegelka, Nikolas Nüsken, Carles Domingo-Enrich, Jakiw Pidstrigach

Publié 2026-05-12

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Andreas Bergmeister, Stefanie Jegelka, Nikolas Nüsken, Carles Domingo-Enrich, Jakiw Pidstrigach

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous avez un artiste maître qui a passé des années à apprendre à peindre en copiant des milliers de photos. Cet artiste est incroyablement doué pour recréer ce qu'il voit, mais il ne sait pas nécessairement suivre des instructions spécifiques et délicates comme « peignez une zèbre rouge à côté d'un camion bleu » ou « écrivez le mot 'BONJOUR' clairement sur un bouclier ».

Pour enseigner ces nouvelles compétences à l'artiste, nous utilisons généralement une méthode appelée Apprentissage par Renforcement (RL). Imaginez cela comme un critique d'art strict qui examine la peinture, lui attribue une note et dit à l'artiste : « Faites mieux la prochaine fois. »

L'Ancienne Méthode : Le Critique Coûteux et Lent

Auparavant, entraîner ces artistes IA avec un critique était comparable à essayer d'enseigner à quelqu'un à nager en le jetant dans l'océan et en le regardant s'agiter.

Le Processus : L'IA générait une image complète (la « nage »), le critique lui attribuait une note, puis le système tentait de déterminer exactement quel coup de pinceau avait causé la bonne ou la mauvaise note.
Le Problème : Pour ce faire, l'IA devait simuler tout le processus de peinture du début à la fin, encore et encore, juste pour obtenir un seul retour d'information. C'était lent, coûteux en puissance de calcul et souvent instable (comme essayer de calculer la vitesse du vent pendant que le bateau coule).

La Nouvelle Méthode : RAM (Reinforce Adjoint Matching)

Les auteurs de cet article, Andreas Bergmeister et son équipe, ont réalisé qu'il existait un moyen beaucoup plus intelligent de procéder. Ils ont trouvé un « raccourci » qui maintient l'entraînement rapide et simple, comme la phase de pré-entraînement originale.

Voici comment RAM fonctionne, en utilisant une analogie simple :

1. L'Astuce du « Point Final Propre »
Imaginez que le processus de peinture est comme un film projeté à l'envers. Le film commence par une toile vierge (bruit) et se termine par une peinture achevée.

Ancienne Méthode : L'IA devait regarder tout le film, noter la fin, puis rembobiner le film image par image pour voir où elle s'était trompée.
Méthode RAM : Les auteurs ont réalisé que si vous connaissez la peinture finale (le « point final propre »), vous n'avez pas besoin de regarder tout le film pour comprendre le processus. Vous pouvez simplement prendre cette peinture terminée et mathématiquement « ajouter du bruit » instantanément pour créer une version désordonnée, exactement comme lors de l'entraînement original.

2. Le Retour d'Information « Un Coup et C'est Fait »
Au lieu de simuler tout le processus de peinture pour obtenir un retour, RAM procède ainsi :

Générer : L'IA peint une image terminée (le point final).
Noter : Le critique lui attribue une note (par exemple : « Excellent travail sur le texte ! »).
Rembobiner Instantanément : Au lieu de simuler le rembobinage, les mathématiques créent instantanément une version « bruitée » de cette image.
Apprendre : L'IA apprend à transformer cette version bruitée spécifique en l'image bien notée.

L'Insight Magique :
L'article prouve que les règles de la façon « d'ajouter du bruit » à une image ne changent pas, même lorsque vous essayez d'améliorer l'image. La seule chose qui change, c'est quelles images l'IA décide de peindre en premier lieu. Parce que les « règles du bruit » restent les mêmes, l'IA peut utiliser les mêmes mathématiques simples qu'elle a utilisées lors de son entraînement original, juste avec une nouvelle cible.

Pourquoi C'est Important

Vitesse : L'article affirme que RAM est 34 à 50 fois plus rapide que les méthodes précédentes. Elle atteint le même niveau de compétence en une fraction du temps.
Simplicité : Elle ne nécessite pas de calculs complexes et instables (comme des « déroulements SDE » ou des « balayages adjoints inverses »). C'est simplement une tâche de régression, similaire à l'entraînement original.
Qualité : Lorsqu'ils l'ont testée sur Stable Diffusion 3.5M, l'IA est devenue bien meilleure dans :
- La Composition : Placer les objets aux bons endroits (par exemple, un camion à gauche d'un réfrigérateur).
- Le Rendu de Texte : Écrire des mots clairement dans les images.
- La Préférence Humaine : Créer des images que les humains aiment vraiment regarder.

L'Essentiel

Imaginez RAM comme donnant à l'artiste une « gomme magique » et un « bulletin de notes magique ». Au lieu de forcer l'artiste à repeindre toute la toile pour voir ce qui n'allait pas, la gomme magique lui montre instantanément une version désordonnée de son meilleur travail, et le bulletin de notes lui dit exactement comment corriger ce désordre spécifique. Cela permet à l'IA d'apprendre de nouvelles compétences complexes sans le lourd coût de calcul des méthodes précédentes.

Résumé Technique : Appariement Adjoint Renforcé (RAM)

Énoncé du Problème

Les modèles de diffusion et d'appariement de flux (flow-matching) atteignent une génération haute fidélité car leur préentraînement repose sur une régression supervisée : un échantillon propre est bruité de manière analytique, et le modèle régresse par rapport à une cible sous forme fermée. Cependant, l'alignement de ces modèles avec des fonctions de récompense (par exemple, pour la justesse compositionnelle, le rendu de texte ou les préférences humaines) via un apprentissage par renforcement (RL) en post-entraînement perturbe cette structure efficace.

Les méthodes existantes de post-entraînement par RL font face à des obstacles computationnels et structurels significatifs :

Méthodes de gradient de politique : Elles traitent le débruitage comme un processus de décision markovien, nécessitant des déroulements stochastiques d'équations différentielles stochastiques (SDE) et l'optimisation de bornes inférieures variationnelles. Cela introduit une variance élevée et requiert de nombreuses étapes d'échantillonnage.
Méthodes de contrôle optimal stochastique (Adjoint) : Elles ciblent exactement l'objectif de maximisation de récompense régularisé par KL, mais nécessitent des balayages adjoints en arrière le long des trajectoires SDE stockées et la rétropropagation des gradients de récompense à travers le processus d'échantillonnage. Cela est numériquement instable et coûteux en calcul, en particulier pour les modèles d'appariement de flux où les programmes de bruit divergent près de l'extrémité bruitée.
Fonctions de perte de substitution (Surrogate Losses) : Les approches récentes remplacent les vraisemblances intraitables par des substituts (par exemple, des ELBO ou des points de fin contrastifs), sacrifiant la structure de régression propre qui permet la mise à l'échelle du préentraînement.

Le défi central consiste à dériver un objectif de post-entraînement par RL qui conserve la simplicité et l'évolutivité du cadre de régression du préentraînement tout en optimisant efficacement les récompenses.

Méthodologie : Appariement Adjoint Renforcé (RAM)

Les auteurs proposent l'Appariement Adjoint Renforcé (RAM), une méthode qui étend la structure de régression du préentraînement au post-entraînement par RL sans nécessiter de déroulements SDE, de balayages adjoints en arrière ou de gradients de récompense.

Fondement Théorique

La méthode est ancrée dans la maximisation de récompense régularisée par KL, formulée comme un problème de contrôle optimal stochastique.

Structure du processus optimal : Sous régularisation KL, le processus génératif optimal incline la distribution des points de fin propres ( $X_0$ ) vers les échantillons à haute récompense ( $p^*_0 \propto p_{ref}^0 \exp(r)$ ) mais laisse la loi conditionnelle des états bruités étant donné un point de fin propre inchangée. Spécifiquement, la trajectoire d'un $X_0$ fixe vers un état bruité $X_t$ reste le même noyau gaussien analytique utilisé lors du préentraînement.
Condition d'appariement adjoint : Le contrôle optimal $u_t$ satisfait une condition de point fixe où le contrôle est égal au gradient négatif mis à l'échelle de la fonction de valeur (l'adjoint) : $u_t = -\sigma_t \nabla_x V_t(x)$ .
Décomposition REINFORCE : Pour éviter de calculer $\nabla r$ (qui peut être non différentiable), les auteurs appliquent l'identité de la dérivée logarithmique (REINFORCE) à la fonction de valeur. Cela décompose l'adjoint en un terme de récompense pondéré par le score de pont arrière et un terme de correction de coût de trajectoire.

L'Objectif RAM

RAM approxime l'adjoint en supprimant la correction de coût de trajectoire (justifiée par une faible variance et une stabilité à grande échelle) et en exploitant l'insight structurel selon lequel le noyau de bruitage reste analytique.

Échantillonnage du point de fin : Au lieu de simuler une SDE contrôlée, RAM tire un point de fin propre $X_0$ de la distribution du modèle actuel en utilisant n'importe quel échantillonneur d'équations différentielles ordinaires (ODE) standard.
Bruitage analytique : Le $X_0$ échantillonné est bruité de manière analytique pour générer des états d'entraînement $X_t = (1-t)X_0 + t\epsilon$ , exactement comme lors du préentraînement.
Cible sous forme fermée : La cible de régression pour le champ de vitesse $v_\theta$ est dérivée en substituant le terme de récompense et le score de pont de Bayes (qui possède une expression sous forme fermée pour un bruitage linéaire) dans la condition adjointe.

La fonction de perte résultante est :
$L_{RAM}(\theta) = \mathbb{E}_t \left[ \left\| v_\theta^t(X_t) - \text{sg}\left( v_{ref}^t(X_t) + r(X_0) \left( (\epsilon - X_0) - v_\theta^t(X_t) \right) \right) \right\|^2 \right]$
où $X_0 \sim p_\theta^0$ , $\epsilon \sim \mathcal{N}(0, I)$ , et $\text{sg}(\cdot)$ désigne l'opérateur stop-gradient.

Mécanismes Clés d'Efficacité

Pas de déroulements SDE : Les états d'entraînement sont générés en bruitant un seul point de fin $K$ fois avec des vecteurs de bruit indépendants. Cela produit $K$ échantillons d'entraînement conditionnellement indépendants par passage avant du modèle, fournissant plus de signal de gradient par étape que les méthodes reposant sur des trajectoires SDE uniques.
Pas de gradients de récompense : La méthode fonctionne avec des récompenses boîte noire.
Pas de balayages en arrière : La nature analytique du noyau de bruitage élimine le besoin d'intégration adjointe en arrière.

Contributions Clés

Extension Structurelle : L'article démontre que la structure de régression du préentraînement s'étend au post-entraînement par RL sous régularisation KL. Le processus optimal ne modifie que la distribution des points de fin, et non la loi conditionnelle de bruitage.
Algorithme RAM : Une nouvelle fonction de perte de cohérence qui corrige la cible de préentraînement avec des informations de récompense en utilisant un score de pont de Bayes sous forme fermée, évitant ainsi les goulots d'étranglement computationnels des méthodes existantes.
Justification Théorique : Une dérivation montrant que le point fixe de RAM correspond à l'optimum régularisé par KL, avec une exactitude garantie pour des références gaussiennes sous récompenses linéaires et un accord du premier ordre en général.
Analyse de Variance : Une analyse des estimateurs de coût de trajectoire montrant que supprimer la correction de coût de trajectoire (comme le fait RAM) réduit considérablement la variance par rapport aux estimateurs adjoints à horizon complet ou locaux, rendant ainsi le seul estimateur viable pour le post-entraînement à l'échelle de l'image.

Résultats Expérimentaux

Les auteurs ont évalué RAM sur Stable Diffusion 3.5 Medium (SD3.5M) à travers trois tâches :

Génération d'images compositionnelles (GenEval) : Mesure de la justesse des objets, des attributs et des relations spatiales.
Rendu de texte visuel (OCR) : Mesure de la lisibilité du texte dans les images générées.
Alignement des préférences humaines (PickScore) : Alignement avec les préférences humaines.

Performance :

Maximisation de récompense : RAM a obtenu les récompenses d'entraînement les plus élevées sur les trois tâches, surpassant les bases de référence incluant Flow-GRPO, DiffusionNFT et AWM.
Efficacité d'entraînement : RAM a atteint la récompense maximale de Flow-GRPO en 50 fois moins d'étapes pour GenEval, 48 fois moins pour OCR, et 34 fois moins pour PickScore.
Qualité d'image : Contrairement à certaines bases de référence qui ont souffert de "piratage de récompense" (dégradation de la qualité esthétique pour les métriques de tâche), RAM a maintenu ou amélioré les métriques de qualité d'image (Esthétique, DeQA, ImageReward, HPSv2) tout en maximisant les récompenses de tâche.
Compatibilité CFG : RAM reste compatible avec le guidage sans classeur (Classifier-Free Guidance, CFG) après post-entraînement, alors que des bases de référence comme DiffusionNFT et AWM ont vu leurs récompenses de tâche chuter significativement lorsque CFG était appliqué.

Signification et Revendications

L'article revendique que RAM représente un changement de paradigme dans le post-entraînement par RL pour les modèles de diffusion et d'appariement de flux. En exploitant les propriétés structurelles spécifiques du problème de contrôle optimal, RAM restaure le paradigme de "régression simple" qui a rendu le préentraînement évolutif.

Les auteurs affirment que :

RAM élimine le besoin de coûteux déroulements SDE et de balayages adjoints en arrière, qui ont été les principaux goulots d'étranglement pour la mise à l'échelle du RL vers la génération d'images haute résolution.
La méthode est "simple et évolutive", atteignant des résultats de pointe avec significativement moins d'étapes d'entraînement et des coûts de calcul par étape comparables aux méthodes existantes.
L'approche aligne avec succès les modèles avec des récompenses complexes (compositionnalité, texte, préférences) sans dégradation visible de la qualité ni piratage de récompense, démontrant que la structure de préentraînement est suffisamment robuste pour gérer l'alignement en post-entraînement lorsque les conditions théoriques correctes sont remplies.