🤖 machine learning

Efficient Adjoint Matching for Fine-tuning Diffusion Models

Ce papier présente l'Appariement Adjoint Efficace (EAM), une méthode qui accélère considérablement le réglage fin par récompense des modèles de diffusion en reformulant le problème sous-jacent de contrôle optimal stochastique avec une dérive de base linéaire et un coût terminal modifié, éliminant ainsi les simulations d'adjointes rétrogrades coûteuses et permettant une convergence plus rapide tout en maintenant ou en améliorant les performances sur les benchmarks standard de génération d'images à partir de texte.

Auteurs originaux : Jeongwoo Shin, Dongsoo Shin, Joonseok Lee, Jaewoong Choi, Jaemoo Choi

Publié 2026-05-13

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Jeongwoo Shin, Dongsoo Shin, Joonseok Lee, Jaewoong Choi, Jaemoo Choi

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous avez un chef étoilé (le modèle d'IA préentraîné) qui est incroyablement doué pour préparer des repas génériques. Il peut préparer un steak parfait ou un magnifique gâteau simplement en suivant une recette standard. Cependant, si vous lui demandez de préparer un « burger végétalien épicé qui ressemble à un coucher de soleil », il pourrait avoir du mal à répondre à vos goûts spécifiques et sophistiqués.

Pour résoudre ce problème, vous engagez un critique gastronomique (le modèle de récompense) pour goûter les plats et dire au chef comment s'améliorer. L'objectif est d'apprendre au chef à cuisiner exactement ce que vous voulez.

L'Ancienne Méthode : « Adjoint Matching » (AM)

La méthode précédente, appelée Adjoint Matching, était comme un régime d'entraînement très strict, lent et épuisant pour le chef.

Le Voyage Aller (La Cuisson) : Pour enseigner au chef, le système devait simuler l'ensemble du processus de cuisson, des ingrédients bruts au plat final, étape par étape, en utilisant une méthode très lente et aléatoire (comme remuer la casserole avec une cuillère qui fait parfois tomber la nourriture). Cela prenait beaucoup de temps et nécessitait une grande puissance de calcul.
Le Voyage Retour (La Critique) : Une fois le plat terminé, le système devait rejouer l'ensemble du processus de cuisson à l'envers, minute par minute, pour déterminer exactement quelle étape avait échoué et comment la corriger. Cette étape de « rembobinage et d'analyse » était également incroyablement lente et lourde en termes de calcul.

Le Problème : Ce processus en deux étapes (cuisson lente vers l'avant + analyse lente vers l'arrière) rendait l'entraînement très coûteux et lent. C'était comme essayer d'apprendre une nouvelle recette en la cuisinant 100 fois, puis en rembobinant la vidéo 100 fois pour trouver les erreurs.

La Nouvelle Méthode : « Adjoint Matching Efficace » (EAM)

Les auteurs de cet article ont réalisé que la lenteur provenait des « règles de la cuisine » spécifiques (la dérive de base) que le chef était forcé de suivre. Ils ont décidé de redéfinir les règles de la cuisine pour accélérer l'entraînement sans changer l'objectif final.

Voici comment fonctionne EAM, en utilisant des analogies simples :

1. La Cuisson « Express » (Simulation vers l'avant)
Au lieu de forcer le chef à cuisiner le plat à partir de zéro en utilisant la méthode lente et aléatoire, EAM permet au chef d'utiliser un four rapide et déterministe pour cuire le plat final en quelques étapes seulement.

L'Astuce Magique : Une fois le plat final (l'image) prêt, le système n'a pas besoin de simuler le processus de cuisson désordonné pour obtenir les étapes intermédiaires. Au lieu de cela, il se contente de « saupoudrer du bruit » sur le plat fini pour créer les états intermédiaires. C'est comme dire : « Voici le gâteau parfait ; imaginez maintenant à quoi il ressemblait à mi-cuisson en rajoutant un peu de farine. » Cela permet de sauter entièrement la simulation de cuisson lente et aléatoire.

2. La Critique « Instantanée » (Adjoint vers l'arrière)
Dans l'ancienne méthode, le critique devait rembobiner la vidéo pour donner son avis. Dans EAM, parce que les règles de la cuisine ont été simplifiées (linéaires), le critique peut donner son feedback instantanément.

L'Astuce Magique : Le système dispose désormais d'une « fiche d'aide » (une formule fermée). Au lieu de rejouer la vidéo pour trouver l'erreur, le critique regarde simplement le plat final et la fiche d'aide, et sait instantanément exactement comment ajuster la recette. Pas de rembobinage, pas d'analyse lente.

Les Résultats

En apportant ces deux changements, les auteurs ont constaté que :

Vitesse : La nouvelle méthode entraîne 4 fois plus vite que l'ancienne. C'est comme passer de la conduite dans un embouteillage à l'emprunt d'une autoroute directe.
Qualité : Malgré cette rapidité accrue, les modèles d'IA résultants sont tout aussi bons, voire meilleurs, pour suivre les préférences humaines. Ils produisent des images plus belles, suivent les consignes plus précisément et paraissent plus naturels.
Détails : Parce que la nouvelle méthode préserve mieux la connexion entre l'image finale et les étapes « bruyantes », l'IA conserve les détails fins (comme la texture de la fourrure ou le reflet dans l'eau) que l'ancienne méthode lissait parfois.

Résumé

L'article présente l'Adjoint Matching Efficace (EAM). Il résout le problème de l'entraînement lent des IA en modifiant les règles fondamentales de la façon dont l'IA « réfléchit » pendant l'entraînement.

Ancienne Méthode : Cuisson lente et aléatoire + Analyse vidéo lente et vers l'arrière.
Nouvelle Méthode : Cuisson rapide et directe + Feedback instantané basé sur une formule.

Le résultat est une méthode plus intelligente et plus rapide pour enseigner aux modèles d'IA à créer de l'art que les humains aiment vraiment, sans avoir besoin de superordinateurs fonctionnant pendant des jours.

Résumé technique : Adjoint Matching efficace pour le fine-tuning de modèles de diffusion

Énoncé du problème

Le fine-tuning basé sur la récompense est devenu l'approche standard pour aligner les modèles de diffusion et de flux préentraînés avec les préférences humaines dans la génération d'images à partir de texte (T2I). Parmi ceux-ci, l'Adjoint Matching (AM) offre une formulation fondée sur des principes en présentant le fine-tuning par récompense comme un problème de contrôle optimal stochastique (SOC). L'AM vise à transformer un modèle préentraîné en une distribution cible $p^\star_1(x) \propto e^{\beta r(x)}p_{data}(x)$ , où $r(x)$ est une fonction de récompense.

Cependant, l'AM souffre d'inefficacités computationnelles significatives qui entravent son application pratique :

Goulot d'étranglement de la simulation forward : L'AM nécessite de simuler des trajectoires génératives complètes en utilisant un solveur d'équations différentielles stochastiques (SDE) sous des dynamiques « sans mémoire ». Cela nécessite un grand nombre d'évaluations de fonctions (NFE) et exige de stocker l'ensemble de la trajectoire en mémoire.
Goulot d'étranglement de la simulation backward : Pour calculer le signal de contrôle, l'AM nécessite une simulation backward d'équation différentielle ordinaire (ODE) de l'état adjoint le long de la trajectoire échantillonnée. Cela implique le calcul de produits Jacobien-Vecteur (JVP) à travers le réseau préentraîné à chaque étape d'intégration, ce qui est coûteux en calcul.

Les auteurs observent que ces goulots d'étranglement sont intrinsèquement liés à la dérive de base non triviale héritée du modèle préentraîné dans les formulations AM standard.

Méthodologie : Adjoint Matching efficace (EAM)

L'article propose l'Adjoint Matching efficace (EAM), qui reformule le problème SOC pour éliminer les deux goulots d'étranglement computationnels tout en préservant la garantie théorique d'atteindre la distribution cible inclinée par la récompense.

1. Redéfinition des dynamiques de base

L'EAM introduit deux conditions structurelles pour les dynamiques de base :

Linéarité : La dérive de base $b(x,t)$ est redéfinie pour être linéaire en $x$ (c'est-à-dire $b(x,t) = D(t)x$ ).
Sans mémoire : La dynamique de base reste sans mémoire, permettant d'échantillonner directement les états intermédiaires à partir du point final.

En fixant le coefficient de diffusion $\sigma(t)$ pour correspondre à la configuration standard, les auteurs dérivent une famille spécifique de dérives linéaires admissibles (Éq. 15) qui satisfont ces conditions. Cette dérive linéaire permet une solution sous forme close pour l'état adjoint, éliminant le besoin de simulation ODE backward et d'évaluations JVP.

2. Correction du coût terminal

Changer la dérive de base modifie la distribution terminale du système non contrôlé. Pour garantir que la distribution contrôlée optimale corresponde toujours à la distribution cible inclinée par la récompense souhaitée $p^\star_1$ , l'EAM dérive un coût terminal corrigé $g(x)$ . Le gradient de ce coût, $\nabla g(x)$ , inclut des termes pour le score préentraîné, le nouveau score terminal de base et le gradient de récompense (Éq. 16).

3. Algorithme d'entraînement

La boucle d'entraînement EAM (Algorithme 1) se déroule comme suit :

Génération du point final : Au lieu d'un déploiement SDE complet, l'image de point final $X_1$ est générée en utilisant un solveur ODE déterministe en quelques étapes (par exemple, 10 NFE).
Construction de l'état intermédiaire : Les états intermédiaires $X_t$ sont échantillonnés directement à partir du noyau de bruitage original $q_t(\cdot | X_1)$ conditionné par le point final généré, contournant ainsi le besoin de simulation forward SDE.
Adjoint sous forme close : L'état adjoint est calculé via une mise à l'échelle sous forme close du gradient du point final $\nabla g(X_1)$ , éliminant entièrement la simulation backward.
Paramétrisation du contrôle : Le contrôle $u(x,t)$ est paramétré via un modèle de vitesse entraînable (par exemple, LoRA) initialisé à partir du modèle préentraîné, permettant au fine-tuning de démarrer à partir des dynamiques préentraînées.

Contributions clés

Proposition d'algorithme : L'introduction de l'EAM, un algorithme de fine-tuning basé sur le gradient de récompense qui atteint les mêmes objectifs théoriques que l'AM mais avec un coût computationnel considérablement réduit.
Caractérisation théorique : Une caractérisation des dérives de base linéaires qui satisfont les exigences pour une construction de trajectoire efficace (sans mémoire) et un calcul d'adjoint sous forme close.
Validation empirique : Démonstration que l'EAM converge jusqu'à 4 fois plus vite que l'AM sur des benchmarks T2I standard, tout en égalant ou surpassant ses performances sur plusieurs métriques.

Résultats

Les auteurs ont évalué l'EAM sur Stable Diffusion 3.5-Medium (SD3.5-M) en utilisant le jeu de données Pick-a-Pic, en le comparant à l'AM et à la base SD3.5-M.

Efficacité : L'EAM réduit le coût d'entraînement par itération d'un facteur allant jusqu'à 4. Cela est obtenu en remplaçant les simulations SDE en 40 étapes par un échantillonnage de point final ODE en 10 étapes et en éliminant les simulations d'adjoint backward.
Performance : Sur des benchmarks incluant PickScore, ImageReward, HPSv2.1, CLIPScore et Aesthetics, l'EAM correspond systématiquement ou surpasse l'AM.
- Dans les configurations à récompense unique (PickScore), l'EAM a obtenu un PickScore de 23,16 contre 23,00 pour l'AM.
- Dans les configurations à récompenses multiples (PickScore + HPSv2.1 + Aesthetics), l'EAM a obtenu un PickScore de 22,93 et un score Aesthetics de 6,56, surpassant l'AM (6,21).
Améliorations qualitatives : Les comparaisons visuelles indiquent que l'EAM préserve mieux les détails fins et les compositions complexes par rapport à l'AM, qui lisse parfois les détails. Cela est attribué à la cohérence de l'EAM entre les trajectoires d'entraînement (bruitage conditionné par le point final) et les trajectoires d'inférence.

Importance et affirmations

L'article affirme que les limitations principales de l'Adjoint Matching ne sont pas inhérentes à la formulation SOC elle-même, mais sont des artefacts du choix spécifique de la dérive de base. En redéfinissant la dérive de base pour qu'elle soit linéaire et sans mémoire, et en ajustant en conséquence le coût terminal, l'EAM élimine les deux principaux goulots d'étranglement computationnels (simulation forward SDE et simulation backward d'adjoint) sans sacrifier les garanties d'alignement théoriques.

Les auteurs positionnent l'EAM comme une solution pratique et évolutive pour le fine-tuning par récompense qui conserve l'efficacité des échantillons des méthodes basées sur le gradient tout en réduisant considérablement la surcharge computationnelle, rendant l'alignement de haute qualité des modèles de diffusion plus accessible. L'œuvre ne prétend pas résoudre tous les défis d'optimisation (par exemple, la rejouaison de tampon ou les calendriers adaptatifs sont notés comme travaux futurs), mais établit une nouvelle référence pour l'efficacité dans ce domaine.