🤖 machine learning

PG-MAP: Joint MAP Optimization for Inference-Time Alignment of Diffusion and Flow-Matching Models

L'article présente PG-MAP, un cadre sans entraînement qui améliore l'alignement lors de l'inférence pour les modèles de diffusion et de flux (flow-matching) en formulant le processus comme une optimisation conjointe Gibbs-MAP sur les variables de conditionnement et les variables latentes, atteignant ainsi des performances supérieures à travers diverses métriques et évaluations humaines par rapport aux méthodes existantes à axe unique.

Auteurs originaux : Ruolan Sun, Pawel Polak

Publié 2026-06-23

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Ruolan Sun, Pawel Polak

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous êtes un chef étoilé essayant de cuisiner un plat parfait basé sur la commande d'un client. Dans le monde de la génération d'images par IA, le « chef » est un modèle complexe (comme Stable Diffusion), la « commande » est le prompt textuel (par exemple, « un panda roux astronaute »), et le « plat » est l'image finale.

Habituellement, quand le chef fait une erreur, vous ne pouvez la corriger que d'une seule manière à la fois :

Changer la commande : Vous réécrivez le prompt textuel pour être plus spécifique (comme dire au chef : « Assurez-vous que le panda soit bien rouge »).
Ajuster les ingrédients : Vous ajustez le mélange brut pendant la cuisson pour corriger la texture ou l'éclairage (comme ajouter du sel ou ajuster la chaleur).

Les méthodes existantes vous forcent à choisir l'un de ces deux chemins. Si vous corrigez le texte, vous risquez de gâcher la texture. Si vous corrigez la texture, vous risquez de perdre le sens du prompt.

PG-MAP est un nouvel « assistant super-chef » qui fait les deux en même temps, de manière dynamique, pendant que le plat est en train de cuire.

L'idée centrale : Une danse dynamique

Le papier présente PG-MAP (Preference-Guided Adaptive MAP). Au lieu de prendre une décision unique au début ou d'ajuster les choses une seule fois à la fin, PG-MAP traite le processus de création d'image comme un voyage continu.

Imaginez le processus de génération d'image comme un long voyage sur une route sinueuse, partant d'un point de départ brumeux (le bruit aléatoire) pour arriver à une destination claire (l'image finale).

Le Problème : Sur cette route, le « brouillard » (le bruit) est épais au début et se dissipe à la fin. Les méthodes existantes tentent de diriger la voiture en utilisant une carte statique ou un ajustement unique.
La Solution PG-MAP : PG-MAP agit comme un GPS qui recalcule constamment l'itinéraire étape par étape. Il regarde l'état actuel de l'image et pose deux questions simultanément :
1. « La description textuelle correspond-elle toujours à ce que nous voyons ? » (Conditionnement, ou le c-side).
2. « La qualité visuelle est-elle bonne ? » (État latent, ou le z-side).

Il ajuste ensemble la « description textuelle » et les « ingrédients visuels », garantissant qu'ils travaillent en harmonie plutôt que de s'opposer.

Comment cela fonctionne : La règle de la « cohérence vers l'avant »

Le papier utilise un terme sophistiqué appelé « couplage de cohérence vers l'avant » (forward-consistency coupling). Voici une analogie simple :

Imaginez que vous marchez dans une forêt sombre (le processus de génération). Vous avez une lampe de poche (le modèle d'IA) qui vous montre où vous vous trouvez en ce moment même.

Les anciennes méthodes diraient : « Je sais d'où je suis parti, donc je vais continuer à marcher en ligne droite », ou « Je vais simplement ajuster mon chemin une seule fois à la fin ».
PG-MAP dit : « Regardons où la lampe de poche pointe en ce moment. Si la lumière suggère que nous dévions de la route, nous allons doucement rectifier notre direction (le texte) et notre appui (les détails de l'image) en même temps pour reprendre le bon chemin ».

Il y parvient en calculant un « score » (une récompense) pour chaque petite étape du voyage. Si l'image ressemble à un « panda roux » mais que la fourrure semble floue, il accentue la netteté de la fourrure. Si la fourrure est superbe mais que l'animal ressemble à un humain, il ajuste l'embedding du texte pour forcer la forme du panda.

Deux types de routes différents

Le papier fait une découverte fascinante : la meilleure façon de conduire dépend du type de route sur lequel vous vous trouvez.

Modèles de Diffusion (La route accidentée et brumeuse) : Sur les modèles plus anciens (comme SD 1.5 ou SDXL), la route est pleine de bruit. PG-MAP fonctionne mieux ici en ajustant à la fois le texte et les détails de l'image tôt dans le processus, lorsque le brouillard est épais.
Modèles de Flow-Matching (L'autoroute lisse et droite) : Sur les modèles plus récents et plus rapides (comme SD3.5), la route est beaucoup plus fluide. Ici, PG-MAP réalise qu'ajuster le texte est inutile (la route est trop stable). À la place, il se concentre entièrement sur l'ajustement des détails de l'image à la toute fin du voyage.

Cette adaptabilité est unique ; la plupart des autres outils tentent d'utiliser la même stratégie pour les deux types de routes.

Les résultats : De meilleures images, moins de tâtonnements

Les auteurs ont testé cela sur des milliers de prompts.

Qualité Visuelle : Les images étaient plus nettes, avec un meilleur éclairage et des détails plus précis (comme la poignée d'une épée ou la texture d'une plume).
Précision du Prompt : Les images correspondaient mieux aux descriptions textuelles (par exemple, le « panda roux » ressemblait réellement à un panda, et non à un humain).
Préférence Humaine : Lorsque de vraies personnes ont été interrogées pour choisir entre l'ancienne méthode et PG-MAP, elles ont choisi PG-MAP environ 60 % à 67 % du temps.

Le secret de l'« Oracle »

Le papier a également mené une expérience de type « et si ». Ils ont demandé : « Si nous pouvions magiquement connaître la manière parfaite de corriger chaque prompt spécifique, à quel point pourrions-nous faire mieux ? »
Ils ont découvert que différents types de prompts nécessitent des corrections différentes.

Les prompts courts et spécifiques (comme « un cube rouge ») ont besoin de plus d'aide concernant le texte.
Les prompts atmosphériques (comme « un coucher de soleil sur l'océan ») ont besoin de plus d'aide concernant la texture visuelle.

PG-MAP est un outil unique qui gère les deux, mais le papier suggère qu'à l'avenir, un « contrôleur de trafic » intelligent pourrait choisir automatiquement la meilleure stratégie pour chaque demande spécifique, rendant potentiellement les images encore meilleures.

Résumé

PG-MAP est un outil sans entraînement (training-free) qui rend les générateurs d'images par IA plus intelligents en leur permettant d'ajuster simultanément la signification du prompt et l'apparence de l'image, étape par étape, pendant que l'image est créée. Il adapte sa stratégie en fonction du type de modèle d'IA utilisé, produisant des images qui sont à la fois plus fidèles au texte et plus belles à regarder.

Résumé Technique : PG-MAP : Optimisation MAP conjointe pour l'alignement au moment de l'inférence des modèles de diffusion et de flow-matching

Énoncé du Problème
Les méthodes actuelles d'alignement au moment de l'inférence pour les modèles pré-entraînés de texte-vers-image (diffusion et flow-matching) opèrent généralement selon un axe de contrôle unique. Les méthodes côté conditionnement (ex: édition de l'attention, apprentissage de l'embedding de texte) modifient l'embedding de texte $c$ , tandis que les méthodes côté latent (ex: perturbations du latent guidées par la récompense) modifient l'état latent $z_t$ . Les cadres existants ne parviennent pas à modéliser les dépendances conjointes entre les variables de conditionnement et les variables latentes, traitant les mises à jour comme additives plutôt que coordonnées. De plus, ces méthodes sont souvent statiques, fixant les stratégies de contrôle au début de la trajectoire ( $z_T$ ) ou hors ligne, ignorant les besoins d'information dynamiques du dénoiser à mesure que la trajectoire évolue des régimes de bruit élevé (configuration globale) vers les régimes de bruit faible (détails locaux). Cette limitation entrave le transfert des techniques d'alignement entre les différents transports génératifs (Diffusion vs Flow-Matching).

Méthodologie : PG-MAP
Les auteurs proposent PG-MAP (Preference-Guided Adaptive MAP), un cadre sans entraînement qui formule l'alignement au moment de l'inférence comme une optimisation de type Gibbs-MAP / proximité d'énergie au niveau de la trajectoire. L'innovation centrale est un couplage de cohérence de propagation (forward-consistency coupling) qui optimise conjointement le conditionnement $c$ et l'état latent $z_t$ à chaque étape de débruitage.

Fonction d'Objectif : Le cadre définit une fonction d'énergie dépendante de l'étape $J_t(c, z_t)$ comprenant trois composantes :
1. Résidu de Cohérence de Propagation : Un terme $\ell_t(c, z_t)$ qui pénalise l'écart entre le latent actuel $z_t$ et la prédiction par le modèle de l'état de l'étape précédente, garantissant que la trajectoire reste cohérente avec le noyau de propagation du dénoiser.
2. Priors d'Ancrage Gaussien : Des termes $R_c(c)$ et $R_z(z_t)$ qui ancrent les variables optimisées à leurs valeurs non perturbées ( $c_0$ et le point de trajectoire DDIM $z^{ddim}_t$ ). Crucialement, l'échelle du prior latent $\sigma_z(t)$ est adaptative selon le planning (schedule-adaptive), suivant l'échelle de bruit marginale du processus de diffusion ( $\sigma_z(t) = \gamma\sqrt{1-\bar{\alpha}_t}$ ) pour fournir une région de confiance invariante d'échelle qui se resserre à mesure que la trajectoire approche de la variété des données (data manifold).
3. Inclinaison de Récompense de Préférence (Preference Reward Tilt) : Un terme $\lambda Q(\hat{x}_0, y)$ qui guide l'optimisation vers la préférence humaine (ex: PickScore, HPS) basée sur l'aperçu par étape de l'image propre par le modèle.
Ensemble Actif Adaptatif : Le cadre emploie un ensemble actif dépendant de l'étape $A_t \subseteq \{c, z_t\}$ et une porte de récompense $\lambda_t$ .
- Modèles de Diffusion (SD 1.5, SDXL) : Le cadre affine conjointement $c$ et $z_t$ , principalement dans la fenêtre de bruit élevé, permettant au conditionnement et aux variables latentes de s'informer mutuellement à mesure que la trajectoire se déroule.
- Modèles de Flow-Matching (SD3.5) : En raison de la nature déterministe de l'ODE et de la haute capacité des encodeurs de texte concaténés, le cadre se réduit à une variante latente uniquement (UG-FM). Ici, l'ensemble actif se réduit à $\{z_t\}$ restreint à la fenêtre côté données (bruit faible), car les mises à jour du conditionnement sont jugées inefficaces et les perturbations du côté du bruit sont excessivement amplifiées par la dynamique de l'ODE.
Optimisation : La paire raffinée $(c^\star_t, z^\star_t)$ est obtenue via un petit nombre d'étapes d'ascension conjointe (typiquement $K=2$ ) en utilisant les gradients dérivés de la fonction d'énergie. Ce processus est composable avec les méthodes existantes comme le Classifier-Free Guidance (CFG), car le CFG modifie le champ de vecteurs tandis que PG-MAP déplace le point de requête sous un champ de vecteurs fixe.

Contributions Clés

Cadre MAP Conjoint ( $c, z_t$ ) : Le premier cadre d'inférence couplant les variables de conditionnement et latentes via le noyau de propagation du dénoiser, traitant simultanément les échecs de composition (côté c) et les échecs de texture (côté z).
Objectif Unifié : L'objectif $J_t$ récupère analytiquement les méthodes antérieures à axe unique (MAP-c, Reward-z) comme cas particuliers, tandis que le CFG reste un mécanisme externe composable plutôt qu'un cas particulier.
Optimisation Adaptative au Planning : Introduit une région de confiance et un ensemble actif dépendants du temps qui s'adaptent au planning de bruit, relâchant les contraintes à haut bruit et les resserrant près de la fin des données.
Analyse Dépendante du Transport : Démontre que l'ensemble actif optimal dépend du transport génératif : la diffusion bénéficie d'un raffinement conjoint à haut bruit, tandis que le flow-matching bénéficie d'un raffinement latent uniquement à la fin des données, une hypothèse soutenue par l'analyse de perturbation locale et la validation empirique.

Résultats

Backbones de Diffusion (SD 1.5, SDXL) : PG-MAP améliore systématiquement les métriques d'alignement. Sur SDXL, il atteint un taux de victoire de 56,4 % sur PickScore et de 56,2 % sur Aesthetic contre une ligne de base statique. Combiner PG-MAP avec un CFG ajusté donne la meilleure performance globale, atteignant 64,6 % sur HPS et 56,5 % sur Aesthetic.
Backbone de Flow-Matching (SD3.5-medium) : La variante latente uniquement (UG-FM) atteint des taux de victoire de 91,9 % sur PickScore et 75,7 % sur HPS contre la ligne de base statique. Des expériences contrôlées excluent les artefacts liés au bruit, confirmant que les gains proviennent de perturbations latentes structurées à basse fréquence.
Évaluation Humaine : Sur SDXL, PG-MAP est préféré aux lignes de base statiques, au CFG ajusté et à l'Universal Guidance avec calcul équivalent (compute-matched) lors d'évaluations humaines par paires (taux de victoire de 60 à 67 %).
Routage Oracle : Une analyse oracle révèle que différents types de prompts (ex: liaison d'attributs vs scènes atmosphériques) bénéficient de différentes variantes d'optimisation. Un sélecteur par prompt pourrait théoriquement améliorer les métriques de 5 à 14 points de pourcentage supplémentaires, indiquant une marge significative pour de futurs mécanismes de routage.

Signification et Revendications
L'article affirme que PG-MAP représente un passage des heuristiques d'alignement à axe unique et statiques vers une optimisation dynamique et consciente de la trajectoire comme principe de conception par défaut pour l'alignement au moment de l'inférence. En formulant l'alignement comme une optimisation d'énergie de proximité avec couplage de cohérence de propagation, le cadre permet des mises à jour coordonnées entre les modalités, compatibles à la fois avec les transports de diffusion et de flow-matching. Les auteurs soulignent que les ingrédients "essentiels" sont le couplage conjoint et le planning non stationnaire, plutôt que simplement des tailles de pas plus grandes ou des signaux de récompense plus forts. Ce travail fournit une fondation théorique et empirique unifiée pour comprendre comment les variables de conditionnement et latentes interagissent pendant le processus de génération, offrant une approche flexible et sans entraînement pour améliorer l'alignement des modèles génératifs.