💻 computer science

Sample-Adaptive Latent Rewards for Uncertainty-Guided Diffusion Post-Training

L'article propose \textsc{SURE}, un cadre unifié dans l'espace latent qui améliore le post-entraînement des modèles de diffusion en apprenant des distributions de récompense avec des estimations d'incertitude adaptatives aux échantillons afin de fournir un retour dense et fiable pour l'optimisation sans nécessuer de décodage dans l'espace des pixels.

Auteurs originaux : Rui Li, Yuanzhi Liang, Ke Hao, Ziqiao Weng, Haibin Huang, Chi Zhang, XueLong Li

Publié 2026-08-07

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Rui Li, Yuanzhi Liang, Ke Hao, Ziqiao Weng, Haibin Huang, Chi Zhang, XueLong Li

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous enseigniez à un robot artiste comment peindre. Vous ne voulez pas attendre que le robot termine tout un chef-d'œuvre pour lui dire : « Non, ce chien ressemble à une pomme de terre. » Vous voulez lui murmurer des indices pendant qu'il mélange encore les couleurs sur la toile. C'est le monde des modèles de diffusion, un type d'IA qui crée des images et des vidéos en transformant progressivement un bruit statique en images claires, étape par étape. Pour que ces robots peignent ce que les humains aiment réellement, nous avons besoin d'un « système de récompense » — un enseignant qui donne des points pour le bon art et des points négatifs pour le mauvais art.

Traditionnellement, cet enseignant attend que le robot finisse la peinture, regarde l'image finale, puis donne une note. Mais c'est lent et coûteux car le robot doit terminer toute l'image juste pour obtenir un indice. Des méthodes plus récentes permettent à l'enseignant de jeter un coup d'œil aux croquis brouillons et inachevés (appelés « latents ») et de donner un retour plus tôt. Cependant, il y a un piège : ces enseignants se contentent généralement de crier un seul chiffre, comme « 8 sur 10 », sans dire à quel point ils sont sûrs d'eux. Si l'enseignant devine de manière aléatoire mais crie quand même un score élevé, le robot pourrait être confus et commencer à peindre des choses bizarres juste pour poursuivre ce faux score. Ce document s'attaque au problème d'apprendre au robot comment faire confiance à son enseignant, et quand l'ignorer.

Le Problème : L'Enseignant Trop Confiant

Imaginez un professeur d'art strict notant vos croquis. Par le passé, ce professeur regardait votre dessin à moitié fini et disait simplement : « Bon travail ! » ou « Mauvais travail ! » avec un seul chiffre. Le problème est que l'enseignant ne sait parfois pas de quoi il parle. Peut-être que le croquis est si flou que l'enseignant ne fait que deviner, mais il crie quand même un score élevé. Si vous, l'étudiant, suivez aveuglément ce score élevé, vous pourriez commencer à commettre la même erreur encore et encore, pensant que vous progressez alors que vous êtes en réalité en train de dérailler. Dans le monde de l'IA, c'est ce qu'on appelle le « reward hacking » (le détournement de récompense), où l'IA trouve une faille pour obtenir un score élevé sans réellement améliorer l'art.

Les chercheurs derrière ce document, qui appellent leur système SURE (Sample-Adaptive Latent Rewards for Uncertainty-Guided Diffusion Post-Training), ont réalisé que les enseignants existants manquaient d'une information cruciale : la confiance. Ils avaient besoin d'un moyen pour que l'enseignant puisse dire : « Je suis sûr à 90 % que c'est un bon dessin », ou « Je ne suis sûr qu'à 20 %, donc ne m'écoutez pas trop attentivement ».

La Solution : Un Enseignant Qui Avoue Son Doute

Les auteurs ont construit un système en deux parties pour corriger cela.

Partie 1 : L'Enseignant Sensible à l'Incertitude (SURE-LRM)
D'abord, ils ont créé un nouveau type de modèle de récompense. Au lieu de simplement donner un score, ce modèle donne un score et une mesure de l'instabilité de ce score. Pensez à une prévision météorologique. Un enseignant normal dit : « Il va pleuvoir. » Le nouveau enseignant SURE-LRM dit : « Il va pleuvoir, et je suis sûr à 95 % », ou « Il se peut qu'il pleuve, mais je n'en suis sûr qu'à 40 % parce que les nuages sont étranges. »

Ils ont entraîné cet enseignant en utilisant une méthode spéciale où il examine des paires d'images (une bonne, une mauvaise) et apprend non seulement laquelle est la meilleure, mais aussi à quel point la « qualité » varie. Si l'enseignant voit un croquis désordonné et confus, il apprend à donner un score d'« incertitude » élevé. S'il voit un chef-d'œuvre clair et évident, il donne un score d'incertitude faible. Crucialement, le document montre que cet enseignant peut apprendre ce niveau de confiance simplement en regardant des exemples standards de « bon contre mauvais », sans avoir besoin que des humains étiquettent explicitement à quel point ils étaient confiants.

Partie 2 : L'Étudiant Intelligent (SURE-REFL)
Ensuite, ils ont construit une méthode d'entraînement appelée SURE-REFL qui utilise ce nouvel enseignant. Lorsque l'artiste IA apprend, il demande des commentaires à l'enseignant à de nombreuses étapes du processus de dessin. Habituellement, l'IA prendrait chaque retour et essaierait de le suivre aveuglément. Mais avec SURE-REFL, l'IA regarde d'abord le « compteur de confiance » de l'enseignant.

Si l'enseignant dit : « Score : 8/10, Confiance : Faible », l'IA pense : « D'accord, je vais écouter, mais je ne vais pas changer tout mon tableau sur la base de cela. » Si l'enseignant dit : « Score : 8/10, Confiance : Haute », l'IA pense : « Compris ! Je vais définitivement faire plus de cela. » Le système pèse essentiellement le retour : une haute confiance reçoit un poids lourd, et une faible confiance reçoit un poids léger. Cela empêche l'IA de se laisser confondre par les suppositions de l'enseignant.

Ce Qu'Ils Ont Découvert

Les chercheurs ont testé ce système sur des générateurs d'images (comme créer des images de chats) et des générateurs de vidéos (comme créer de courts clips de films).

De Meilleurs Enseignants : Le nouvel enseignant SURE-LRM était meilleur pour prédire les préférences humaines que les méthodes précédentes. Lors d'un test de 2 000 paires d'images, en ne conservant que les prédictions où l'enseignant était le plus confiant (les 50 % d'incertitude les plus bas), la précision est passée d'environ 79,4 % à 90,1 %. Cela prouve que le « compteur de confiance » de l'enseignant disait la vérité sur la fiabilité de ses prédictions.
Apprentissage Stable : Lorsqu'ils ont utilisé SURE-REFL pour entraîner l'IA, le processus d'apprentissage a été beaucoup plus stable. Dans les tests avec les anciennes méthodes, le score de l'IA augmentait tandis que la qualité réelle de l'art diminuait (un signe de reward hacking). Avec SURE-REFL, les scores et la qualité réelle sont restés synchronisés beaucoup plus longtemps.
Performance de Pointe : Dans les résultats finaux, la méthode SURE-REFL a obtenu les scores les plus élevés sur les bancs d'essai standards pour les images et les vidéos. Pour la génération de vidéos, elle a atteint un score de qualité totale de 0,8357, battant la deuxième meilleure méthode de 0,0109.

Pourquoi C'est Important

Ce document suggère que la clé pour apprendre à l'IA à créer un meilleur art n'est pas seulement d'avoir un enseignant plus intelligent, mais d'avoir un enseignant qui sait quand il ne sait pas. En permettant à l'IA d'ignorer les suppositions fragiles de l'enseignant et de se concentrer sur celles qui sont certaines, le système évite d'être trompé pour créer un art bizarre ou cassé juste pour poursuivre un score élevé. C'est une étape vers la création d'artistes IA qui sont non seulement créatifs, mais aussi fiables, apprenant du feedback sans être confus par le bruit.

Résumé Technique : Récompenses Latentes Adaptatives à l'Échantillon pour le Post-Entraînement de la Diffusion Guidée par l'Incertitude

1. Énoncé du Problème

Le post-entraînement des modèles de diffusion visuelle pour l'alignement avec les préférences humaines repose généralement sur l'évaluation des sorties RGB décodées, ce qui nécessite un décodage VAE répété et coûteux au sein de la boucle de rétroaction. Bien que des modèles de récompense latente (LRM) « natifs de la diffusion » soient apparus pour noter directement les latents bruités — évitant ainsi les coûts de décodage et permettant une supervision des états intermédiaires — les approches existantes souffrent de deux limitations critiques :

Les sorties scalaires manquent d'incertitude : Les modèles de récompense latente actuels ne produisent qu'un score scalaire. Ils ne parviennent pas à estimer l'incertitude de chaque prédiction. Par conséquent, le générateur ne peut pas distinguer un feedback fiable d'un feedback peu fiable.
Hypothèses d'incertitude statiques : Les travaux antérieurs comme DiNa-LRM assignent l'incertitude uniquement en fonction du niveau de bruit (pas de temps/timestep) du latent. Ils supposent que tous les échantillons à un même pas de temps partagent la même fiabilité. Cependant, l'article soutient que la difficulté de la récompense dépend également du contenu ; un échantillon « bruité » avec un sujet clair peut être plus prévisible qu'un échantillon « plus propre » avec un contenu ambigu.
Risques d'optimisation : Sans estimation de l'incertitude, le générateur peut optimiser en se basant sur un feedback local peu fiable, menant au « détournement de récompense » (reward hacking, où le modèle exploite la fonction de récompense plutôt que d'améliorer la qualité) et à une dynamique d'entraînement instable.

2. Méthodologie

Les auteurs proposent SURE (Sample-Adaptive Latent Reward for Uncertainty-Guided Diffusion Post-Training), un cadre unifié composé de deux composants : SURE-LRM (le modèle de récompense) et SURE-REFL (l'algorithme de post-entraînement).

2.1 SURE-LRM : Modèle de Récompense Latente Adaptatif à l'Échantillon

SURE-LRM est conçu pour prédire non seulement un score de récompense, mais une distribution d'utilité gaussienne complète pour chaque latent bruité, conditionnée par le prompt et le pas de temps.

Architecture : Il réutilise l'architecture Diffusion Transformer (DiT) du générateur cible (pour les images et les vidéos) pour traiter les latents bruités, les prompts et les pas de temps sans décodage VAE.
Cibles de Prédiction : Pour un latent bruité $z_\sigma$ $z_{σ}$ , le modèle prédit :
- Une moyenne de récompense $\mu_\theta$ .
- Un paramètre de variance résiduelle adaptatif à l'échantillon $a_\theta$ .
Modélisation de la Variance : La variance prédictive totale $v_\eta(\sigma)$ est la somme d'une priorité dépendante du bruit $v_0(\sigma)$ (capturant la perte d'information moyenne à mesure que le bruit augmente) et d'une variance résiduelle apprise et spécifique à l'échantillon $v_{\eta, res} = \text{softplus}(a_\theta) + \epsilon_v$ .
Objectif d'Entraînement : Le modèle est entraîné sur des préférences par paires standard ( $z^+ \succ z^-$ $z^{+} ≻ z^{-}$ ) en utilisant un objectif de préférence hétéroscédastique :
- Perte de Vraisemblance ( $L_{pref}$ ) : Basée sur le modèle d'utilité aléatoire de Thurstone, elle optimise la probabilité que l'échantillon préféré ait une utilité supérieure. Les gradients encouragent naturellement le modèle à augmenter la variance (incertitude) lorsque le classement est incorrect ou ambigu, et à la diminuer lorsque le classement est confiant et correct.
- Régularisation :
  - Régularisation de la Variance ( $L_{var}$ ) : Empêche le modèle d'expliquer toutes les erreurs de classement en gonflant simplement l'incertitude (inflation de la variance).
  - Régularisation de la Marge ( $L_{margin}$ ) : Assure une séparation minimale entre les scores préférés et rejetés.
  - Perte d'Ancrage ( $L_{anchor}$ ) : Stabilise l'échelle globale des scores.

2.2 SURE-REFL : Apprentissage de Feedback de Récompense Dense Guidé par l'Incertitude

Une fois que SURE-LRM est entraîné, ses paramètres sont gelés. SURE-REFL utilise ce modèle pour guider le post-entraînement du générateur dans l'espace latent.

Mécanisme de Feedback Local : Au lieu de rétropropager à travers l'ensemble du graphe de débruitage, SURE-REFL interroge le modèle de récompense gelé aux transitions sélectionnées ( $j$ ) le long de la trajectoire de débruitage.
Pondération Guidée par l'Incertitude :
1. Le modèle prédit la récompense moyenne $\mu$ et la variance résiduelle pour l'état à la transition $j$ .
2. La variance totale est convertie en un poids de fiabilité $\rho = V^{-1/2}$ (inverse de l'écart-type).
3. Ce poids est détaché (stop-gradient) du modèle de récompense, ce qui signifie que le générateur apprend de la pondération mais ne met pas à jour les estimations d'incertitude du modèle de récompense lors de cette étape.
4. Les poids sont normalisés entre les échantillons évalués au même pas de transition pour assurer une comparaison équitable.
Optimisation : Le générateur est mis à jour à l'aide d'un objectif de récompense pondéré où les échantillons ayant une variance prédite plus faible (fiabilité plus élevée) contribuent plus fortement au gradient. Ce feedback dense est appliqué localement à chaque transition, évitant ainsi le besoin de rétention complète du graphe ou de décodage dans l'espace des pixels.

3. Contributions Clés

Formulation de l'Incertitude Adaptative à l'Échantillon : L'article formule l'incertitude de la récompense dans l'espace latent comme une distribution apprenable dérivée de préférences par paires standards, sans nécessiter d'annotations de confiance humaine supplémentaires.
SURE-LRM : Un modèle de récompense latente qui apprend l'incertitude dépendante de l'échantillon, démontrant que des échantillons au même pas de temps peuvent avoir des estimations de fiabilité différentes selon leur contenu.
SURE-REFL : Une méthode de post-entraînement unifiée pour l'image et la vidéo qui exploite l'incertitude détachée pour pondérer le feedback local dense, éliminant le besoin de décodage VAE et de rétention complète du graphe de débruitage.
Aperçu Théorique : Les auteurs dérivent des gradients de variance pour démontrer comment la perte de préférence fournit un signal intrinsèque pour l'apprentissage de l'incertitude.

4. Résultats Expérimentaux

4.1 Précision du Modèle de Récompense (SURE-LRM)

Benchmarks d'Images : SURE-LRM a atteint une précision de préférence par paire de pointe (SOTA) sur quatre benchmarks (ImageReward, HPD v2, HPD v3, GenAI-Bench) sur trois backbones différents (SD3.5, Z-Image-Turbo, FLUX.1-dev), surpassant les bases solides incluant DiNa-LRM et les récompenses de pixels basées sur les VLM.
Benchmarks Vidéo : Sur VisionRewardDB et T2V Ranking, SURE-LRM a obtenu la précision la plus élevée, surpassant les évaluateurs de vidéos décodées et les modèles de récompense spécifiques à la vidéo.
Diagnostics d'Incertitude : Les expériences ont confirmé que la variance résiduelle apprise est corrélée aux erreurs de prédiction. Les échantillons ayant des classements incorrects présentaient une variance résiduelle nettement plus élevée (24,26 % de plus en moyenne). Le filtrage des échantillons par faible variance prédite a amélioré la précision des préférences par paires de 79,40 % à 90,10 %.

4.2 Performance du Post-Entraînement (SURE-REFL)

Génération d'Images : SURE-REFL a obtenu les meilleures performances sur les métriques HPSv2.1, ImageReward et PickScore sur SD3.5, Z-Image-Turbo et FLUX.1-dev, surpassant les bases comme Flow-GRPO, ViPO et DiNa-LRM.
Génération Vidéo : Sur VBench, SURE-REFL a obtenu les scores les plus élevés pour les métriques Qualité, Sémantique et Totale pour le générateur vidéo Wan2.1-14B, surpassant DanceGRPO, ViPO, Video-DPO et HY-PRFL.
Stabilité et Détournement de Récompense : La dynamique d'optimisation a montré que, tandis que les bases (ex: DiNa-LRM-REFL) présentaient un détournement de récompense (les scores de récompense augmentent alors que les métriques de qualité indépendantes comme HPSv3 chutent), SURE-REFL maintient l'alignement entre la récompense optimisée et les métriques de qualité indépendantes plus longtemps, atteignant des scores finaux plus élevés.

4.3 Études d'Ablation

L'ablation des composantes de perte du modèle de récompense a confirmé que tous les termes sont nécessaires. La suppression de la régularisation de la variance ( $L_{var}$ ) a causé la chute la plus importante de précision, validant la nécessité de contrôler l'inflation de la variance.

5. Signification et Revendications

L'article affirme que SURE fournit un cadre unifié et efficace pour aligner les modèles de diffusion visuelle en traitant le « fossé de fiabilité » dans la modélisation de la récompense latente. Sa signification réside dans :

Efficacité : En opérant entièrement dans l'espace latent sans décodage VAE, il réduit la charge de calcul pendant la boucle de rétroaction.
Robustesse : En modélisant et en utilisant explicitement l'incertitude adaptative à l'échantillon, il empêche le générateur de sur-apprendre un feedback bruité ou ambigu, réduisant ainsi le détournement de récompense et améliorant la stabilité de l'entraînement.
Généralité : Le cadre est agnostique à la modalité, appliquant avec succès la même logique de pondération de l'incertitude tant à la génération d'images qu'à celle de vidéos.

Les auteurs concluent que l'apprentissage de l'incertitude dépendante de l'échantillon à partir de préférences par paires standards est une stratégie viable et efficace pour améliorer la fiabilité du feedback de récompense dense dans le post-entraînement de la diffusion.