🤖 AI

Lookahead Sample Reward Guidance for Test-Time Scaling of Diffusion Models

Cet article introduit LiDAR, une méthode de mise à l'échelle efficace lors du test pour les modèles de diffusion qui calcule un guidage par l'espérance de la récompense future sous forme fermée en utilisant des échantillons marginaux et un échantillonnage à anticipation de quelques étapes afin d'atteindre une haute qualité de génération alignée sur l'humain avec une accélération de 9,5x par rapport aux approches de guidage par gradient existantes.

Auteurs originaux : Yeongmin Kim, Donghyeok Shin, Byeonghu Na, Minsang Park, Richard Lee Kim, Il-Chul Moon

Publié 2026-06-02

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Yeongmin Kim, Donghyeok Shin, Byeonghu Na, Minsang Park, Richard Lee Kim, Il-Chul Moon

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous avez un artiste très talentueux (un modèle de diffusion) capable de peindre de magnifiques images à partir de rien. Vous lui donnez une consigne comme « un oiseau jaune sur une moto noire », et il commence à peindre. Il part d'une toile remplie de bruit statique (comme la neige sur une télévision) et l'affine progressivement pour en faire une image claire.

Cependant, il arrive que l'artiste s'égare un peu. Il pourrait peindre un oiseau qui ressemble plus à un poulet, ou une moto qui ressemble à un grille-pain. Techniquement, il suit les règles de la « peinture », mais il ne correspond pas parfaitement à votre vision spécifique.

Ce document présente une nouvelle façon de guider l'artiste pendant qu'il peint encore, sans avoir besoin de le réentraîner ou d'embaucher un nouvel enseignant. Cette méthode s'appelle LiDAR (Lookahead Sample Reward Guidance — Guidage par Récompense par Échantillonnage Anticipatif).

Voici comment cela fonctionne, décomposé en concepts simples :

1. Le Problème : Le « Backward Rollot » est trop lent

Pour corriger les erreurs de l'artiste, les méthodes précédentes essayaient d'être très minutieuses. Elles disaient : « Arrêtons-nous un instant, imaginons 100 façons différentes dont cette peinture pourrait se terminer, vérifions laquelle est la meilleure, puis orientons la peinture actuelle vers cette meilleure version. »

Le défaut : Faire ces « 100 différentes façons » pour chaque coup de pinceau prend un temps infini. C'est comme demander à l'artiste de terminer la peinture entière 100 fois juste pour décider du prochain coup de pinceau. C'est trop coûteux et trop lent.

2. L'Ancien Raccourci : « Deviner le Futur »

D'autres méthodes essayaient d'être plus rapides en utilisant un raccourci. Elles regardaient la peinture désordonnée actuelle et devinaient : « Si nous lissons un peu cela, à quoi ressemblera l'image finale ? » Ensuite, elles vérifiaient cette supposition par rapport à un système de récompense (un score pour évaluer la qualité de l'image).

Le défaut : Cette supposition est souvent erronée. Si l'artiste est encore dans la phase de « bruit désordonné », la supposition est une mauvaise approximation. Si vous poussez trop l'artiste en vous basant sur une mauvaise supposition, la peinture peut devenir étrange ou déformée. De plus, cette méthode nécessite souvent que l'artiste « réfléchisse à l'envers » à travers son propre cerveau (rétropropagation neuronale), ce qui est très lourd en termes de calcul.

3. La Solution LiDAR : La stratégie de « Lookahead » (Anticipation)

Les auteurs de ce document ont trouvé une astuce ingénieuse. Au lieu d'essayer de prédire le futur à partir de la peinture désordonnée actuelle, ils font quelque chose de différent :

Étape A : Les croquis d'anticipation (Phase 1)
Avant que la peinture principale ne commence, l'artiste réalise rapidement quelques brouillons (disons 50) basés sur votre consigne. Ce sont des « échantillons d'anticipation ». Ils ne sont pas parfaits, mais ils donnent un indice de ce que l'image finale pourrait être.

La Récompense : Un juge (une fonction de récompense) examine ces 50 brouillons et leur attribue des scores. « Ce brouillon a un bel oiseau, mais la moto est bizarre. Celui-ci a une moto parfaite. »

Étape B : La peinture principale avec une boussole (Phase 2)
Maintenant, l'artiste commence la véritable peinture à partir de zéro. Pendant qu'il travaille, il ne regarde pas seulement sa toile désordonnée actuelle. Il regarde aussi les 50 brouillons qu'il a réalisés plus tôt.

La Magie : Le processus de peinture est guidé par une règle simple : « Dirige ton pinceau vers les brouillons qui ont obtenu des scores élevés, et éloigne-toi de ceux qui ont obtenu des scores faibles. »

Pourquoi est-ce spécial ?

Pas de retour en arrière : L'artiste n'a pas besoin de resimuler toute la peinture 50 fois. Il utilise simplement les brouillons pré-établis comme une carte.
Pas de calculs lourds : Le papier affirme que cette méthode calcule le guidage en utilisant des mathématiques simples (comme la mesure de distances) plutôt que des calculs de réseaux neuronaux complexes. C'est comme utiliser une boussole plutôt qu'un supercalculateur pour trouver le Nord.
Vitesse : Comme les brouillons ont été créés rapidement (en utilisant un solveur rapide), l'ensemble du processus est beaucoup plus rapide. Le document affirme que la méthode est 9,5 fois plus rapide que les meilleures méthodes actuelles, tout en atteignant la même qualité.

L'Analogie : Randonnée avec une carte

Ancienne méthode (Guidage par gradient) : Vous faites une randonnée dans le brouillard. Pour trouver le meilleur chemin, vous essayez d'imaginer chaque chemin possible que vous pourriez prendre, calculez le score de chacun, puis ajustez votre pas. C'est épuisant et lent.
Méthode LiDAR : Avant de commencer votre randonnée, vous envoyez un drone pour prendre 50 photos rapides du terrain devant vous. Vous marquez les meilleurs endroits sur une carte. Pendant que vous marchez, vous regardez simplement votre carte et vous marchez vers les « bonnes » photos et loin des « mauvaises ». Vous n'avez pas besoin d'imaginer le futur ; vous suivez simplement la carte pré-établie.

Les Résultats

Le papier a testé cela sur des générateurs d'images populaires (comme SDXL).

Qualité : Les images respectaient mieux les consignes (par exemple, obtenir le bon nombre d'objets, correspondre aux couleurs) par rapport aux méthodes précédentes.
Efficacité : Le processus était nettement plus rapide et utilisait moins de mémoire informatique.
Polyvalence : La méthode fonctionnait bien même lorsque les « brouillons » étaient très rapides et simples, prouvant qu'il n'est pas nécessaire d'avoir des aperçus parfaits pour obtenir un excellent résultat final.

En résumé, LiDAR est une façon de donner à un modèle de diffusion une « fiche de triche » des futurs potentiels avant qu'il ne commence à dessiner, lui permettant de s'orienter vers le meilleur résultat de manière rapide et efficace, sans nécessiter de calculs lourds à chaque étape.

Résumé technique : LiDAR (Lookahead Sample Reward Guidance) pour le passage à l'échelle au moment de l'inférence des modèles de diffusion

Énoncé du problème

Les modèles de diffusion ont atteint des performances génératives remarquables dans les domaines de l'image, de la vidéo et du langage ; cependant, les échantillons générés échouent fréquemment à s'aligner pleinement avec l'intention humaine. Bien que des fonctions de récompense capturant les préférences humaines existent, l'intégration de celles-ci dans le processus d'échantillonnage présente des défis importants. L'objectif central du passage à l'échelle au moment de l'infrence (test-time scaling) est d'échantillonner à partir d'une distribution biaisée par la récompense $p_\theta^r(x_0|c) \propto p_\theta(x_0|c) \exp(\lambda \cdot r(x_0, c))$ .

Cela nécessite de calculer l'Espérance de la Récompense Future (EFR - Expected Future Reward), $r_t^\lambda(x_t, c)$ , pour les particules intermédiaires $x_t$ afin de guider le processus de diffusion inverse. Les méthodes existantes font face à des limitations critiques :

Rollout vers l'arrière (Backward Rollout) : L'échantillonnage direct de $x_t$ vers $x_0$ pour estimer l'EFR est extrêmement coûteux en calcul en raison de la nécessité d'un débruitage itératif à chaque étape de temps.
Approximations basées sur Tweedie : Les méthodes telles que le Guidage par Gradient (Gradient Guidance) et la méthode de Monte Carlo séquentielle (SMC) reposent sur des approximations de Taylor du premier ordre (formule de Tweedie) pour estimer l'EFR. Celles-ci introduisent un biais, particulièrement lorsque l'intensité du signal de récompense ( $\lambda$ ) est élevée, et nécessitent souvent une rétropropagation à travers les réseaux de neurones (Gradient Guidance) ou souffrent d'un effondrement d'échantillons (sample collapse) dans les espaces de haute dimension (SMC).

Méthodologie : LiDAR

Les auteurs proposent LiDAR (Lookahead Sample Reward Guidance), un cadre qui découple la dépendance neuronale entre la particule intermédiaire $x_t$ et l'EFR, permettant un guidage par forme fermée et sans dérivée.

1. Reformulation de l'Espérance de la Récompense Future

Le document dérive une nouvelle formulation pour l'EFR (Théorème 3.1) qui exprime l'espérance de la récompense en utilisant uniquement des échantillons marginaux provenant d'un modèle de diffusion pré-entraîné et du noyau de perturbation direct (forward perturbation kernel), plutôt que de conditionner sur la particule actuelle $x_t$ via des réseaux de neurones :
$r_t^\lambda(x_t, c) = \log \mathbb{E}_{p_\theta(x_0|c)} \left[ \frac{p(x_t|x_0)}{\mathbb{E}_{p_\theta(x_0|c)}[p(x_t|x_0)]} \exp(\lambda \cdot r(x_0, c)) \right]$
Cette approche de « rollout direct » (forward rollout) permet de calculer l'EFR pour n'importe quel $x_t$ en utilisant un ensemble pré-généré d'échantillons marginaux $\{\hat{x}_0^i\}$ , éliminant ainsi le besoin de rétropropagation à travers le réseau de score $s_\theta$ ou le modèle de récompense lors de l'étape de guidage.

2. Échantillonnage Lookahead Efficace

Pour atténuer le coût de la génération d'échantillons marginaux pour chaque prompt, les auteurs introduisent une stratégie d'échantillonnage lookahead efficace. Au lieu d'utiliser le processus de diffusion complet et lent, ils emploient un générateur rapide $q(x_0|c)$ , tel qu'un solveur d'ODE à quelques étapes (ex: DPM-Solver) ou un modèle distillé, pour générer un ensemble de $n$ échantillons lookahead $\{\hat{x}_0^i\}_{i=1}^n$ . Ces échantillons sont annotés avec des valeurs de récompense $r(\hat{x}_0^i, c)$ .

3. Guidage par Forme Fermée sans Dérivée

En utilisant l'ensemble fini d'échantillons lookahead, les auteurs dérivent une expression en forme fermée pour le gradient de la récompense empirique lookahead (Théorème 3.3). Le terme de guidage oriente la particule actuelle $x_t$ vers les échantillons lookahead à haute récompense et l'éloigne de ceux à faible récompense :
$\nabla_{x_t} \hat{r}_t^\lambda(x_t, c) = \sum_{i=1}^n (w_i^r - w_i) \frac{\hat{x}_0^i}{\sigma_t^2}$
où $w_i^r$ et $w_i$ sont des poids softmax basés sur les valeurs de récompense et la distance entre $x_t$ et les échantillons lookahead $\hat{x}_0^i$ . Cette formulation ne nécessite aucune différenciation neuronale.

4. Lois d'Échelle Théoriques

Le document établit des lois d'échelle pour la méthode :

Précision du Lookahead ( $\delta$ ) : La distance de variation totale entre la distribution cible et la distribution générée par LiDAR diminue en $O(1/\sqrt{\delta})$ , où $\delta$ est le nombre d'étapes de discrétisation du solveur lookahead.
Taille de l'échantillon ( $n$ ) : La variance de l'estimation de la récompense empirique diminue en $O(1/\sqrt{n})$ , impliquant que l'augmentation du nombre d'échantillons lookahead améliore la précision de l'approximation.

Résultats Clés

Des expériences ont été menées sur SD v1.5, SDXL, FLUX (flow matching) et UDLM (diffusion discrète) en utilisant les métriques ImageReward, CLIP, HPS et GenEval.

Performance vs Efficacité : Sur SDXL, LiDAR atteint des performances GenEval comparables aux dernières méthodes de guidage par gradient (DATE), mais avec une accélération de 9,5× du temps d'inférence.
Efficacité de la Mémoire : Contrairement aux méthodes de guidage par gradient qui nécessitent environ 3× plus de mémoire en raison de la rétropropagation, l'utilisation de la mémoire de LiDAR est presque identique à celle de l'échantillonnage vanilla, car l'étape d'échantillonnage cible (Algorithme 2) ne nécessite pas de calcul de gradient.
Robustesse au "Reward Hacking" : Alors que les méthodes de guidage par gradient dégradent souvent les métriques comme CLIP et HPS lorsqu'elles optimisent pour ImageReward (phénomène de reward hacking), LiDAR améliore toutes les métriques simultanément. Cela est attribué à la corrélation entre ImageReward et les autres métriques dans les échantillons lookahead, ce qui guide naturellement l'échantillonneur dans une direction équilibrée.
Améliorations Orthogonales : LiDAR apporte des gains de performance supplémentaires lorsqu'il est appliqué à des modèles déjà affinés par l'optimisation de préférence directe (DPO), démontrant son orthogonalité par rapport à l'alignement par entraînement.
Scalabilité : La méthode passe à l'échelle efficacement avec le nombre d'échantillons lookahead ( $n$ ) et les étapes du solveur ( $\delta$ ), et peut être combinée avec d'autres techniques comme SMC et Best-of-N.

Signification et Revendications

L'article affirme que LiDAR traite systématiquement les limitations d'efficacité et de reward-hacking des méthodes de passage à l'échelle existantes. En reformulant le calcul de l'EFR pour qu'il repose sur un rollout direct et des échantillons marginaux, les auteurs permettent un guidage sans dérivée qui est à la fois efficace sur le plan computationnel et fondé théoriquement.

Les auteurs soulignent que LiDAR offre un compromis efficacité-performance supérieur aux bases de comparaison existantes. Plus précisément, il évite la surcharge de calcul de la rétropropagation neuronale et les problèmes d'effondrement d'échantillons de la SMC, tout en fournissant des estimations d'EFR plus précises que les méthodes basées sur l'approximation de Taylor. Ce travail suggère que le découplage du signal de récompense de la dépendance neuronale de la particule intermédiaire est une voie viable vers une modélisation générative scalable et alignée sur l'humain.