💻 computer science

DiffRGD: An Inference-Time Diffusion Guidance Through Riemannian Gradient Descent

DiffRGD est un cadre de guidage prêt à l'emploi lors de l'inférence qui préserve la structure gaussienne latente des modèles de diffusion pré-entraînés en formulant les étapes d'échantillonnage comme des problèmes d'optimisation sous contraintes sur une variété sphérique résolus via la descente de gradient riemannienne, surpassant ainsi les méthodes existantes dans les tâches de restauration d'images et de génération conditionnelle.

Auteurs originaux : Jia-Wei Liao, Li-Xuan Peng, Mei-Heng Yueh, Min Sun, Cheng-Fu Chou, Jun-Cheng Chen

Publié 2026-06-30

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Jia-Wei Liao, Li-Xuan Peng, Mei-Heng Yueh, Min Sun, Cheng-Fu Chou, Jun-Cheng Chen

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez de recréer un tableau de maître, mais que vous ne disposez que d'un croquis flou et bruité pour commencer. Vous avez un « artiste IA » magique (un modèle de diffusion) qui sait transformer ce croquis en une image claire, étape par étape. Cependant, vous voulez guider cet artiste pour qu'il effectue des changements spécifiques — comme ajouter un chat à la scène ou corriger un visage flou — sans avoir à réentraîner l'artiste de zéro (ce qui prendrait une éternité et coûterait une fortune).

C'est là qu'intervient le papier DiffRGD. Il propose une nouvelle façon de « piloter » l'artiste IA pendant le processus de peinture sans briser la magie.

Voici la décomposition utilisant des analogies simples :

1. Le Problème : La Dérive « Hors-Piste »

La plupart des méthodes actuelles tentent de guider l'IA en poussant simplement l'image dans la bonne direction. Imaginez que l'IA conduit une voiture sur une piste très spécifique, circulaire et lisse (cette piste représente la distribution gaussienne, les règles mathématiques sur lesquelles l'IA a été entraînée).

Les anciennes méthodes (comme DPS) : Elles disent à la voiture : « Tourne à gauche pour éviter l'arbre ! » Mais elles tirent simplement sur le volant avec force. La voiture peut alors sortir de la piste, rouler sur l'herbe et rester coincée dans la boue. En termes d'IA, on appelle cela la « dérive hors du manifold » (off-manifold drift). L'image commence à paraître étrange, floue ou déformée parce qu'elle ne suit plus les règles naturelles apprises par l'IA.
Le dilemme : Si vous poussez doucement, la voiture reste sur la piste mais ne tourne pas assez. Si vous poussez fort, elle tourne bien mais sort de la piste.

2. La Solution : La « Piste Sphérique » (DiffRGD)

Les auteurs ont réalisé que la « piste » de l'IA n'est pas seulement une route plate ; c'est en réalité une sphère (comme la surface d'un ballon). À chaque étape du processus de peinture, l'IA attend que l'image reste sur la surface de cette sphère spécifique.

DiffRGD change les règles du jeu :

Au lieu de laisser la voiture rouler hors-piste, DiffRGD dit : « Nous ne bougerons que le long de la surface de la sphère. »
Ils utilisent une technique mathématique appelée Descente de Gradient Riemannienne. Considérez cela comme un GPS qui connaît le terrain courbé. Au lieu de tracer une ligne droite à travers l'air (ce qui vous ferait sortir de la sphère), le GPS calcule le meilleur chemin le long de la courbe de la sphère pour atteindre votre destination.

3. Comment ça marche : La « Décomposition Polaire »

Pour construire cette piste sphérique, les auteurs ont utilisé une astuce appelée Décomposition Polaire.

Imaginez le bruit de l'IA comme un dard lancé vers le centre d'une cible.
La « distance » par rapport au centre est le rayon (combien de bruit il reste).
La « direction » est l'endroit où pointe le dard.
DiffRGD dit : « Verrouillons le rayon (gardons le niveau de bruit exactement là où il doit être) et ajustons uniquement la direction pour répondre à votre demande. »

En verrouillant le rayon et en ne se déplaçant que le long de la surface, l'image ne perd jamais sa qualité « naturelle ». Elle reste sur la piste, tout en atteignant la bonne destination.

4. Les Résultats : De Meilleurs Tableaux, Sans Réentraînement

Le papier a testé cela sur deux types principaux de tâches :

Restauration d'image : Réparer des photos endommagées (comme supprimer des rayures, rendre des photos floues plus nettes ou combler des parties manquantes).
Génération conditionnelle : Créer de nouvelles images basées sur des instructions spécifiques (comme transformer un croquis en photo ou changer un visage pour qu'il ressemble à une personne spécifique).

Le résultat :

DiffRGD a produit de manière cohérente des images plus claires, plus nettes et plus précises que les méthodes précédentes.
Il a évité les « artefacts bizarres » (glitchs) que les autres méthodes provoquaient lorsqu'elles poussaient l'image hors de son chemin naturel.
Il fonctionne comme un outil « plug-and-play ». Vous n'avez pas besoin de réentraîner le modèle d'IA ; vous branchez simplement DiffRGD, et il guide le modèle existant plus efficacement.

Résumé par l'analogie

Si les méthodes précédentes étaient comme essayer de diriger un bateau en jetant une corde depuis le rivage (ce qui tire souvent le bateau vers les rochers), DiffRGD est comme un capitaine expérimenté qui connaît parfaitement les courants. Le capitaine dirige le bateau le long du flux naturel de l'eau (le manifold sphérique) pour atteindre la destination, s'assurant que le bateau ne frappe jamais les rochers et que les passagers (les pixels de l'image) restent confortables et en sécurité.

En bref : DiffRGD est une façon plus intelligente de guider les générateurs d'images par IA qui respecte les mathématiques derrière leur façon de « penser », ce qui permet d'obtenir des images de meilleure qualité sans nécessiter de réentraînement coûteux.

Résumé Technique : DiffRGD

Énoncé du Problème

Les modèles de diffusion sont devenus fondamentaux pour la génération d'images, pourtant les contrôler pour des tâches spécifiques (par exemple, la restauration d'image, la génération conditionnelle) sans ré-entraînement ou ajustement fin (fine-tuning) coûteux reste un défi. Les méthodes de guidage par inférence existantes (par exemple, DPS, FreeDoM) orientent le processus d'échantillonnage en injectant des gradients provenant d'un objectif différentiable directement dans l'espace latent. Cependant, ces méthodes opèrent dans l'espace ambiant sans respecter la structure gaussienne sous-jacente du processus de diffusion.

Ce manque de conscience distributionnelle conduit à une dérive distributionnelle (distributional drift), où les variables latentes s'écartent de la variété gaussienne originale induite par le modèle. À mesure que les étapes d'échantillonnage s'accumulent, ce phénomène « hors-variété » (off-manifold) dégrade la qualité de l'échantillon propre final. Les tentatives précédentes pour contraindre les mises à jour, telles que MPGD (supposant une linéarité locale) ou DSG (projetant sur une hypersphère à rayon fixe), reposent soit sur des encodeurs parfaits irréalisables, soit échouent à respecter pleinement les propriétés gaussiennes spécifiques de la distribution latente, se dégradant parfois vers une distribution uniforme.

Méthodologie : DiffRGD

Les auteurs proposent DiffRGD, un cadre de guidage par inférence « plug-and-play » qui préserve explicitement la structure gaussienne latente. L'idée centrale est qu'à chaque étape de l'échantillonnage DDIM $t$ , la distribution latente est une gaussienne isotrope centrée sur une moyenne prédite $\mu_t$ .

1. Décomposition Polaire et Construction de la Variété

La méthode exploite une propriété de décomposition polaire des distributions gaussiennes isotropes. À n'importe quel instant $t$ , un échantillon latent $x_t$ peut être décomposé en une composante radiale statistiquement indépendante $r$ et une composante directionnelle $u$ :
$x_t = \mu_t + \sigma_t r u$
où $r$ suit une distribution chi pondérée et $u$ est uniformément distribué sur une sphère unité.

Au lieu d'optimiser dans l'espace ambiant ou sur une sphère à rayon fixe, DiffRGD construit une variété sphérique $\mathcal{S}_{t,r}$ induite par la distribution latente spécifique :
$\mathcal{S}_{t,r} := \{ x \in \mathbb{R}^n \mid \|x - \mu_t\|_2 = \sigma_t r \}$
Ici, le rayon $\sigma_t r$ est échantillonné à partir de l'échelle naturelle de la distribution, garantissant que l'ensemble faisable respecte les propriétés gaussiennes du processus de diffusion.

2. Descente de Gradient Riemannienne (RGD)

Le problème de guidage à chaque étape de temps est formulé comme un problème d'optimisation sous contrainte :
$x_{t-1} = \arg\min_{x \in \mathcal{S}_{t,r}} \mathcal{L}(\hat{x}_0(x, t-1), y)$
où $\mathcal{L}$ est la perte de guidage (par exemple, la perte de reconstruction pour la restauration ou l'alignement de caractéristiques pour la génération conditionnelle).

Pour résoudre cela, DiffRGD emploie une Descente de Gradient Riemannienne sur la variété sphérique $\mathcal{S}_{t,r}$ :

Projection dans l'Espace Tangent : Le gradient euclidien de la perte est projeté sur l'espace tangent de la sphère au point actuel, supprimant la composante radiale pour garantir que la direction de mise à jour est tangente à la variété.
Rétraction : Après avoir effectué un pas le long de l'espace tangent, une opération de rétraction projette le point mis à jour sur la variété sphérique $\mathcal{S}_{t,r}$ , préservant ainsi le rayon $\sigma_t r$ .

Ce processus est répété pour $K$ itérations internes (typiquement $K=3$ ) par étape de diffusion. Les auteurs prouvent que sous les hypothèses de $L$ -lissé, cette optimisation converge vers un point stationnaire.

Principales Contributions

Géométrie Sensible à la Distribution : Les auteurs identifient une propriété de décomposition polaire qui révèle une géométrie induite par la distribution pour le guidage de diffusion. Ils proposent un cadre riemannien qui respecte la géométrie de la distribution latente, atténuant la dégradation des échantillons causée par la dérive hors-variété.
Analyse Théorique : L'article fournit une analyse de la préservation de la distribution et prouve la convergence de l'algorithme d'optimisation riemannienne vers un point stationnaire. En pratique, l'optimisation sensible à la géométrie proposée converge plus rapidement que les méthodes basées sur ADMM.
Performance Plug-and-Play : DiffRGD est démontré comme étant une méthode plug-and-play qui ne nécessite aucun ré-entraînement ni ajustement fin, atteignant des résultats de pointe à travers diverses tâches.

Résultats Expérimentaux

Les auteurs ont évalué DiffRGD par rapport aux bases (DPS, FreeDoM, MPGD, DSG, ADMMDiff) sur un GPU NVIDIA GeForce RTX 4090 unique en utilisant le framework HuggingFace Diffusers.

Restauration d'Image

Évalué sur FFHQ 256×256 et ImageNet 256×256 pour quatre tâches : Inpainting, Super-Résolution (4×), Débruitage Gaussien et Débruitage de Mouvement.

Quantitatif : DiffRGD a obtenu des améliorations statistiquement significatives en termes de PSNR, SSIM, LPIPS et FID par rapport à toutes les méthodes de base dans la plupart des tâches. Par exemple, pour l'Inpainting, DiffRGD a atteint un PSNR de 34,04 contre 32,38 pour la deuxième meilleure méthode (ADMMDiff).
Robustesse : DiffRGD a maintenu de solides performances même avec moins d'étapes d'échantillonnage (100 étapes), là où des méthodes comme DPS et ADMMDiff ont montré une dégradation notable.
Qualitatif : Les résultats visuels ont montré moins d'artefacts et une meilleure cohérence de l'arrière-plan par rapport à DPS et MPGD, avec une qualité comparable ou supérieure à ADMMDiff mais avec un temps de calcul moindre.

Génération Conditionnelle

Évalué sur CelebA-HQ 256×256 pour le guidage par Carte de Segmentation, Croquis (Sketch) et FaceID.

DiffRGD a systématiquement surpassé les méthodes d'inférence existantes (FreeDoM, DSG, ADMMDiff) en termes de métriques d'alignement (mIoU, Sketch- $\ell_2$ , FaceID- $\ell_2$ ) et de qualité de génération (FID, KID).
Les résultats qualitatifs ont indiqué que DiffRGD produisait des résultats plus naturels et visuellement attrayants avec un meilleur alignement aux conditions par rapport à DSG, qui souffrait souvent d'un contrôle instable.

Force du Guidage

Les expériences sur la force du guidage ( $\eta_t$ ) ont montré que DiffRGD atteint un meilleur compromis entre l'alignement (mIoU) et la qualité de génération (FID) sur une plage de forces plus large par rapport à DSG, qui affichait de mauvaises performances dans tous les réglages.

Signification et Revendications

L'article affirme que DiffRGD comble une lacune critique dans le guidage par inférence : l'échec des méthodes existantes à préserver la structure gaussienne latente par étape. En formulant le guidage comme une optimisation contrainte sur une variété sphérique induite par la distribution, DiffRGD empêche les phénomènes « hors-variété » qui dégradent la qualité de l'échantillon.

Les auteurs soutiennent qu'un guidage géométriquement cohérent est une alternative viable et supérieure à l'application directe de gradients dans l'espace ambiant ou à l'utilisation de variétés restrictives ne tenant pas compte de la distribution. La méthode offre une solution simple et plug-and-play qui améliore les métriques des tâches tout en préservant la qualité de l'échantillon haute fidélité inhérente aux modèles de diffusion pré-entraînés, sans nécessole de ré-entraînement coûteux.