📊 statistics

Discrete diffusion samplers and bridges: Off-policy algorithms and applications in latent spaces

Ce papier présente des techniques d'entraînement hors politique et un nouveau cadre de pont de Schrödinger données-à-énergie pour les échantillonneurs de diffusion discrets, démontrant leur efficacité pour améliorer les performances d'échantillonnage sur des benchmarks synthétiques et permettant un échantillonnage a posteriori sans données au sein des espaces latents discrets de modèles génératifs d'images.

Auteurs originaux : Arran Carter, Sanghyeok Choi, Kirill Tamogashev, Víctor Elvira, Nikolay Malkin

Publié 2026-05-26

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Arran Carter, Sanghyeok Choi, Kirill Tamogashev, Víctor Elvira, Nikolay Malkin

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez de trouver les meilleurs sièges dans un immense théâtre sombre (la « distribution cible »). Vous connaissez la disposition du théâtre et l'emplacement des bons sièges (la « fonction d'énergie »), mais vous ne connaissez pas le nombre total de sièges, et vous ne pouvez pas simplement entrer et en choisir un car les lumières sont éteintes. Vous avez besoin d'un guide pour vous mener aux bons sièges.

Pendant des années, les scientifiques ont disposé d'excellents guides pour les espaces continus (comme un sol lisse), mais pour les espaces discrets (comme une grille de sièges spécifiques et séparés), les guides étaient souvent maladroits. Ils restaient bloqués dans une section du théâtre ou manquaient des rangées entières de bons sièges.

Cet article présente une nouvelle méthode plus intelligente pour entraîner ces guides à l'aide d'échantillonneurs de diffusion discrète. Voici le détail de leurs trois innovations principales, expliquées simplement :

1. Le « Tampon de replay » et l'« Éclaireur » (Entraînement Off-Policy)

Le Problème : Imaginez un guide touristique qui n'apprend qu'en parcourant le chemin sur lequel il se trouve actuellement. S'il reste bloqué dans une impasse, il n'apprend jamais à connaître les excellents sièges de la pièce voisine. Il est « on-policy », ce qui signifie qu'il n'apprend que de ses propres erreurs immédiates.

La Solution : Les auteurs enseignent au guide à utiliser des techniques Off-Policy.

Le Tampon de replay : Considérez cela comme une banque de mémoire. Le guide enregistre chaque chemin intéressant qu'il a déjà emprunté, même s'il y a quelques semaines. Lors de l'entraînement, au lieu de simplement parcourir le chemin actuel, le guide examine ces anciens chemins pour en tirer des enseignements.
L'Éclaireur (MCMC) : Parfois, le guide a besoin d'un petit coup de pouce pour sortir d'une routine. Les auteurs ajoutent un « Éclaireur » (un algorithme de Monte Carlo par chaîne de Markov). Cet Éclaireur est un explorateur local qui peut sauter autour des sièges voisins pour trouver de meilleurs endroits et transmettre ces informations au guide principal.

Le Résultat : En utilisant cette banque de mémoire et l'Éclaireur, le guide apprend beaucoup plus vite et, surtout, trouve tous les bons sièges (modes) dans le théâtre, pas seulement ceux sur lesquels il est tombé en premier. Dans les tests de l'article, cette méthode a empêché le guide de rester bloqué dans un seul coin de la pièce.

2. Le « Constructeur de pont » (Ponts de Schrödinger Données-Énergie)

Le Problème : Habituellement, vous voulez aller du Point A (une distribution simple et connue) au Point B (votre cible complexe). Mais que faire si le Point B n'est pas une liste de sièges que vous pouvez voir ? Et si le Point B n'est qu'un ensemble de règles décrivant à quel point un siège est bon (une fonction d'énergie), sans vous montrer les sièges eux-mêmes ?

La Solution : Les auteurs ont construit un Pont entre ces deux mondes.

Imaginez que vous avez une carte d'une ville (Point A) et une liste de « meilleurs quartiers » définis uniquement par leurs scores de réputation (Point B).
L'article crée un « Pont de Schrödinger » qui relie la carte connue à la liste de réputation. Il apprend le chemin à parcourir pour aller de la ville connue au quartier basé sur la réputation, même si vous ne pouvez pas voir la destination avant d'y arriver.
Ils l'ont fait pour la première fois dans un monde « discret » (où les sièges sont des blocs distincts, et non une rue lisse).

Le Résultat : Ils ont construit avec succès un chemin partant d'un point de départ simple vers une destination complexe basée sur des règles, visualisé dans l'article comme le passage d'un mélange de trois formes gaussiennes à un mélange de deux, représenté sous forme de codes binaires.

3. Le « Traducteur » pour les générateurs d'images (Échantillonnage externalisé)

Le Problème : Les générateurs d'images modernes (comme ceux qui créent des images de chats ou de chiffres) fonctionnent souvent dans un « espace latent ». Considérez cela comme un langage de code secret que l'IA utilise pour comprendre les images. Parfois, vous voulez forcer l'IA à générer un type d'image spécifique (par exemple, « uniquement des nombres impairs »), mais vous ne pouvez pas facilement dire à l'IA comment le faire directement.

La Solution : Les auteurs ont utilisé leur nouveau guide pour échantillonner directement dans ce langage de code secret.

Au lieu d'essayer de corriger l'image pixel par pixel, ils ont entraîné leur guide à naviguer dans l'espace latent discret (le code secret) d'un modèle d'image pré-entraîné (un VQ-VAE).
Ils ont dit au guide : « Trouvez les codes qui, une fois décodés, ressemblent au chiffre '5' ou '7'. »

Le Résultat : Le guide a appris avec succès à naviguer dans le code secret pour produire des images de chiffres spécifiques (comme 1, 5, 7) et de catégories (nombres impairs vs pairs) sans avoir besoin de voir les images finales pendant le processus d'entraînement. Il a efficacement « externalisé » le travail difficile de recherche de la bonne image au guide travaillant dans l'espace du code.

Résumé

En bref, cet article prend une technique d'échantillonnage puissante utilisée pour les problèmes continus et lisse, et l'adapte pour des problèmes discrets et blocs (comme des grilles ou des codes).

Il rend l'échantillonneur plus intelligent en lui permettant de se souvenir des chemins passés et d'utiliser des explorateurs locaux pour éviter de rester bloqué.
Il construit un pont pour atteindre des destinations définies uniquement par des règles, et non par des exemples.
Il prouve que cela fonctionne pour la génération d'images, permettant à l'IA de trouver des images spécifiques en naviguant dans leur langage interne de « code secret ».

L'article affirme que ces méthodes surpassent constamment les techniques précédentes, en particulier dans des scénarios difficiles où l'échantillonneur a tendance à rester bloqué dans une seule solution au lieu d'explorer toutes les bonnes.

Résumé technique : Échantillonneurs et ponts de diffusion discrets

Énoncé du problème

L'article aborde le défi de l'échantillonnage à partir d'une distribution $p(x) \propto e^{-E(x)}$ sur un espace d'états discret $\mathcal{S} = \{1, \dots, C\}^d$ , où la fonction d'énergie $E$ est connue mais la constante de normalisation $Z$ est intraitable. Bien que les échantillonneurs de diffusion aient été adaptés avec succès aux espaces continus en utilisant le contrôle stochastique optimal et l'appariement d'espaces de trajectoires, leur application aux espaces discrets reste sous-développée. Les échantillonneurs de diffusion discrets existants échouent souvent à exploiter les techniques d'apprentissage par renforcement (RL) hors politique qui sont standards dans les contextes continus, ce qui entraîne une couverture des modes et une qualité d'échantillonnage sous-optimales, en particulier dans les distributions hautement multimodales. De plus, le problème de relier deux distributions arbitraires (le pont de Schrödinger) dans les espaces discrets a été largement restreint à des contextes où des échantillons des deux distributions sont disponibles (données-vers-données), laissant le contexte « données-vers-énergie » (où une distribution est définie uniquement par une densité non normalisée) inexploré.

Méthodologie

Les auteurs proposent un cadre intégrant des stratégies d'entraînement hors politique dans les échantillonneurs de diffusion discrets et généralisant ces méthodes aux ponts de Schrödinger discrets.

1. Entraînement hors politique pour les échantillonneurs de diffusion discrets

La méthodologie centrale consiste à entraîner un noyau forward $\overrightarrow{p}_\theta$ pour correspondre à une distribution cible en minimisant une divergence entre la distribution de trajectoire du processus forward et celle du processus backward (bruitage). Les fonctions objectif étudiées sont des divergences du second moment, spécifiquement :

Équilibre de trajectoire (TB) : Traite la constante de normalisation comme un paramètre apprenable.
Variance logarithmique (LV) : Minimise la variance du rapport logarithmique des probabilités forward et backward.

Pour améliorer l'exploration et la couverture des modes, les auteurs introduisent trois stratégies hors politique adaptées du RL et des réseaux de flux génératifs (GFlowNets) :

Tampon de replay : Stocke les états échantillonnés $X_N$ et les réutilise en échantillonnant des trajectoires backward $\overleftarrow{p}^{\otimes N}$ pour l'entraînement.
Tampon pondéré par l'importance : Attribue des probabilités d'échantillonnage aux éléments du tampon basées sur les poids d'importance des trajectoires qui les ont générés, priorisant les régions à haute probabilité que l'échantillonneur actuel pourrait manquer.
Exploration MCMC : Affine les échantillons du tampon de replay en utilisant des étapes de Monte Carlo par chaîne de Markov (MCMC) (par exemple, Swendsen-Wang ou Metropolis-Hastings) avant leur utilisation pour l'entraînement. Cela exploite directement la fonction d'énergie pour guider l'échantillonneur vers les régions de haute densité sans nécessiter de simulations de modèle.

2. Ponts de Schrödinger discrets données-vers-énergie

L'article généralise le problème d'échantillonnage à la recherche d'un pont de Schrödinger (SB) entre deux distributions arbitraires $p_0$ et $p_N$ . Contrairement aux travaux précédents sur les SB discrets qui supposent des échantillons pour les deux extrémités, ce travail aborde le contexte données-vers-énergie où $p_N$ est défini uniquement par une fonction d'énergie.

La méthode emploie une procédure d'ajustement proportionnel itératif (IPF).
Elle alterne entre l'ajustement du noyau backward (via la vraisemblance maximale sur des échantillons de $p_0$ ) et le noyau forward (via une perte de variance logarithmique sur des échantillons de $p_N$ défini par l'énergie).
Les techniques hors politique (tampons et MCMC) sont intégrées dans la boucle IPF pour faciliter l'exploration de la distribution définie par l'énergie.

3. Application aux espaces latents

Les auteurs appliquent ces échantillonneurs à l'échantillonnage « externalisé » de l'arrière-plan. Ils entraînent des échantillonneurs de diffusion dans l'espace latent discret d'un auto-encodeur variationnel quantifié vectoriellement (VQ-VAE) pré-entraîné. L'objectif est d'échantillonner à partir de l'arrière-plan $p(z|y) \propto p_{latent}(z)p(y|f(z))$ sans observer d'échantillons conditionnels non biaisés, conditionnant efficacement le modèle génératif en apprenant à échantillonner dans son espace latent.

Contributions clés

Algorithmes hors politique pour échantillonneurs discrets : L'introduction de techniques de RL hors politique (tampons de replay, pondération par l'importance et exploration MCMC) dans l'entraînement des échantillonneurs de diffusion discrets. L'article démontre que ces techniques améliorent significativement les performances par rapport aux bases de référence en politique.
Ponts de Schrödinger données-vers-énergie : La première généralisation des échantillonneurs de diffusion discrets au problème de pont de Schrödinger données-vers-énergie, permettant la construction de cartes de transport entre une distribution basée sur des échantillons et une distribution définie par une énergie.
Échantillonnage d'arrière-plan dans l'espace latent : La démonstration d'échantillonneurs de diffusion discrets pour l'inférence d'arrière-plan dans les espaces latents discrets de modèles génératifs d'images, montrant la capacité à conditionner sur des étiquettes de classe (par exemple, chiffres pairs/impairs) sans réentraîner le modèle génératif.

Résultats expérimentaux

Les auteurs évaluent leurs méthodes sur des benchmarks synthétiques et des applications réelles :

Modèles d'Ising et de Potts : Sur des réseaux $16 \times 16$ , les méthodes hors politique (spécifiquement TB avec Tampon + MCMC) surpassent constamment les méthodes en politique et la base de référence Échantillonneur Neuronal de Diffusion Masquée (MDNS). Elles atteignent des distances de Sinkhorn et des erreurs de magnétisation/corrélation plus faibles, en particulier à basse température (fort $\beta$ ) où l'effondrement des modes est prévalent.
Densités synthétiques discrétisées : Sur des distributions multimodales difficiles (40GMM et ManyWell) discrétisées via des codes Gray, les méthodes hors politique découvrent avec succès tous les modes, tandis que les méthodes en politique et le MDNS échouent souvent à couvrir la distribution complète.
Ponts de Schrödinger : Dans les tâches de pont entre des distributions simples et multimodales, les méthodes hors politique s'adaptent efficacement à des cibles complexes où les échantillonneurs en politique s'effondrent.
Échantillonnage externalisé : Les visualisations de chiffres MNIST générés à partir de l'espace latent montrent que les échantillonneurs en politique et hors politique peuvent générer avec succès des chiffres des classes désirées (par exemple, pairs vs impairs), validant l'utilité de l'approche pour la génération conditionnelle.

Importance et affirmations

L'article affirme que l'intégration de techniques d'entraînement hors politique est une étape cruciale pour les échantillonneurs de diffusion discrets, abordant la question de l'effondrement des modes et améliorant l'efficacité de l'échantillonnage dans des espaces discrets de haute dimension et multimodaux. En comblant le fossé entre la diffusion discrète et le RL hors politique, les auteurs montrent que ces échantillonneurs peuvent traiter des problèmes de physique statistique complexes (Ising/Potts) et des tâches d'optimisation combinatoire plus efficacement que les méthodes précédentes.

De plus, ce travail étend la portée théorique des ponts de Schrödinger au contexte données-vers-énergie dans les domaines discrets, offrant un nouvel outil pour le transport entre des distributions où l'une est définie par une fonction d'énergie. Enfin, l'application aux espaces latents démontre une voie pratique pour conditionner des modèles génératifs pré-entraînés sans nécessiter l'accès à la distribution complète des données ni le réentraînement du modèle génératif lui-même.

Les auteurs reconnaissent des limitations, notamment la nécessité de fixer un noyau de bruitage et le coût computationnel du stockage des trajectoires, mais suggèrent que l'entraînement à des échelles de temps plus grossières (telles que soutenues par les extensions de la théorie du temps continu) pourrait atténuer certains coûts. Ils identifient des orientations futures telles que l'apprentissage de fonctions d'énergie à partir de données et la mise à l'échelle de ces méthodes vers de plus grands modèles génératifs d'images.