📊 statistics

Proximal Policy Optimization for Amortized Discrete Sampling

Cet article établit des liens théoriques entre les GFlowNets et l'apprentissage par renforcement régularisé par l'entropie pour dériver et démontrer la convergence et l'efficacité des données supérieures de l'Optimisation de Politique Proximale (PPO) pour l'entraînement de politiques stochastiques afin d'échantillonner à partir de distributions discrètes structurées à travers divers benchmarks.

Auteurs originaux : Anna Zykova-Myzina, Timofei Gritsaev, Daniil Tiapkin, Nikita Morozov

Publié 2026-06-16

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Anna Zykova-Myzina, Timofei Gritsaev, Daniil Tiapkin, Nikita Morozov

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous êtes un chef essayant de recréer une recette spécifique et complexe pour un plat qui a exactement le goût d'un repas célèbre et primé. Cependant, vous n'avez pas la fiche de recette. Vous ne possédez qu'une liste d'ingrédients (la « récompense ») qui vous indique à quel point un plat est bon si vous réussissez, mais vous ne connaissez pas le nombre total de plats possibles dans l'univers ni les proportions exactes nécessaires pour créer le plat parfait.

C'est le problème que cet article traite : Comment apprendre à un ordinateur à générer aléatoirement des éléments (comme des molécules ou des séquences d'ADN) afin qu'ils suivent un motif spécifique, plutôt que de simplement trouver le « meilleur » élément ?

Voici la décomposition de leur solution en utilisant des analogies simples.

1. Le Problème : Le Piège du « Meilleur » vs Le « Bon Mélange »

Dans de nombreuses tâches informatiques, les algorithmes sont entraînés pour trouver la seule meilleure solution (comme trouver le sommet le plus haut sur une montagne). Mais dans des domaines comme la chimie ou la biologie, on a souvent besoin d'une variété de solutions qui suivent une distribution spécifique. Vous ne voulez pas seulement la molécule unique ayant l'énergie la plus élevée ; vous voulez un ensemble diversifié de molécules qui correspondent à une courbe de probabilité spécifique.

Les auteurs utilisent un cadre appelé GFlowNets (Generatave Flow Networks). Voyez un GFlowNet comme une ligne d'assemblage d'usine. La machine construit un objet étape par étape (en ajoutant un bloc Lego à la fois). L'objectif est de régler la machine pour que, si vous l'exécutez un million de fois, le tas de produits finis ressemble exactement à la distribution cible que vous souhaitez.

2. L'Ancienne Méthode : La Lutte du « Cartographe »

Auparavant, l'entraînement de ces usines reposait sur des méthodes basées sur la « Valeur » (Value-Based).

L'Analogie : Imaginez essayer de naviguer dans un labyrinthe en dessinant une carte parfaite de chaque chemin et en calculant le « flux » exact de l'eau à travers chaque tuyau.
Le Problème : Pour dessiner cette carte, vous devez connaître la taille totale du labyrinthe (un nombre appelé la « constante de normalisation » ou $Z$ ). Dans des problèmes complexes, calculer ce nombre est extrêmement difficile, comme essayer de compter chaque grain de sable sur une plage pour déterminer le poids du sable. Si votre carte est légèrement erronée, tout le processus d'entraînement se bloque ou devient très inefficace.

3. La Nouvelle Méthode : Le Coach par « Essai et Erreur » (PPO)

Les auteurs ont décidé d'essayer une approche différente utilisée dans l'Apprentissage par Renforcement (RL), spécifiquement un algorithme appelé PPO (Proximal Policy Optimization).

L'Analogie : Au lieu de dessiner une carte parfaite, imaginez un coach debout à côté de la machine de l'usine. Le coach regarde la machine construire quelques articles, voit à quel point ils sont bons, et dit : « Hé, quand vous avez ajouté ce bloc bleu, vous avez été un peu trop agressif. La prochaine fois, soyez un peu plus doux. »
Le Bénéfice : Le coach n'a pas besoin de connaître la taille totale de la plage ou de dessiner une carte parfaite. Il a juste besoin de regarder les résultats immédiats et de pousser la machine dans la bonne direction. C'est beaucoup plus efficace en termes de données.

4. Le Rebondissement : Pourquoi le PPO Standard a Échoué

Les auteurs ont essayé d'utiliser le PPO standard, mais cela a échoué.

L'Échec : Le PPO standard est conçu pour trouver l'unique meilleur résultat (le sommet le plus haut). Si vous dites simplement à l'usine « faites le plat le plus savoureux possible », elle arrêtera de produire de la variété et continuera à faire le seul plat qui a le meilleur goût. Elle s'effondre en un mode unique.
Les Ingrédients Manquants : Les auteurs ont réalisé que pour faire fonctionner le PPO pour l'échantillonnage (sampling — créer de la variété), deux choses spécifiques manquaient à la recette standard :
1. L'Indice « Arrière » : Vous devez dire à la machine non seulement quel est le résultat de la récompense à la fin, mais aussi l'« histoire » de la façon dont elle y est parvenue. C'est comme dire au chef : « Non seulement le gâteau est bon, mais la façon dont vous avez mélangé les œufs était également cruciale. »
2. Le Bonus d'« Entropie » : Vous devez explicitement récompenser la machine pour son incertitude ou son exploration. Si la machine est trop confiante, vous la pénalisez. Cela la force à continuer d'explorer différents chemins plutôt que de se fixer sur un seul.

5. La Solution : « Ent-PPO »

L'article introduit Ent-PPO (Entropic Proximal Policy Optimization). C'est une version personnalisée et ajustée du coach.

Comment ça marche : Il combine le mécanisme de « clipping » (écrêtage) du PPO standard (qui empêche le coach de donner des conseils trop sauvages et déstabilisants pour l'usine) avec une nouvelle « zone de confiance » mathématique dérivée du bonus d'entropie.
Le Résultat : Ce nouveau coach parvient avec succès à enseigner à l'usine comment produire un mélange diversifié et de haute qualité d'articles qui correspond parfaitement à la distribution cible.

6. Les Résultats : Plus Rapide et Meilleur

Les auteurs ont testé cela sur plusieurs « terrains de jeux » :

Grilles Synthétiques : Des labyrages numériques simples.
Séquences d'ADN : Création de chaînes d'ADN qui se lient à des protéines spécifiques.
Molécules : Génération de structures chimiques.

Les Conclusions :

Vitesse : Ent-PPO a appris beaucoup plus vite que les anciennes méthodes de « Cartographe » (comme le Trajectory Balance ou le Detailed Balance).
Efficacité : Il a eu besoin de beaucoup moins de tentatives (échantillons) pour accomplir la tâche.
Stabilité : Les anciennes méthodes se bloquaient souvent ou produisaient de mauvais résultats si les mathématiques n'étaient pas parfaites. Ent-PPO était robuste et stable, même lorsque les problèmes devenaient très grands et complexes (comme la génération de graphes moléculaires complets).

Résumé

L'article dit essentiellement : « Nous avons pris un outil d'entraînement puissant utilisé pour les grands modèles de langage (PPO), nous avons corrigé deux bugs spécifiques qui le faisaient échouer lors des tâches d'échantillonnage, et nous avons prouvé qu'il est désormais le meilleur moyen d'apprendre aux ordinateurs à générer des structures complexes et diverses comme les molécules et l'ADN, surpassant les méthodes de pointe précédentes. »

Ils n'ont pas seulement trouvé une nouvelle façon de le faire ; ils ont trouvé une façon qui est plus rapide, utilise moins de données et est plus stable, ce qui constitue une mise à niveau significative pour quiconque tente de générer des données discrètes complexes.

Résumé technique : Optimisation de politique proximale pour l'échantillonnage discret amorti

Énoncé du problème

L'article traite de la tâche d'échantillonnage à partir d'une distribution de probabilité $p(x) = R(x)/Z$ sur un espace discret fini $\mathcal{X}$ , où $R(x)$ est une fonction de récompense positive et $Z$ est une constante de normalisation inconnue. Ce problème survient dans des domaines tels que la physique statistique, les statistiques bayésiennes et la biologie computationnelle. Les auteurs se concentrent sur les GFlowNets (Generative Flow Networks), qui modélisent la génération d'objets $x$ comme un processus séquentiel sur un graphe orienté acyclique (DAG). L'objectif est d'entraîner une politique de propagation stochastique $P_F$ pour naviguer dans ce DAG de telle sorte que la distribution des états terminaux corresponde à $p(x)$ .

Bien que l'entraînement des GFlowNets ait été dominé par des objectifs basés sur la valeur (ex: Trajectory Balance, Detailed Balance), les auteurs notent que les méthodes de gradient de politique, particulièrement l'Optimisation de Politique Proximale (PPO), restent sous-explorées dans ce contexte malgré leur dominance dans l'apprentissage par renforcement (RL) à grande échelle et le post-entraînement des modèles de diffusion.

Méthodologie

Fondement théorique : Les GFlowNets comme Soft RL

Ce travail s'appuie sur la connexion théorique établie dans la littérature antérieure [42, 7] entre les GFlowNets et le RL à entropie régularisée (entropy-regularized RL). En fixant le facteur de remise $\gamma=1$ et le coefficient d'entropie $\alpha=1$ , les auteurs démontrent que le problème d'échantillonnage des GFlowNets est équivalent à la maximisation de la fonction de valeur "soft" dans un cadre de RL.

Structure de récompense : Crucialement, la récompense par étape est définie comme $r(s_t, s_{t+1}) = \log P_B(s_t | s_{t+1})$ pour les transitions non terminales, où $P_B$ est une politique de retour (backward policy), et $r(s_T) = \log R(s_T)$ aux états terminaux.
Amélioration de politique soft : La politique optimale pour cet objectif de soft-RL coïncide avec la distribution d'échantillonnage cible $R(x)/Z$ .

Ent-PPO : Un nouvel algorithme de gradient de politique

L'article dérive l'Ent-PPO (Entropic Proximal Policy Optimization), une variante de PPO adaptée à la formulation soft-RL des GFlowNets. La dérivation met en évidence deux composantes critiques souvent absentes des applications naïves de PPO aux GFlowNets :

Formulation correcte de la récompense : Les récompenses intermédiaires doivent être $\log P_B$ (comme défini ci-dessus) pour aligner l'optimum du soft-RL avec la cible d'échantillonnage. Sans cela, l'objectif se réduit à un RL standard avec des récompenses éparses, optimisant pour $\arg\max_x R(x)$ (effondrement de mode) plutôt que pour la distribution complète.
Zone de confiance KL analytique : Contrairement au PPO standard, qui ajoute un bonus d'entropie heuristique $c_2 H(\pi)$ $c_{2} H (π)$ , l'Ent-PPO dérive une pénalité KL analytique directement de l'amélioration de la politique soft.
- L'objectif de substitution est dérivé en combinant le terme de cross-entropie (issu de la définition de l'avantage soft) et le terme d'entropie.
- Cela résulte en une perte par étape : $\ell_t(\theta) = \text{PPOClip}(\rho_t, \hat{A}_t) - \text{KL}(\pi_\theta(\cdot|s_t) \parallel \pi_{\text{old}}(\cdot|s_t))$ .
- Le terme KL agit comme une zone de confiance qui est intrinsèque à la formulation soft-RL, remplaçant le besoin d'un coefficient d'entropie distinct et ajustable.

Réduction de la variance

Les auteurs évaluent systématiquement les techniques de réduction de la variance pour la base Vanilla Policy Gradient (VPG) dans ce cadre :

Estimateurs : Ils comparent le plus simple gradient de politique, le "reward-to-go", le "reward-to-go" avec une base de valeur apprise, l'Estimation d'Avantage Généralisée (GAE), et le Subtrajectory Evaluation Balance (SubEB-GAE).
Résultats : L'estimateur GAE avec une base de valeur apprise est identifié comme la stratégie la plus efficace, offrant un compromis biais-variance favorable et améliorant significativement la vitesse de convergence et la stabilité par rapport aux estimateurs plus simples.

Contributions clés

Dérivation des gradients de politique standards pour les GFlowNets : Les auteurs dérivent des objectifs de gradient de politique standards pour les échantillonneurs discrets sous le cadre de l'apprentissage par renforcement à entropie régularisée, validant expérimentalement l'importance des techniques de réduction de la variance (bases et estimation d'avantage) pour un entraînement stable.
Algorithme Ent-PPO : Ils proposent l'Ent-PPO, la première application réussie de PPO aux GFlowNets. La dérivation identifie explicitement les récompenses intermédiaires nécessaires ( $\log P_B$ ) et la zone de confiance KL analytique.
Validation empirique : L'article démontre que l'Ent-PPO surpasse les objectifs de GFlowNet off-policy établis (DB, TB, SubTB) ainsi que les variantes naïves de PPO à travers une gamme de benchmarks, allant de grilles synthétiques à la génération complexe de graphes moléculaires.

Résultats expérimentaux

Les auteurs évaluent leurs méthodes sur plusieurs environnements :

Synthétique/Petite échelle : Hypergrid, TFBind8 (séquences d'ADN) et String QM9.
Grande échelle : sEH (graphes moléculaires basés sur des fragments) et QM9 (graphes moléculaires atome par atome).

Principaux résultats :

Supériorité sur les bases : L'Ent-PPO atteint systématiquement une distance de variation totale (TV) plus faible sur les petits problèmes et un ELBO (Evidence Lower Bound) / EUBO (Evidence Upper Bound) meilleur sur les grands problèmes moléculaires par rapport à DB, TB et SubTB.
Efficacité d'échantillonnage : L'Ent-PPO bénéficie considérablement de multiples époques de mise à jour ( $K > 1$ ) par batch, montrant une efficacité d'échantillonnage et une vitesse de convergence améliorées, un trait commun au RL à grande échelle mais auparavant inexploré dans les GFlowNets.
Nécessité des corrections :
- Pénalité KL : Supprimer le terme KL (revenir à un PPO naïf) provoque un effondrement de l'entraînement ou une instabilité, particulièrement avec plusieurs époques de mise à jour. Le terme KL est essentiel pour empêcher la politique de trop s'écarter de la politique de comportement tout en maintenant le bon objectif de soft-RL.
- Clipping : Supprimer le mécanisme de clipping de PPO tout en conservant le terme KL mène à la divergence, indiquant que le KL analytique seul est insuffisant pour limiter les fluctuations du ratio d'importance.
Apprentissage de la politique de retour : Bien que l'Ent-PPO ne supporte pas nativement l'apprentissage conjoint forward-backward comme les objectifs off-policy, les auteurs montrent que l'utilisation de la Maximisation de la Vraisemblance de Trajectoire (TLM) pour apprendre la politique de retour séparément accélère considérablement la convergence.

Signification et affirmations

L'article affirme que l'Ent-PPO représente une avancée significative dans l'entraînement des GFlowNets en comblant le fossé entre les méthodes modernes et scalables de gradient de politique et les exigences spécifiques de l'échantillonnage discret.

Rigueur théorique : Ce travail corrige les tentatives précédentes d'application de PPO aux GFlowNets en dérivant rigoureusement la structure de récompense et la zone de confiance nécessaire à partir des premiers principes du RL à entropie régularisée.
Impact pratique : Les résultats suggèrent que les méthodes de gradient de politique, lorsqu'elles sont correctement adaptées, peuvent surpasser les objectifs de GFlowNet basés sur la valeur, particulièrement en termes de vitesse de convergence et d'efficacité des données.
Scalabilité : La capacité de l'Ent-PPO à exploiter plusieurs époques de mise à jour et à passer à l'échelle sur des tâches de génération moléculaire complexes (QM9) suggère une voie pour appliquer les GFlowNets à des problèmes plus larges et plus complexes où les méthodes traditionnelles basées sur la valeur pourraient avoir des difficultés avec l'attribution de crédit ou l'estimation de la fonction de partition.

Les auteurs concluent que bien que leur méthode se concentre actuellement sur les domaines discrets, le cadre de soft-RL offre une direction prometteuse pour adapter les méthodes de gradient de politique aux domaines d'échantillonnage continus à l'avenir.