🤖 machine learning

GFlowNet Training by Policy Gradients

Cet article propose un nouveau cadre d'entraînement GFlowNet qui fait le pont entre l'équilibre de flux et l'optimisation de la récompense attendue pour dériver de nouvelles méthodes basées sur des politiques, présentant une stratégie couplée pour entraîner conjointement des politiques directes et concevoir des politiques inverses, ce qui est théoriquement garanti et démontré empiriquement comme améliorant les performances sur des ensembles de données simulés et réels.

Auteurs originaux : Puhua Niu, Shili Wu, Mingzhou Fan, Xiaoning Qian

Publié 2026-08-06

📖 7 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Puhua Niu, Shili Wu, Mingzhou Fan, Xiaoning Qian

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez un monde où vous devez trouver la recette parfaite, l'itinéraire de livraison le plus efficace ou une nouvelle molécule médicamenteuse, mais où le nombre de combinaisons possibles est si vaste qu'il faudrait plus longtemps que l'âge de l'univers pour toutes les vérifier une par une. C'est le défi de l'« explosion combinatoire », un problème qui frappe tout, de la biologie à l'ingénierie. Pour résoudre cela, les scientifiques utilisent un outil ingénieux appelé GFlowNet (Generative Flow Network). Considérez un GFlowNet non pas comme un livre de règles rigide, mais comme un système hydraulique magique. Il construit des objets complexes étape par étape, comme une rivière creusant un chemin à travers un canyon. L'objectif est de s'assurer que l'« eau » (ou la probabilité) coule de telle sorte que la rivière finisse dans les vallées les plus belles et les plus riches en récompenses (les meilleures solutions) exactement aussi souvent qu'elles le méritent.

Traditionnellement, enseigner à ce système hydraulique comment couler correctement revenait à essayer d'équilibrer une balance géante et invisible. Les anciennes méthodes, connues sous le nom d'approches « basées sur la valeur », se concentrent sur la vérification si la pression de l'eau à chaque jonction correspond à une équation spécifique. C'est un peu comme un plombier qui mesurerait constamment la pression dans chaque tuyau pour s'assurer qu'il n'y a pas de fuites. Bien que cela fonctionne, cela peut être lent et maladroit, surtout lorsque le paysage est parsemé de pics isolés et riches en récompenses, difficiles à atteindre. Les chercheurs de cet article ont posé la question suivante : Existe-t-il un moyen d'enseigner au système hydraulique en récompensant simplement le chemin qu'il emprunte, plutôt qu'en vérifiant simplement la pression à chaque arrêt ? Ils proposent une nouvelle façon d'entraîner ces réseaux qui ressemble davantage à un personnage de jeu vidéo apprenant à parcourir un labyrinthe en collectant des points, plutôt qu'à un mathématicien résolvant une équation.

La nouvelle façon d'entraîner le flux

Les auteurs, Puhua Niu et son équipe, ont développé une nouvelle méthode d'entraînement pour les GFlowNets qui déplace l'attention du « contrôle des mathématiques » vers le « suivi de la récompense ». Dans l'ancienne école de pensée, le réseau était entraîné pour maintenir l'équilibre du flux d'eau à travers toute la carte, une méthode qui ressemble à la façon dont l'apprentissage par renforcement (RL) traditionnel fonctionnait en estimant la valeur de chaque état. La nouvelle approche, cependant, traite le processus d'entraînement comme un problème direct de gradient de politique (policy gradient).

Pour comprendre cela, imaginez que vous apprenez à un chien à rapporter une balle.

L'ancienne méthode (basée sur la valeur) : Vous vous tenez à chaque endroit possible dans le jardin et calculez exactement quelle « valeur de rapport » possède cet endroit. Vous ajustez ensuite le comportement du chien pour garantir que les mathématiques concordent parfaitement à chaque emplacement. C'est précis, mais cela demande beaucoup d'énergie mentale pour calculer la valeur de chaque brin d'herbe.
La nouvelle méthode (basée sur la politique) : Vous dites simplement « Bon chien ! » quand le chien court vers la balle et « Mauvais chien » quand il court dans la mauvaise direction. Vous n'avez pas besoin de connaître la valeur de chaque endroit du jardin ; vous ajustez simplement le style de course du chien en fonction des récompenses qu'il obtient le long du chemin.

L'article introduit un type spécial de « récompense » qui dépend de la stratégie (ou politique) que le réseau utilise actuellement. Ce faisant, ils comblent le fossé entre les équations complexes d'équilibre de flux des GFlowNets et le style d'apprentissage plus simple et plus direct de « récompense et punition » de l'IA moderne. Ils ont découvert que cette méthode permet au réseau d'apprendre beaucoup plus rapidement et plus solidement, surtout lorsque le « trésor » (les solutions à haute récompense) est caché dans des endroits isolés difficiles à trouver.

Ce qu'ils ont trouvé et ce qu'ils ont évité

Les chercheurs ont testé leur nouvel entraînement « basé sur la récompense » sur plusieurs défis différents, incluant des simulations de grilles (comme un immense échiquier), la conception de séquences biologiques (comme des chaînes d'ADN) et la création de structures moléculaires (comme de nouveaux médicaments).

Dans ces simulations, leur nouvelle méthode, qu'ils appellent RL-G (lorsqu'elle utilise un guide intelligent) et RL-T (utilisant une « zone de confiance » pour rendre les changements sûrs), a systématiquement surpassé les anciennes méthodes.

Vitesse : Les nouvelles méthodes ont convergé (trouvé la solution) beaucoup plus rapidement. Dans l'expérience de la grille 256x256, les nouvelles méthodes ont atteint un taux d'erreur faible en moins d'étapes que les anciennes méthodes de « Trajectoire Balance » (TB).
Précision : Les résultats finaux étaient souvent plus précis. Par exemple, dans la grille 256x256, leur meilleure méthode (RL-G) a atteint une erreur de variation totale d'environ 0,439, tandis que la deuxième meilleure méthode traditionnelle (TB-U) était d'environ 0,728. Dans les tests de conception moléculaire, leurs méthodes ont trouvé plus de « modes » uniques (différentes solutions de haute qualité) que les anciennes méthodes.

Crucialement, l'article plaide contre l'idée que nous devions toujours nous appuyer sur des échantillonneurs hors-politique (off-policy) complexes (comme l'échantillonnage de Thompson ou le mélange aléatoire) pour explorer l'espace. Bien que ces méthodes tentent d'équilibrer l'« exploration » (essayer de nouvelles choses) et l'« exploitation » (utiliser ce qui fonctionne), les auteurs montrent qu'en utilisant leur approche basée sur la politique avec une estimation de gradient robuste, le réseau peut trouver les meilleurs chemins naturellement sans avoir besoin de ces trucs externes compliqués. Ils ne se sont pas contentés de suggérer cela ; ils l'ont mesuré sur plusieurs ensembles de données et ont montré que les nouvelles stratégies fournissent un moyen plus stable et plus efficace d'entraîner ces réseaux.

La « Zone de Confiance » et le « Guide »

Pour s'assurer que le réseau ne se confonde pas ou ne tombe pas dans une mauvaise habitude, les auteurs ont ajouté deux ingrédients spéciaux :

La Zone de Confiance (RL-T) : Imaginez que vous apprenez à un chien à courir. Si vous lui dites de courir trop vite, trop tôt, il risque de trébucher. La « Zone de Confiance » est comme une laisse qui limite à quel point le style de course du chien peut changer en une seule étape. Cela maintient l'apprentissage stable et empêche le réseau de faire des suppositions sauvages et mauvaises. L'article montre que cela rend l'apprentissage plus fluide et plus fiable.
La Politique Guidée (RL-G) : Parfois, le chien a besoin d'un petit indice. Les auteurs ont introduit une politique « guidée » qui agit comme une carte, dirigeant doucement le réseau loin des impasses (zones à faible récompense) et vers le trésor. Cela aide le réseau à éviter de rester coincé dans des « déserts de récompenses » où il n'y a pas de bonnes solutions à proximité.

Pourquoi cela importe

L'article conclut qu'en recadrant l'entraînement des GFlowNets comme un problème direct d'optimisation de la récompense, nous pouvons construire des IA meilleures, plus rapides et plus fiables pour générer des objets complexes. Qu'il s'agisse de concevoir un nouveau médicament, d'optimiser une chaîne d'approvisionnement ou de comprendre la structure de l'univers, cette méthode offre un chemin plus direct vers la solution. Les auteurs sont confiants dans leurs résultats car ils les ont étayés par des preuves mathématiques rigoureuses et des expériences approfondies sur des données réelles et simulées. Ils n'ont pas seulement supposé que cela fonctionnerait ; ils ont démontré que cela fonctionne, offrant une nouvelle direction prometteuse sur la façon d'enseigner à l'IA à créer et à découvrir.

Énoncé du Problème
Les réseaux de flux génératifs (GFlowNets) sont conçus pour échantillonner des objets combinatoires d'un espace $\mathcal{X}$ avec une probabilité proportionnelle à une fonction de récompense non négative $R(x)$ . Bien qu'efficaces, les méthodes d'entraînement existantes des GFlowNets sont principalement basées sur la valeur (value-based), s'appuyant sur le maintien d'équations d'équilibre de flux (par exemple, Trajectory Balance, Detailed Balance) à travers un graphe acyclique dirigé (DAG). Ces méthodes sont confrontées à des défis pour concevoir des échantillonneurs puissants capables d'équilibrer l'exploration et l'exploitation, particulièrement dans des espaces de grande dimension avec des modes isolés. De plus, les approches classiques basées sur la valeur peuvent souffrir d'instabilité numérique en raison de l'explosion des valeurs de flux et peuvent rester piégées dans des optima locaux lors de l'utilisation de stratégies typiques d'annealing ou de mélange aléatoire. L'article postule que le rapprochement de l'entraînement des GFlowNets avec l'apprentissage par renforcement (RL) basé sur la politique (policy-based) pourrait offrir une estimation de gradient plus robuste et une meilleure efficacité d'entraînement.

Méthodologie
Les auteurs proposent un nouveau cadre d'entraînement qui reformule l'entraînement des GFlowNets comme un problème de RL basé sur la politique sur un processus de décision de Markov (MDP) spécial.

Récompenses dépendantes de la politique : L'innovation centrale est la définition de fonctions de récompense dépendantes de la politique. Pour une politique directe $\pi_F$ et une politique inverse $\pi_B$ , les récompenses sont définies comme les log-rapports de ces politiques (par exemple, $R_F(s, a) = \log \frac{\pi_F(s, a)}{\pi_B(s', a)}$ ). Cette formulation permet de réinterpréter la condition d'équilibre de flux comme la minimisation de la récompense accumulée attendue, comblant ainsi l'écart entre l'équilibre de flux et les objectifs de RL.
Formulation RL : L'entraînement de la politique directe est formulé comme la minimisation d'une fonction de valeur attendue $J_F$ , qui correspond à la divergence de Kullback-Leibler (KL) entre la distribution de trajectoire directe et une distribution cible dérivée de la politique inverse. De même, la conception de la politique inverse est formulée comme un problème de RL visant à minimiser un objectif distinct $J_B$ .
Stratégie d'entraînement couplée : L'article introduit une stratégie d'entraînement couplée qui optimise conjointement la politique directe et la conception de la politique inverse. Contrairement aux approches précédentes en deux phases, cette méthode permet des mises à jour simultanées, garantissant théoriquement des améliorations de performance.
Techniques d'optimisation avancées : S'appuyant sur la littérature établie du RL basé sur la politique, les auteurs incorporent :
- Réduction de la variance : L'utilisation de bases fonctionnelles (critiques) et de l'estimation de l'avantage généralisé (contrôlée par un paramètre $\lambda$ ) pour gérer le compromis biais-variance dans l'estimation du gradient.
- Contraintes de région de confiance : L'adaptation des concepts de l'Optimisation de Politique de Région de Confiance (TRPO) et de l'Optimisation de Politique Proximale (PPO) pour assurer des mises à jour de politique stables et conservatrices, évitant ainsi que le modèle ne reste piégé dans des optima locaux.
Garanties Théoriques : L'article fournit des preuves théoriques montrant que les objectifs basés sur la politique proposés sont équivalents à la minimisation de la divergence KL entre les distributions. Il établit des garanties de convergence pour les gradients de politique sous des récompenses dépendantes de la politique et des chaînes de Markov absorbantes (spécifiques à la structure DAG des GFlowNets), qui diffèrent des hypothèses MDP ergodiques standards de la RL traditionnelle.

Contributions Clés

Reformulation de l'entraînement des GFlowNets : Les auteurs ont réussi à reformuler l'entraînement des GFlowNets comme un problème de RL avec des récompenses dépendantes de la politique, transformant l'équation d'équilibre de flux en une optimisation des récompenses accumulées attendues.
Stratégies d'entraînement basées sur la politique : Ils dérivent de nouvelles stratégies d'entraînement qui optimisent directement la politique directe via des gradients, contrastant avec les méthodes existantes basées sur la valeur. Cela inclut l'adaptation des objectifs de type TRPO et PPO pour les GFlowNets.
Conception de politique inverse couplée : L'article formule la conception des politiques inverses comme un problème de RL et propose une stratégie d'entraînement conjointe qui optimise simultanément les politiques directes et inverses, améliorant ainsi l'efficacité de l'entraînement.
Analyse Théorique : Le travail fournit des garanties théoriques pour la convergence de ces méthodes basées sur la politique, prouvant qu'elles convergent asymptotiquement vers des points stationnaires et établissant des bornes supérieures sur l'amélioration des performances.

Résultats Expérimentaux
Les auteurs ont évalué leurs méthodes sur trois domaines : la modélisation de grille hyper-dimensionnelle, la conception de séquences biologiques/moléculaires (jeux de données SIX6, QM9, PHO4, sEH) et l'apprentissage de structure de réseaux bayésiens.

Performance : Sur les jeux de données simulés et réels, les méthodes proposées basées sur la politique (spécifiquement RL-G avec des politiques guidées et RL-T avec des mises à jour basées sur TRPO) ont systématiquement démontré des taux de convergence plus rapides et une distance de Variation Totale (TV) plus faible par rapport aux méthodes de pointe basées sur la valeur (telles que TB-U, TB-B, TB-Sub et les méthodes basées sur DB).
Stabilité : La variante basée sur TRPO (RL-T) a montré une plus grande stabilité pendant l'entraînement par rapport aux méthodes vanilla basées sur la politique, confirmant le bénéfice des mises à jour conservatrices.
Ablation : Les expériences faisant varier le paramètre de compromis biais-variance $\lambda$ ont montré que les méthodes basées sur la politique fournissent une estimation de gradient plus robuste que les méthodes Trajectory Balance (TB), particulièrement lorsque $\lambda$ est ajusté.

Signification et Revendications
L'article affirme que sa principale signification réside dans la fourniture de perspectives alternatives, basées sur la politique, pour l'entraînement des GFlowNets qui offrent une estimation de gradient robuste. En recadrant le problème à travers le prisme des gradients de politique, les auteurs soutiennent que les GFlowNets peuvent exploiter des techniques de RL avancées (comme les régions de confiance et la réduction de la variance) pour surmonter les limites des échantillonneurs basés sur la valeur. Le travail suggère que cette approche est particulièrement efficace dans les environnements possédant de grands modes isolés où l'équilibre exploration-exploitation est difficile à gérer. Les auteurs notent modestement que, bien que leurs méthodes ne nécessitent pas de conception de l'échantillonneur explicite (contrairement aux méthodes off-policy basées sur la valeur), elles font toujours face à des défis liés à la variance du gradient dans des espaces d'états très vastes, laissant place à des travaux futurs pour améliorer davantage les techniques d'estimation de gradient. Le code est mis à disposition pour faciliter la reproductibilité.

La nouvelle façon d'entraîner le flux

Ce qu'ils ont trouvé et ce qu'ils ont évité

La « Zone de Confiance » et le « Guide »

Pourquoi cela importe

Articles similaires