🤖 machine learning

Beyond the Proxy: Trajectory-Distilled Guidance for Offline GFlowNet Training

Ce papier présente le GFlowNet distillé par trajectoire (TD-GFN), un cadre sans proxy qui exploite l'apprentissage par renforcement inverse pour extraire des récompenses d'arêtes denses à partir de données hors ligne afin d'orienter l'exploration, tout en s'appuyant exclusivement sur des récompenses terminales de vérité terrain pour garantir un entraînement robuste et surpasser les références existantes en termes de vitesse de convergence et de qualité des échantillons.

Auteurs originaux : Ruishuo Chen, Xun Wang, Rui Hu, Zhuoran Li, Longbo Huang

Publié 2026-05-26

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Ruishuo Chen, Xun Wang, Rui Hu, Zhuoran Li, Longbo Huang

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayiez d'enseigner à un robot comment préparer le gâteau parfait. Dans un monde idéal, le robot préparerait un gâteau, vous le goûteriez, lui attribueriez une note (une « récompense »), et il réessaierait, apprenant de chaque erreur. C'est ainsi que la plupart des intelligences artificielles apprennent aujourd'hui.

Mais dans de nombreuses situations réelles — comme la conception de nouveaux médicaments ou la création de séquences biologiques — vous ne pouvez pas simplement « goûter » chaque possibilité. Les expériences sont trop coûteuses, prennent trop de temps, ou nécessitent des experts humains en nombre insuffisant. Vous êtes donc coincé avec un « livre de recettes statique » : un tas d'anciennes recettes (données) écrites par quelqu'un d'autre, accompagnées des notes finales pour ces gâteaux spécifiques. Vous ne pouvez pas demander de nouvelles notes ; vous ne pouvez qu'examiner ce qui existe déjà.

C'est le problème que TD-GFN (GFlowNet distillé par trajectoire) résout.

Le problème avec l'ancienne méthode : le « Juge factice »

Auparavant, lorsque les scientifiques tentaient d'entraîner une IA en utilisant uniquement ces vieux livres de recettes, ils devaient construire un « proxy » ou un « juge factice ». Ce juge factice examinait une nouvelle recette, jamais testée, et devinait quelle note elle obtiendrait.

Le défaut : Si le juge factice se trompe (ce qui arrive souvent car il n'a pas vu assez de données), il donne de mauvais conseils. Le robot suit ces mauvais conseils, commet une erreur, et l'erreur se propage, rendant l'ensemble du système moins performant. C'est comme embaucher un critique gastronomique qui n'a jamais réellement goûté la nourriture pour vous dire comment cuisiner.

La solution TD-GFN : la « Carte de la Cuisine »

Au lieu de construire un juge factice pour deviner les notes, TD-GFN examine les trajectoires que le robot a empruntées pour atteindre les gâteaux finaux dans l'ancien livre de recettes. Il se demande : « Quelles étapes de ces recettes étaient réellement utiles, et lesquelles étaient des impasses ? »

Voici comment cela fonctionne, étape par étape, en utilisant une analogie simple :

1. Le « Rétro-ingénierie » (IRL)

Imaginez que vous avez une carte d'une ville (le « DAG » ou graphe acyclique dirigé) où chaque rue mène à une destination. Certaines destinations sont des mines d'or (récompense élevée), et d'autres sont des marais (récompense faible).
TD-GFN utilise une technique appelée Apprentissage par Renforcement Inverse. Au lieu de demander « Quelle est la note de cette rue ? », il examine les schémas de circulation dans les anciennes données et se demande : « Si j'étais un expert essayant d'atteindre les mines d'or, quelles rues aurais-je empruntées ? »
Il crée une carte thermique pour chaque rue (arête) de la ville. Certaines rues obtiennent une note de « chaleur élevée » car elles sont cruciales pour atteindre l'or ; d'autres obtiennent une note « froide » car elles ne mènent nulle part.

2. La « Fermeture de route » (Élagage)

Maintenant, imaginez que vous êtes le robot. Vous regardez la carte thermique.

L'ancienne méthode : Vous essayez chaque rue, espérant que le juge factice vous dise lesquelles sont bonnes.
La méthode TD-GFN : Vous voyez que les rues « froides » sont probablement des impasses. Vous les fermez donc (élagage du graphe). Vous ne perdez même pas de temps à y réfléchir. Vous ne conservez que les rues « chaudes » qui mènent vers les mines d'or.
Cela rend votre tâche beaucoup plus facile. Vous ne devinez pas ; vous naviguez sur une carte rationalisée qui ne montre que les chemins prometteurs.

3. Le « Recul intelligent » (Échantillonnage priorisé)

Enfin, lorsque le robot doit apprendre, il ne se promène pas au hasard. Il utilise un tour de passe-passe spécial : l'Échantillonnage vers l'arrière.
Imaginez que vous voulez apprendre comment atteindre la mine d'or. Au lieu de commencer à la porte d'entrée et de deviner votre chemin vers l'avant, vous commencez à la mine d'or et marchez vers l'arrière jusqu'à la porte d'entrée, mais vous le faites intelligemment. Vous avez plus de chances d'emprunter les rues « chaudes » (celles que la carte thermique a indiquées comme importantes) et moins de chances d'emprunter les rues froides.
Cela garantit que le robot consacre son temps à étudier les trajectoires les plus précieuses, apprenant ainsi beaucoup plus vite.

Pourquoi c'est une grande avancée

L'article affirme qu'en utilisant cette approche de « Carte de la Cuisine », TD-GFN est :

Plus rapide : Il trouve les meilleures solutions (molécules ou séquences à haute récompense) beaucoup plus rapidement que les autres méthodes.
Plus intelligent : Il ne se contente pas de copier les anciennes recettes ; il déduit la structure de ce qui fait une bonne recette et peut inventer de nouvelles recettes, encore meilleures, qui n'étaient pas dans le livre de recettes original.
Plus sûr : Parce qu'il ne dépend pas d'un « juge factice » pour deviner les notes de nouvelles idées, il évite le piège de suivre de mauvais conseils. Il ne fait confiance qu'aux notes réelles et connues des résultats finaux.

L'essentiel

Pensez à TD-GFN comme à un chef étoilé qui n'a pas besoin de goûter chaque plat pour savoir cuisiner. Au lieu de cela, il examine l'histoire des plats réussis, détermine quels ingrédients et quelles étapes spécifiques étaient la « sauce secrète » (les récompenses des arêtes), élimine les étapes inutiles, puis enseigne à l'apprenti à se concentrer uniquement sur les étapes qui comptent. Le résultat est un chef qui apprend plus vite, fait moins d'erreurs et crée de meilleurs plats que quiconque utilisant uniquement l'ancien livre de recettes.

Résumé technique : Au-delà du proxy : Guidance par distillation de trajectoires pour l'entraînement hors ligne des GFlowNet

Énoncé du problème

Les Réseaux de Flux Génératifs (GFlowNets) sont des modèles puissants pour échantillonner des objets compositionnels proportionnellement à leurs récompenses. Cependant, dans de nombreuses applications pratiques — telles que la découverte de molécules, la conception de séquences biologiques et les systèmes de recommandation — l'interaction active avec l'environnement pour interroger les récompenses est irréalisable en raison de coûts expérimentaux élevés ou de la nécessité d'une évaluation humaine. Par conséquent, les GFlowNets doivent être entraînés à l'aide de jeux de données statiques hors ligne.

Les paradigmes d'entraînement hors ligne actuels reposent généralement sur l'entraînement d'un modèle de récompense proxy pour approximer les signaux de récompense à partir du jeu de données, que le GFlowNet interroge ensuite pour l'optimisation de la politique. Cette approche fait face à des défis majeurs :

Pénurie de données et coût : La construction d'un modèle proxy fiable nécessite souvent de grands jeux de données diversifiés et une expertise domainale significative.
Propagation d'erreurs : Les requêtes de récompense pour des échantillons ou des états hors distribution (OOD) ou mal estimés par le proxy peuvent propager des erreurs à travers les gradients, compromettant la politique apprise.
Limites des méthodes sans proxy : Les approches existantes sans proxy (par exemple, RO-GFlowNets, COFlowNet) imposent souvent des contraintes grossières pour aligner la politique avec le jeu de données. Ces contraintes peuvent restreindre la généralisation, inhiber une exploration efficace et augmenter la sensibilité à la qualité des données.

La question centrale abordée est la suivante : Comment pouvons-nous exploiter efficacement les trajectoires hors ligne pour entraîner des GFlowNets lorsque les récompenses terminales sont insuffisantes pour construire un modèle proxy fiable ?

Méthodologie : GFlowNet par distillation de trajectoires (TD-GFN)

Les auteurs proposent TD-GFN, un cadre novateur sans proxy qui extrait des informations structurelles riches du graphe acyclique dirigé (DAG) de l'environnement pour guider l'entraînement de la politique sans dépendre d'un modèle de récompense proxy. La méthodologie se compose de trois phases principales :

1. Extraction de récompenses d'arêtes par apprentissage par renforcement inverse (IRL)

Au lieu de prédire les récompenses terminales, TD-GFN utilise l'IRL pour distiller des récompenses d'arêtes au niveau des transitions ( $R_E$ ) à partir de trajectoires hors ligne.

Rééquilibrage : Pour résoudre le problème selon lequel les données hors ligne peuvent ne pas représenter un comportement expert, les auteurs introduisent une stratégie de rééquilibrage. Les trajectoires sont échantillonnées avec une probabilité proportionnelle à leurs récompenses terminales ( $P(\tau) \propto R(s_T)$ ), créant ainsi un jeu de données pseudo-expert.
Entraînement adversarial : En utilisant un cadre GAIL modifié (Apprentissage par imitation génératif adversaire), un discriminateur $D_\phi$ distingue les transitions dans le jeu de données rééquilibré de celles générées par une politique $\pi_\psi$ .
Dérivation de la récompense : Une fonction de récompense d'arête non biaisée est extraite du discriminateur :
$R_E(s, s') = \log D_\phi(s, s') - \log(1 - D_\phi(s, s'))$
Théoriquement, cette récompense approxime le score d'entrée de flux conditionnel en logarithme ( $\log P_B(s|s')$ ), quantifiant l'importance de transitions spécifiques pour l'apprentissage d'une politique efficace. Crucialement, ces récompenses fournissent une guidance intermédiaire dense plutôt que des prédictions terminales.

2. Élagage du DAG guidé par la récompense

Pour assurer la robustesse et prévenir la propagation d'erreurs provenant d'estimations IRL potentiellement imprécises, TD-GFN n'utilise pas les récompenses d'arêtes pour façonner directement les gradients de la politique. Au lieu de cela, il les utilise pour élaguer le DAG de l'environnement.

Seuillage : Les arêtes dont les récompenses tombent en dessous d'un seuil statistique (moyenne moins $K$ fois l'écart-type de la distribution des récompenses) sont supprimées.
Garantie théorique : Les auteurs prouvent que cette stratégie d'élagage préserve tous les modes « hauts goulots d'étranglement » (états terminaux accessibles via des chemins avec de hauts scores d'arêtes) tout en supprimant les transitions à faible utilité. Cela crée un espace d'actions compact et expressif qui privilégie les trajectoires à haute valeur tout en protégeant la politique contre les erreurs d'approximation IRL.

3. Échantillonnage arrière priorisé

L'entraînement est effectué sur le sous-graphe élagué en utilisant un mécanisme d'échantillonnage arrière priorisé.

Stratégie d'échantillonnage : Les états terminaux sont échantillonnés à partir de l'intersection du jeu de données et du graphe élagué avec une probabilité proportionnelle à leurs récompenses de vérité terrain.
Construction de trajectoires arrière : À partir de chaque terminal échantillonné, des trajectoires sont construites à l'envers vers la racine en utilisant une politique arrière apprise $P_B$ , définie par les récompenses d'arêtes apprises :
$P_B(s_t | s_{t+1}) = \frac{\exp\{R_E(s_t, s_{t+1})\}}{\sum \exp\{R_E(s, s_{t+1})\}}$
Mises à jour des gradients : La politique du GFlowNet est optimisée à l'aide de ces trajectoires échantillonnées et de leurs récompenses terminales de vérité terrain. En s'appuyant exclusivement sur les récompenses terminales enregistrées pour les mises à jour des gradients, la méthode évite les problèmes de propagation d'erreurs inhérents aux méthodes basées sur des proxies.

Contributions clés

Un nouveau paradigme sans proxy : TD-GFN élimine la dépendance aux modèles proxy et aux requêtes de récompense OOD. Il utilise l'IRL pour distiller des récompenses d'arêtes au niveau des transitions à partir de jeux de données rééquilibrés, fournissant une guidance structurée pour l'entraînement et la généralisation de la politique.
Mécanisme de guidance robuste : Le cadre introduit deux mécanismes de guidance indirects : l'élagage du DAG et l'échantillonnage arrière priorisé. Cette conception garantit que les mises à jour des gradients dépendent exclusivement des récompenses de vérité terrain, empêchant la propagation d'erreurs tout en exploitant une guidance structurelle dense pour une exploration efficace.
Performances de l'état de l'art : Des expériences extensives démontrent que TD-GFN atteint une vitesse de convergence supérieure et une qualité d'échantillon meilleure par rapport à un large éventail de bases de référence, y compris les méthodes basées sur des proxies (Proxy-GFN), les algorithmes d'apprentissage par renforcement hors ligne (CQL, IQL) et d'autres variantes de GFlowNet sans proxy (COFlowNet, Dataset-GFN).

Résultats expérimentaux

Les auteurs ont évalué TD-GFN sur trois benchmarks :

Hypergrid (Synthétique) : Sur une grille à 84 dimensions avec des récompenses multi-modales et clairsemées, TD-GFN a identifié tous les 16 modes de récompense avec moins de 5 000 visites d'états (une amélioration de six fois par rapport aux bases de référence) et a convergé vers l'erreur L1 empirique la plus basse deux fois plus vite que le meilleur concurrent (COFlowNet). Il a démontré une forte robustesse sous des données bruitées (jeu de données Mixed) et une pénurie de données (10 % des données).
Conception de séquences biologiques (Peptides anti-microbiens) : TD-GFN a généré des séquences avec les récompenses les plus élevées et la plus grande diversité parmi les 100 premières séquences, surpassant à la fois les méthodes basées sur des proxies et d'autres méthodes hors ligne.
Conception de molécules : TD-GFN a découvert plus de molécules à haute récompense et de modes diversifiés que les bases de référence tout en nécessitant significativement moins de trajectoires pour converger (2,75 × 10^4 contre 43,7 × 10^4 pour Proxy-GFN). Il a égalé les performances d'un Oracle-GFN (qui utilise directement les récompenses de vérité terrain) dans l'identification de molécules à haute récompense.

Importance et revendications

L'article revendique que TD-GFN établit un paradigme plus robuste, stable et efficace pour l'entraînement hors ligne des GFlowNets. En exploitant les informations structurelles inhérentes aux trajectoires hors ligne via l'IRL, la méthode comble le fossé entre les jeux de données hors ligne limités et les exigences complexes d'exploration de la modélisation générative.

Les auteurs soulignent que TD-GFN :

Débloque le potentiel : Il permet le déploiement des GFlowNets dans des domaines complexes où les requêtes actives de récompenses sont prohibitives.
Prévient la propagation d'erreurs : En découplant le mécanisme de guidance (récompenses d'arêtes) du mécanisme de mise à jour des gradients (récompenses terminales), il évite les pièges des modèles proxy.
Améliore l'exploration : La guidance structurelle dense permet au modèle d'explorer efficacement les régions à haute récompense, même lorsqu'elles sont faiblement représentées ou non observées dans les données d'entraînement.

Ce travail suggère que l'information au niveau des trajectoires, souvent négligée dans les méthodes basées sur des proxies, est une pierre angulaire pour un entraînement efficace des GFlowNets hors ligne, offrant une solution évolutive pour les applications réelles dans la découverte de médicaments, la conception biologique et l'optimisation combinatoire.