💬 NLP

GFlowRL: Scaling Distribution-Matching RL to Large Language Models

GFlowRL introduit un algorithme d'apprentissage par renforcement de type GFlowNet, évolutif et stable, pour les grands modèles de langage qui élimine la nécessité d'une fonction de partition apprise en utilisant des estimations de Monte Carlo en lot (in-batch) et des stabilisateurs spécialisés, atteignant des performances de pointe sur les benchmarks de mathématiques, de code et d'adversité à travers des architectures denses et creuses allant jusqu'à 235 milliards de paramètres.

Auteurs originaux : Xiaodong Liu, Michael Xu, Jack W. Stokes, Paul Smolensky, Doug Burger, Jianfeng Gao

Publié 2026-07-16

📖 7 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Xiaodong Liu, Michael Xu, Jack W. Stokes, Paul Smolensky, Doug Burger, Jianfeng Gao

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous enseignez à un étudiant brillant et ultra-rapide comment résoudre les énigmes les plus difficiles du monde, des problèmes mathématiques complexes à l'écriture de codes informatiques qui ne plantent jamais. Dans le monde de l'intelligence artificielle, cet étudiant est un « Large Language Model » (LLM), et la méthode que nous utilisons pour lui enseigner est appelée l'Apprentissage par Renforcement (Reinforcement Learning). Voyez cela comme un jeu vidéo où l'IA gagne des points (récompenses) lorsqu'elle fait ce qu'il faut. Pendant longtemps, la stratégie standard consistait à agir comme un joueur avide : « Trouve le mouvement unique qui donne le plus de points tout de suite, et fais cela encore et encore. » Cela fonctionne bien, mais cela présente une faille. C'est comme un étudiant qui mémorise une méthode spécifique pour résoudre un problème de mathématiques et refuse d'essayer toute autre méthode, même si cette autre méthode est tout aussi bonne. Il devient « bloqué » dans une certaine façon de penser, manquant la créativité et la variété nécessaires pour gérer des situations nouvelles et délicates.

Pour corriger cela, des scientifiques ont récemment essayé une approche différente appelée « Generative Flow Networks » (GFlowNets). Au lieu de simplement traquer le meilleur mouvement unique, cette méthode apprend à l'IA à explorer tous les bons mouvements, en leur donnant une chance d'être utilisés en fonction de leur efficacité. C'est comme dire à l'étudiant : « Essaie tous les chemins valides à travers le labyrinthe, pas seulement celui qui semble le plus rapide. » L'objectif est de créer un penseur diversifié et flexible. Cependant, tenter de passer à l'échelle supérieure avec de gigantesques modèles d'IA super-intelligents a été un cauchemar. Les outils que les scientifiques avaient construits pour faire fonctionner cela étaient si compliqués et instables qu'ils provoquaient souvent le plantage de l'IA ou un apprentissage nul, surtout lorsque les modèles devenaient énormes ou que les tâches devenaient désordonnées.

Ce document, intitulé « GFlowRL », s'attaque précisément à ce casse-tête. Les auteurs ont découvert que la partie la plus compliquée de l'ancienne recette de la « pensée diversifiée » était en fait le problème lui-même. Ils ont découvert qu'un outil mathématique spécifique, qui était censé aider à équilibrer l'apprentissage de l'IA, agissait davantage comme une radio bruyante et cassée que comme un guide utile. En jetant cet outil cassé et en le remplaçant par un calcul beaucoup plus simple et instantané, ils ont créé une nouvelle méthode appelée GFlowRL. Cette nouvelle approche est stable, rapide et étonnamment efficace. Elle permet à de massifs modèles d'IA d'apprendre des stratégies de résolution de problèmes diverses sans planter, même sur les défis mathématiques et de codage les plus difficiles. En fait, leur nouvelle méthode a surpassé les anciens détenteurs de records, atteignant un niveau de compétence en programmation compétitive qui rivalise avec les meilleurs systèmes d'IA actuellement disponibles, tout en maintenant un processus d'entraînement fluide et régulier.

Le Problème : Le « Calculateur Magique » qui a tout cassé

Pour comprendre la percée, nous devons d'abord regarder l'ancienne façon de faire. Lorsque les chercheurs ont essayé d'enseigner la diversité à l'IA en utilisant les GFlowNets, ils se sont appuyés sur un « calculateur » spécial (techniquement appelé une fonction de partition) pour aider à équilibrer les récompenses. Imaginez que vous êtes un enseignant essayant de noter une classe de 1 000 élèves. Vous voulez vous assurer que si un élève trouve une solution ingénieuse et unique, il reçoive des points, mais vous devez aussi vous assurer que les notes ne soient pas si élevées que l'ensemble du système s'effondre.

L'ancienne méthode consistait à construire un tout nouveau et minuscule modèle d'IA juste pour servir de calculateur. Le problème est que ce minuscule calculateur devait apprendre à partir de zéro alors que le géant étudiant (l'IA principale) était déjà un génie. C'était comme demander à un bambin de gérer le budget d'une entreprise pesant des milliards de dollars pendant que le PDG prenait les décisions. Le bambin (le calculateur) se serait confondu, aurait crié des nombres aléatoires et aurait provoqué la panique de tout le système. Les chercheurs ont découvert que ce « calculateur » faisait en réalité plus de mal que de bien. Il était si instable qu'il provoquait l'explosion des erreurs de l'apprentissage de l'IA, et dans de nombreux cas, l'IA n'apprenait rien de mieux que si le calculateur avait été remplacé par du bruit aléatoire.

La Solution : Jeter le calculateur, utiliser le groupe

Les auteurs de GFlowRL ont posé une question simple et audacieuse : « Avons-nous vraiment besoin de ce calculateur cassé ? »

Ils ont réalisé que l'IA faisait déjà le travail que le calculateur était censé faire. Lorsque l'IA s'entraîne, elle ne teste pas seulement une réponse ; elle teste tout un groupe de réponses à la fois (comme un groupe de discussion). Les chercheurs ont remarqué qu'ils pouvaient simplement regarder le groupe de réponses que l'IA avait déjà générées pour déterminer l'équilibre dont ils avaient besoin. Au lieu de construire une machine séparée et fragile pour faire les mathématiques, ils ont simplement utilisé les données directement sous leurs yeux.

Pensez-y de cette façon : au lieu d'embaucher un comptable séparé et nerveux pour vous dire combien l'équipe a gagné, vous regardez simplement les reçus que l'équipe vient de vous remettre. C'est la même information, mais elle est immédiate, réelle, et ne nécessite pas une nouvelle machine coûteuse qui pourrait se casser.

Ce changement simple — remplacer le calculateur complexe et appris par une estimation rapide et instantanée à partir du groupe — a tout changé.

Stabilité : Les erreurs sauvages et explosives ont disparu. L'entraînement est devenu aussi fluide que les méthodes standards utilisées aujourd'hui.
Simplicité : Ils n'ont pas eu besoin d'entraîner un second modèle supplémentaire. Cela a permis d'économiser une énorme quantité de puissance de calcul et de temps.
Performance : Étonnamment, l'IA ne s'est pas contentée de ne plus planter ; elle est devenue meilleure.

Les Résultats : Du plantage au Championnat

L'équipe a testé cette nouvelle méthode, GFlowRL, sur certains des défis les plus difficiles pour l'IA :

Mathématiques : Ils ont entraîné des modèles sur des compétitions mathématiques difficiles. La nouvelle méthode a aidé l'IA à résoudre plus de problèmes que toute méthode précédente qui tentait d'encourager la diversité.
Codage : Ils l'ont testé sur des sites de programmation compétitive comme Codeforces. Un modèle de 14 milliards de paramètres entraîné avec GFlowRL a atteint un classement de 2048. Pour mettre cela en perspective, c'est un niveau de compétence incroyablement élevé, battant les précédents records de l'open-source et se rapprochant à seulement 25 points du meilleur système d'IA fermé (o3-mini) disponible.
Sécurité (Red Teaming) : Ils l'ont également testé sur le « red-teaming », qui est une façon de tester les règles de sécurité de l'IA pour voir si elles tiennent bon. Dans cet environnement bruyant et désordonné où les méthodes précédentes échouaient complètement, GFlowRL a réussi, atteignant le taux de réussite le plus élevé dans l'attaque des filtres de sécurité, prounant qu'il pouvait apprendre des stratégies complexes et diverses même lorsque le feedback était confus.

La partie la plus impressionnante est peut-être la manière dont cela a pu passer à l'échelle. Lorsqu'ils ont essayé d'utiliser cette méthode sur des modèles massifs de type « Mixture of Experts » (MoE) — des systèmes d'IA possédant des centaines de milliards de paramètres — les méthodes précédentes ont immédiatement planté. GFlowRL, cependant, a continué de fonctionner parfaitement, même sur un modèle de 235 milliards de paramètres.

Pourquoi cela importe

La grande conclusion ici n'est pas seulement qu'ils ont construit un meilleur entraîneur d'IA ; c'est qu'ils ont réalisé que la « meilleure » façon de faire n'est pas toujours la plus compliquée. En supprimant les parties inutiles et instables de l'ancienne recette, ils ont trouvé un chemin qui est à la fois plus simple et plus puissant.

GFlowRL suggère que pour rendre l'IA véritablement intelligente et diversifiée, nous n'avons pas besoin d'ajouter plus de couches de machinerie complexe. Parfois, la meilleure façon d'enseigner à un étudiant super-intelligent est d'arrêter de sur-optimiser le plan de cours et de simplement le laisser apprendre du groupe d'idées qu'il génère déjà. Il s'avère que la clé pour passer à l'échelle supérieure du raisonnement de l'IA n'était pas d'ajouter plus d'outils, mais de savoir exactement quels outils jeter.

Résumé Technique : GFlowRL

Énoncé du Problème

L'apprentissage par renforcement (RL) est devenu le paradigme de post-entraînement standard pour les grands modèles de langage (LLM), particulièrement pour les tâches de raisonnement comme les mathématiques et le codage. Cependant, les approches de RL dominantes (par exemple, PPO, GRPO) sont fondamentalement axées sur la maximisation de la récompense. Elles concentrent la masse de probabilité sur le mode unique de plus haute récompense, ce qui entraîne un effondrement de mode (mode collapse) et une réduction de la diversité des solutions. Cela est structurellement limitant pour le raisonnement de type "chaîne de pensée" (chain-of-thought), où la généralisation et la robustesse reposent sur la couverture de multiples chemins de solution valides.

Les réseaux de flux génératifs (GFlowNets) offrent une alternative en apprenant des politiques qui échantillonnent des trajectoires proportionnellement à leur récompense, égalisant ainsi la distribution de la récompense plutôt que de la maximiser. Les tentatives récentes d'application des GFlowNets aux LLM (par exemple, FlowRL, FOR) utilisent un objectif d'Équilibre de Trajectoire (Trajectory Balance - TB). Cet objectif nécessite l'estimation d'une fonction de partition $Z(x)$ , généralement implémentée via un réseau auxiliaire appris (par exemple, un MLP) conditionné par le prompt.

L'article identifie un goulot d'étranglement critique lors de la mise à l'échelle : dans le contexte du post-entraînement des LLM modernes, l'entraînement conjoint d'un réseau de partition initialisé aléatoirement aux côtés d'une politique pré-entraînée massive est instable. La politique ne nécessite qu'un raffinement modeste, tandis que la fonction de partition doit apprendre une quantité complexe à partir de zéro au cours du même horizon d'entraînement court. Cette asymétrie fait que la fonction de partition apprise agit comme une source de bruit et d'instabilité de gradient plutôt que comme un normalisateur utile, entraînant souvent une divergence de l'entraînement, particulièrement dans les régimes à récompenses éparses (par exemple, le red-teaming adversaire) et sur les architectures éparses (mélange d'experts, ou MoE).

Méthodologie : GFlowRL

Les auteurs proposent GFlowRL, un algorithme de RL de style GFlowNet rationalisé qui élimine entièrement la fonction de partition apprise tout en préservant l'objectif d'appariement de la distribution de récompense.

Intuition Centrale

À travers une analyse systématique, les auteurs démontrent que la fonction de partition apprise $Z_\phi(x)$ apporte une information négligeable à la mise à jour de la politique. Empiriquement, remplacer la $Z_\phi$ apprise par du bruit aléatoire produit des performances comparables, alors que la version apprise introduit des normes de gradient ordres de grandeur plus élevées et des explosions de gradients fréquentes.

L'Algorithme

GFlowRL remplace la $Z_\phi(x)$ apprise par une simple estimation de Monte Carlo par lot (in-batch) calculée directement à partir du groupe de déroulements (rollouts) déjà requis pour l'entraînement (similaire à la normalisation relative au groupe dans GRPO).

Estimateur par Lot (In-Batch) : Pour un prompt $x$ et un groupe de $G$ déroulements $\{y^{(1)}, \dots, y^{(G)}\}$ , l'estimation de $\log Z(x)$ est calculée comme la moyenne des cibles de TB à travers le groupe :
$\hat{Z}_t(x) := \frac{1}{G} \sum_{i=1}^G \left( \beta r(x, y^{(i)}) + \log \pi_{ref}(y^{(i)} | x) - \log \pi_{old}(y^{(i)} | x) \right)$
Cet estimateur sert de base de référence avec arrêt de gradient (stop-gradient baseline). Il centre le résidu mais ne porte aucun gradient propre, supprimant ainsi le besoin d'un réseau auxiliaire et de son état d'optimiseur.
Stabilisateurs : Pour garantir la stabilité, GFlowRL incorpore deux mécanismes clés :
- Correction par Échantillonnage Importance (Importance-Sampling Correction) : Corrige la dérive entre la politique de déroulement ( $\pi_{old}$ ) et la politique actuelle ( $\pi_\theta$ ).
- Écrêtage Asymétrique de l'Écart de Flux (Asymmetric Flow-Gap Clipping) : L'écart de flux (le résidu avant le terme de mise à jour de la politique) est écrêté de manière asymétrique. Cela permet des corrections ascendantes plus agressives pour les solutions correctes sous-échantillonnées tout en plafonnant les mises à jour négatives, empêchant les déroulements aberrants de déstabiliser l'entraînement.
Fonction de Perte : La perte finale minimise le carré du résidu de l'écart de flux, normalisé par la longueur de la réponse pour éviter que les séquences longues ne dominent le gradient.

Contributions Clés

Identification de la Source d'Instabilité : L'article identifie la fonction de partition apprise $Z_\phi$ comme la principale source d'instabilité dans le RL de type GFlowNet pour les LLM. Il fournit des preuves empiriques que $Z_\phi$ n'offre presque aucun bénéfice pour le post-entraînement et introduit au contraire des défis d'optimisation inutiles.
Algorithme GFlowRL : La proposition d'un algorithme rationalisé qui remplace le réseau de partition appris par une estimation de Monte Carlo par lot. Cela supprime le réseau auxiliaire et sa surcharge de calcul distribué tout en conservant le point fixe de l'objectif d'équilibre de trajectoire.
Mise à l'échelle Stable : Démonstration d'un entraînement stable sur des architectures denses et éparses (MoE), incluant les régimes où les méthodes précédentes (FlowRL) divergent.

Résultats Expérimentaux

Les auteurs évaluent GFlowRL sur des benchmarks de raisonnement mathématique, de programmation compétitive et de red-teaming adversaire, utilisant des modèles allant de 7B à 235B de paramètres.

Raisonnement Mathématique : Sur le modèle dense de 7B, GFlowRL atteint une précision moyenne de 40,92, surpassant GRPO (32,48) et FlowRL (35,63). Il surpasse également FlowRL sur le modèle de 32B.
Génération de Code : À l'échelle 14B, GFlowRL atteint un classement Codeforces de 2048, dépassant DeepCoder-14B (+112 Elo), FlowRL-14B (+144 Elo) et OpenAI o1 (+157 Elo). Il se situe à 25 Elo de o3-mini.
Red-Teaming Adversaire : Dans les régimes de récompenses bruitées où FlowRL échoue à converger, GFlowRL s'entraîne de manière stable. Il atteint le taux de succès d'attaque moyen (ASR@1) le plus élevé sur AdvBench (82,5 %) et HarmBench (79,5 %), surpassant l'état de l'art précédent pour l'attaquant multi-tours (SEMA).
Mise à l'échelle MoE : GFlowRL s'entraîne avec succès sur Qwen3-30B-A3B (3B paramètres actifs) et Qwen3-235B-A22B (22B paramètres actifs). Sur le modèle 30B, il atteint 1999 Elo Codeforces. En revanche, FlowRL diverge sur tous les benchmarks MoE testés.
Diversité : GFlowRL atteint un score de diversité de 3,93 (sur une échelle de 1 à 5), nettement supérieur à GRPO (1,21) et FlowRL (2,64), confirmant sa capacité à maintenir des chemins de raisonnement diversifiés.

Signification et Revendications

L'article affirme que GFlowRL est le premier algorithme de RL de type GFlowNet capable de passer à l'échelle de manière stable sur des architectures denses et éparses pour les grands modèles de raisonnement.

Les auteurs soutiennent que le goulot d'étranglement de la mise à l'échelle pour le RL de type GFlowNet n'est pas l'objectif d'équilibre de trajectoire lui-même, mais la fonction de partition apprise. En remplaçant ce composant par un estimateur simple, non appris, dérivé du groupe de déroulement, GFlowRL obtient les avantages de l'appariement de distribution (diversité, robustesse) sans la surcharge d'ingénierie et l'instabilité des réseaux auxiliaires. Cela suggère que la mise à l'échelle du RL de type GFlowNet vers les modèles de pointe dépend moins de l'ajout de mécanismes complexes que de l'identification et de la suppression de composants inutiles de l'objectif original.