💬 NLP

Beyond Normalization: Rethinking the Partition Function as a Difficulty Scheduler for RLVR

Ce papier présente PACED-RL, un cadre d'après-entraînement qui réinterprète la fonction de partition des GFlowNets comme un signal de précision par invite pour hiérarchiser les invites informatives et optimiser la répétition, améliorant ainsi considérablement l'efficacité d'échantillonnage et les performances de raisonnement des LLM sans engendrer de surcharge computationnelle supplémentaire.

Auteurs originaux : Dohyung Kim, Minbeom Kim, Jeonghye Kim, Sangmook Lee, Sojeong Rhee, Kyomin Jung

Publié 2026-05-29

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Dohyung Kim, Minbeom Kim, Jeonghye Kim, Sangmook Lee, Sojeong Rhee, Kyomin Jung

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous enseignez à un étudiant brillant mais très littéral (l'IA) comment résoudre des énigmes complexes, comme des problèmes de mathématiques ou des défis de programmation. Vous voulez qu'il améliore son raisonnement, mais vous souhaitez également qu'il préserve sa créativité et ne se contente pas de mémoriser une seule méthode pour tout résoudre.

Ce papier présente une nouvelle méthode d'enseignement appelée PACED-RL. Pour comprendre son fonctionnement, examinons les problèmes des méthodes actuelles et comment cette nouvelle approche les résout grâce à une astuce ingénieuse.

Le Problème : L'Étudiant « Trop Confiant »

Les méthodes d'enseignement actuelles (comme PPO ou GRPO) ressemblent à un sergent instructeur strict. Ils disent à l'étudiant : « Si tu trouves la bonne réponse, c'est tant mieux ! Si tu te trompes, essaie plus fort la prochaine fois. »

Le Résultat : L'étudiant devient très bon pour trouver la bonne réponse, mais il devient rigide. Il cesse d'essayer différentes approches et ne produit que la seule chose qu'il juge « sûre ». Il perd sa diversité de pensée.

La Solution Précédente : La Méthode « Flow »

Récemment, des chercheurs ont essayé une méthode appelée GFlowNets. Au lieu de simplement poursuivre le score le plus élevé, cette méthode tente d'enseigner à l'étudiant à correspondre à une « distribution idéale » spécifique de réponses. C'est comme dire : « Ne trouve pas seulement la seule bonne réponse ; trouve toutes les réponses possibles dans les bonnes proportions. »

L'Écueil : Pour que cela fonctionne, le système doit calculer un nombre complexe appelé Fonction de Partition. Jusqu'à présent, tout le monde traitait ce nombre comme un bouton de calculatrice ennuyeux — quelque chose que vous devez appuyer pour que les mathématiques fonctionnent, mais dont vous jetez immédiatement le résultat.

La Grande Idée : La Fonction de Partition est un « Jauge de Difficulté »

Les auteurs de ce papier ont eu un moment « Eureka ! ». Ils ont réalisé que ce nombre « ennuyeux » (la Fonction de Partition) détient en réalité un secret : il vous indique exactement à quel point une question spécifique est difficile pour l'étudiant à cet instant précis.

Considérez la Fonction de Partition non pas comme une calculatrice, mais comme un Planificateur de Difficulté.

Si le nombre est élevé, la question est facile pour l'étudiant.
Si le nombre est faible, la question est trop difficile.
Si le nombre est intermédiaire, la question est « juste ce qu'il faut » (le point idéal pour l'apprentissage).

Comment PACED-RL Fonctionne : Le Tuteur Intelligent

Au lieu de jeter cette « Jauge de Difficulté », PACED-RL l'utilise pour mener une session de tutorat ultra-intelligente. Il fait deux choses principales :

1. Choisir les Questions « Juste Comme Il Faut » (Sélection Adaptative des Prompts)
Imaginez un enseignant avec une pile de 10 000 exercices pratiques.

Ancienne Méthode : L'enseignant choisit les questions au hasard. Certaines sont trop faciles (l'étudiant s'ennuie), et d'autres sont trop difficiles (l'étudiant abandonne).
Méthode PACED-RL : L'enseignant consulte la « Jauge de Difficulté » pour chaque question. Il ne choisit que celles qui ont 50 % de chances d'être résolues correctement.
- Pourquoi ? C'est la « zone Goldilocks ». Ni trop facile, ni trop difficile. C'est le défi parfait où l'étudiant apprend le plus.
- La Magie : L'enseignant obtient cette information gratuitement ! Il n'a pas besoin de demander à l'étudiant de résoudre les problèmes d'abord pour connaître la difficulté ; la « Jauge » (Fonction de Partition) le lui a déjà indiqué pendant le processus d'entraînement.

2. La Session « Révision des Erreurs » (Rejeu Prioritaire)
Lorsque l'étudiant fait une hypothèse, le système vérifie : « Notre Jauge de Difficulté a-t-elle prédit cela correctement ? »

Si la Jauge disait « C'est facile » mais que l'étudiant s'est trompé, c'est une grande surprise.
Si la Jauge disait « C'est difficile » mais que l'étudiant a trouvé juste, c'est aussi une surprise.
PACED-RL sauvegarde ces moments de « surprise » dans un carnet spécial (Tampon de Rejeu). Plus tard, il réexamine ces cas spécifiques car ils sont les plus précieux pour corriger la compréhension de l'étudiant.

Les Résultats : Plus Rapide et Plus Intelligent

Le papier a testé cela sur des tâches de mathématiques et de programmation. Voici ce qui s'est produit :

Vitesse : Parce que PACED-RL se concentre uniquement sur les questions les plus utiles, il apprend beaucoup plus vite. Dans certains tests, il a atteint le même niveau de performance en moins de la moitié du temps par rapport aux autres méthodes.
Créativité : Contrairement aux méthodes de « sergent instructeur » qui rendaient l'étudiant rigide, PACED-RL a préservé la capacité de l'étudiant à trouver des solutions diverses. Il n'a pas appris une seule façon de résoudre un problème ; il en a appris plusieurs.
Efficacité : Il n'avait pas besoin d'ordinateurs supplémentaires ou de temps supplémentaire pour déterminer quelles questions choisir. Il utilisait les informations qu'il générait déjà.

Analogie de Résumé

Imaginez vous entraîner pour un marathon.

Ancienne Méthode : Vous courez les mêmes 10 miles tous les jours, peu importe comment vous vous sentez.
GFlowNets (Précédent) : Vous essayez de courir un mélange spécifique de collines et de terrains plats, mais vous ne savez pas quel mélange est le meilleur pour aujourd'hui.
PACED-RL : Vous avez un entraîneur intelligent qui regarde votre fréquence cardiaque et votre niveau de fatigue (la Fonction de Partition) en temps réel. L'entraîneur dit : « Aujourd'hui, ne courez pas la route plate facile (ennuyeuse) ni la montagne raide (trop difficile). Courons la colline qui est juste assez difficile pour vous rendre plus fort. »

En utilisant la « Jauge de Difficulté » qui était déjà là, PACED-RL entraîne l'IA à être plus intelligente, plus rapide et plus créative sans gaspiller de temps ni d'énergie.

Résumé Technique : Au-delà de la Normalisation : Repenser la Fonction de Partition comme Ordonnanceur de Difficulté pour RLVR

Énoncé du Problème
L'apprentissage par renforcement avec récompenses vérifiables (RLVR) s'est avéré efficace pour améliorer les capacités de raisonnement des grands modèles de langage (LLM). Cependant, les méthodes standard de maximisation de la récompense, telles que PPO et GRPO, conduisent souvent à des distributions de sortie excessivement aiguisées, réduisant la diversité de génération. Bien que les approches récentes utilisant les GFlowNets traitent ce problème en entraînant des politiques à correspondre à une distribution cible induite par la récompense, elles considèrent généralement la fonction de partition apprise ( $Z$ ) uniquement comme une constante de normalisation requise pour la stabilité de l'entraînement. Cet article soutient que cette perspective sous-exploite l'information encodée dans $Z$ , manquant une opportunité d'améliorer l'efficacité des échantillons sans engendrer de coûts computationnels supplémentaires.

Méthodologie : PACED-RL
Les auteurs proposent PACED-RL (Partition Function-Guided RL), un cadre d'entraînement post-hoc qui réinterprète la fonction de partition du GFlowNet non seulement comme un normalisateur, mais comme un signal de précision en ligne par invite. La méthodologie se compose de trois composants principaux :

Réinterprétation Théorique de la Fonction de Partition :
L'article établit un lien théorique entre la fonction de partition optimale $Z^*(x)$ et la précision en ligne $p_{old}(x)$ d'une invite de question $x$ sous la politique pré-mise à jour. En modifiant la perte d'Équilibre de Trajectoire (TB) pour ancrer la divergence KL à la politique actuelle ( $\pi_{old}$ ) plutôt qu'à un modèle de référence fixe, les auteurs déduisent que $Z^*(x)$ encode directement des informations de précision. Plus précisément, $p_{old}(x) \approx \beta \log Z^*(x)$ , où le terme de divergence KL s'est révélé empiriquement négligeable durant les dynamiques d'entraînement standard. Cela permet à la fonction de partition, déjà apprise pour la normalisation, de servir d'estimateur de précision en ligne gratuit.
Sélection Adaptative des Invites :
Tirant parti des estimations de précision dérivées de $Z_\phi(x)$ , PACED-RL met en œuvre une stratégie de sélection d'invites sensible à la difficulté. Au lieu d'échantillonner les invites uniformément, la méthode sélectionne de manière gourmande les $m$ meilleures invites dont les précisions estimées sont les plus proches d'une valeur cible $\tau$ (généralement 0,5). Cela concentre l'entraînement sur des échantillons de « difficulté intermédiaire », qui, selon les travaux antérieurs, offrent les signaux d'apprentissage les plus informatifs, maximisant ainsi l'efficacité des échantillons.
Rejeu Priorisé par l'Erreur d'Estimation de Précision :
Pour améliorer davantage l'efficacité et calibrer la fonction de partition, le cadre introduit un mécanisme de rejeu. Un tampon stocke des paires invite-sortie avec des récompenses correctes ( $r=1$ ). Au sein de ce tampon, les échantillons sont prioritaires en fonction de l'ampleur de leur erreur d'estimation de précision : $| \frac{N_{correct}}{N} - \hat{p}_{old}(x) |$ . Cela garantit que le modèle revisite les échantillons où la prédiction de la fonction de partition diverge le plus de la réalité observée, affinant ainsi les estimations de précision et la normalisation de la distribution cible.

Crucialement, tant la sélection d'invites que la priorisation du rejeu réutilisent les informations générées durant l'entraînement standard des GFlowNets, amortissant la surcharge computationnelle dans le processus d'optimisation existant.

Contributions Clés

Insight Théorique : L'article démontre que la fonction de partition du GFlowNet pour l'entraînement post-hoc des LLM est intrinsèquement liée aux précisions en ligne, permettant son utilisation directe comme estimateur de précision sans mécanismes auxiliaires.
Cadre PACED-RL : L'introduction d'un nouveau cadre d'entraînement qui utilise ces estimations de précision pour la sélection adaptative des invites et le rejeu priorisé par l'erreur, améliorant l'efficacité des échantillons tout en préservant les bénéfices de diversité des GFlowNets.
Validation Empirique : Des évaluations approfondies sur des benchmarks de raisonnement mathématique et de génération de code montrent que PACED-RL réalise des gains de performance significatifs par rapport à des bases solides (GRPO, FlowRL) et à des méthodes d'échantillonnage adaptatif (DS, LILO, MoPPS), sans la surcharge computationnelle associée au sur-échantillonnage.

Résultats Expérimentaux
Les expériences ont été menées sur la génération de code (jeu de données DeepCoder, DeepSeek-R1-Distill-Qwen-1.5B) et le raisonnement mathématique (jeu de données DeepScaleR, Qwen2.5-Math-1.5B/7B).

Gains de Performance : Sur le benchmark AIME 24, PACED-RL a amélioré la performance moyenne pass@1 de 29,1 % par rapport à GRPO et de 40,0 % par rapport à FlowRL en utilisant le modèle Qwen2.5-Math-7B.
Efficacité des Échantillons : PACED-RL a atteint les meilleures performances de GRPO et FlowRL en nettement moins de temps (par exemple, 0,42× le temps d'entraînement sur LiveCodeBench). Contrairement aux méthodes nécessitant un sur-échantillonnage (DS, LILO), PACED-RL a maintenu un ratio de déploiement de 1,0× par rapport à l'entraînement standard, évitant les pénalités de latence associées à la génération d'échantillons supplémentaires pour l'estimation de précision.
Diversité : Mesurée via les métriques pass@k, PACED-RL a constamment surpassé les bases, montrant des améliorations allant jusqu'à 14,2 % par rapport à GRPO et 9,1 % par rapport à FlowRL, confirmant que la méthode préserve la diversité de sortie et la capacité d'exploration.
Études d'Ablation : Les auteurs ont vérifié que l'omission du terme de divergence KL dans l'estimateur de précision a un impact négligeable sur les dynamiques d'échantillonnage tout en économisant une computation significative. Ils ont également montré que la méthode déplace naturellement l'entraînement vers des questions plus difficiles à mesure que le modèle s'améliore, empêchant l'effondrement vers un sous-ensemble étroit de données.

Signification et Revendications
L'article revendique que PACED-RL offre une « manière fondée et pratique » d'améliorer l'entraînement par correspondance de distribution pour les LLM. En réinterprétant la fonction de partition comme un signal de précision en ligne, la méthode permet un entraînement plus efficace en termes d'échantillons sans la charge computationnelle d'estimateurs de précision auxiliaires ou de génération excessive de déploiements. Les auteurs positionnent ce travail comme une étape vers un entraînement post-hoc RLVR plus efficace, suggérant que le rôle de la fonction de partition s'étend au-delà de la normalisation pour agir comme un ordonnanceur de difficulté dynamique. Des travaux futurs sont suggérés pour explorer des stratégies au moment de l'inférence (par exemple, la cohérence self-adaptative) et pour étendre le cadre à des paramètres de GFlowNet asynchrones.