🤖 machine learning

Parameter Exploration for RLVR via Variational Learning

Cet article introduit la Perturbed Parameter Policy Optimization (3PO), une méthode qui améliore l'apprentissage par renforcement pour les LLM en explorant l'espace des paramètres pour générer des politiques diverses, améliorant ainsi la performance en aval et la stabilité de l'entraînement par rapport aux techniques standards d'exploration de l'espace d'action comme GRPO.

Auteurs originaux : Vatsal Venkatkrishna, Nico Daheim, Iryna Gurevych

Publié 2026-08-11

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Vatsal Venkatkrishna, Nico Daheim, Iryna Gurevych

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez d'apprendre à un robot super intelligent comment résoudre un casse-tête difficile, comme un problème de mathématiques complexe ou l'écriture d'un morceau de code. Vous ne pouvez pas simplement vous asseoir là et lui donner la réponse ; au lieu de cela, vous le laissez essayer, et s'il réussit, vous lui donnez un "high-five" (une récompense). S'il se trompe, vous lui dites doucement : "Réessaie". C'est ce qu'on appelle l'Apprentissage par Renforcement (Reinforcement Learning). La partie délicate est que le robot doit découvrir par lui-même comment obtenir ce "high-five". Parfois, il reste coincé dans une routine, répétant les mêmes erreurs encore et encore parce qu'il a trop peur d'essayer quelque chose de nouveau. Pour corriger cela, les scientifiques essaient généralement de rendre le robot un peu plus "chaotique" ou "aléatoire" lorsqu'il réfléchit, en espérant qu'il tombe par hasard sur une solution brillante.

Pendant longtemps, la méthode standard pour ajouter ce chaos a consisté à ajuster la "température" du robot. Voyez cela comme si l'on augmentait le volume des parasites sur une radio : cela rend les choix du robot un peu plus imprévisibles, mais cela ne change pas réellement ce qu'il sait ou la façon dont il réfléchit ; cela change juste légèrement l'ordre de ses suppositions. C'est comme dire à un chef de jeter plus d'épices dans une soupe sans changer la recette elle-même. Le problème est que, parfois, la soupe a toujours un goût horrible, et le robot continue de faire les mêmes mauvaises suppositions, juste dans un ordre différent. Cette étude explore une idée différente, plus radicale : et si nous ne nous contentions pas de mélanger les épices, mais que nous modifiions réellement le cerveau du chef ? Et si nous donnions au robot un léger "brouillard cérébral" temporaire ou un léger "changement de personnalité" pour chaque tentative ? Cela permettrait au robot d'explorer des manières de penser entièrement nouvelles, et pas seulement de nouvelles façons de deviner.

Les chercheurs derrière cette étude, Vatsal Venkatkrishna, Nico Daheim et Iryna Gurevych, ont décidé de tester cette idée de "modification du cerveau" sur des modèles de langage de grande taille (ceux qui écrivent du texte et résolvent des problèmes). Ils appellent leur nouvelle famille de méthodes 3PO (Perturbed Parameter Policy Optimization). Au lieu de rendre simplement les suppositions du robot aléatoires (exploration de l'espace des actions), ils ajoutent réellement un peu de bruit aux poids internes du robot (exploration de l'espace des paramètres). Imaginez que vous avez une équipe de 16 chefs essayant de résoudre un casse-tête. L'ancienne méthode (appelée GRPO) consisterait à faire en sorte que les 16 chefs utilisent exactement le même livre de recettes, en faisant juste des suppositions aléatoires. Si tous échouent, toute l'équipe est bloquée.

L'équipe 3PO a essayé trois manières de bousculer les choses. Premièrement, B3PO revient à donner à toute l'équipe une version légèrement différente et embrumée du livre de recettes pour toute la manche. Deuxièmement, M3PO revient à faire essayer à l'équipe quatre versions différentes et embrumées du livre, l'une après l'autre, et à en moyenner les résultats. Mais la véritable star est C3PO. Dans C3PO, l'équipe est divisée. Au lieu que tout le monde utilise le même livre, on divise les 16 chefs en petits groupes, et chaque groupe reçoit une version complètement différente et embrumée du livre de recettes. Cela signifie que l'équipe explore de nombreux "univers" de solutions en même temps.

Les résultats ont été très prometteurs. Lorsqu'ils ont testé ces méthodes sur des problèmes mathématiques difficiles (comme la compétition AIME) et des défis de codage, la méthode C3PO a systématiquement surpassé les méthodes standards. L'étude suggère qu'en utilisant ces différentes versions "embrumées" du modèle, l'équipe a pu trouver des réponses correctes que la méthode standard a manquées. Plus précisément, C3PO a réussi à "sauver" davantage de groupes de tentatives qui auraient autrement été des impasses (où chaque tentative obtenait la même mauvaise réponse). Elle a également produit moins de réponses "malformées" — ces réponses bizarres ou cassées où le robot se contente de répéter du non-sens.

Il est intéressant de noter que l'article soutient que rendre simplement le robot plus aléatoire (comme augmenter la température) ne suffit pas. En fait, ils ont découvert que rendre le robot trop aléatoire menait souvent à davantage de réponses sans valeur. La clé était la structure de l'exploration : avoir plusieurs versions différentes du modèle travaillant ensemble dans le même groupe. Bien que l'article ne prétende pas que c'est une solution miracle qui résout tout, il suggère fortement que modifier les paramètres internes du modèle est un outil puissant. C'est comme réaliser que pour trouver un trésor caché, il ne suffit pas de marcher dans des directions aléatoires ; il faut envoyer toute une équipe d'explorateurs, chacun avec une carte légèrement différente, pour couvrir plus de terrain. Les chercheurs ont constaté que cette approche fonctionne bien sans nécessiter beaucoup plus de puissance de calcul, ce qui en fait une mise à niveau pratique pour entraîner des IA plus intelligentes.

Résumé Technique : Optimisation de la Politique par Perturbation de Paramètres (3PO) pour le RLVR

Énoncé du Problème

L'apprentissage par renforcement avec récompenses vérifiables (RLVR - Reinforcement Learning with Verifiable Rewards) est un paradigme de post-entraînement prééminent pour améliorer les capacités de raisonnement des grands modèles de langage (LLM) sans dépendre de démonstrations humaines. Cependant, les algorithmes de RLVR actuels, en particulier l'optimisation de la politique par groupe relatif (GRPO - Group Relative Policy Optimization), font face à des défis importants liés au compromis exploration-exploitation.

La limitation principale réside dans l'exploration de l'espace d'action. Les méthodes standards contrôlent l'exploration en ajustant la température softmax lors de la génération de jetons. Comme l'illustre l'article, la mise à l'échelle de la température modifie uniquement la variance de la distribution des jetons tout en préservant l'ordre relatif des jetons. Cela restreint le modèle à explorer des trajectoires au sein de la même « forme » de l'espace de solution, échouant souvent à découvrir de nouveaux chemins à haute récompense qui ont une probabilité initiale faible. Par conséquent, cela conduit à :

Effondrement prématuré de l'entropie : La politique devient excessivement déterministe, générant des déploiements homogènes.
Groupes à avantage nul : Dans GRPO, si les $G$ déploiements pour un prompt reçoivent tous la même récompense (par exemple, tous corrects ou tous incorrects), le signal d'avantage devient nul, stoppant l'apprentissage.
Dégénérescence : L'exploration de l'espace d'action à haute température conduit souvent à des sorties malformées ou incorrectes (par exemple, répétition de jetons) plutôt qu'à des solutions alternatives valides.

Les solutions existantes comme la régularisation de l'entropie ou le façonnage de l'avantage visent à stabiliser l'entraînement mais ne modifient pas fondamentalement les paramètres du générateur pour permettre une exploration plus profonde.

Méthodologie : Optimisation de la Politique par Perturbation de Paramètres (3PO)

Les auteurs proposent l'Optimisation de la Politique par Perturbation de Paramètres (3PO), une famille de méthodes qui déplace l'axe d'exploration de l'espace d'action (jetons) vers l'espace des paramètres (poids). Au lieu de simplement réordonner les jetons, 3PO échantillonne différentes politiques à partir d'une distribution postérieure approximative pendant la phase de génération des déploiements.

Mécanisme Central

La méthode utilise l'apprentissage variationnel, spécifiquement l'optimiseur IVON (Iterative Variational Online Newton), pour apprendre une distribution sur les paramètres du réseau de neurones $\theta$ .

Échantillonnage de la distribution postérieure : À chaque étape d'entraînement, les paramètres du modèle sont perturbés en ajoutant un bruit appris : $\hat{\theta} = m + \sigma \odot z$ , où $z \sim \mathcal{N}(0, I)$ .
Contrôle du bruit :age La variance $\sigma$ est inversement proportionnelle à la diagonale de la Hessienne $h$ et à un facteur d'échelle $\lambda$ (Taille d'Échantillon Effective, ESS). Un $\lambda$ plus petit augmente le bruit, favorisant l'exploration, tandis qu'un $\lambda$ plus grand réduit le bruit, se concentrant sur l'exploitation.
Orthogonalité : Cette approche est compatible avec les techniques existantes de l'espace d'action (par exemple, mise à l'échelle de la température, régularisation de l'entropie) car elle opère sur un axe différent.

Trois Variantes de 3PO

L'article introduit trois stratégies pour intégrer le bruit de paramètre dans le cadre GRPO :

B3PO (Batched Noising - Bruit par lots) :
- Échantillonne une unique perturbation de poids $\hat{\theta}$ par étape de gradient.
- Ce modèle perturbé unique génère tous les déploiements pour le lot.
- Limitation : Similaire au GRPO standard, si la politique échantillonnée est médiocre, l'ensemble du lot manquera de diversité.
M3PO (Multiple Monte-Carlo Samples - Échantillons de Monte-Carlo multiples) :
- Échantillonne $M$ perturbations de poids distinctes de la distribution postérieure.
- Génère des déploiements pour chaque perturbation et accumule la perte GRPO sur l'ensemble des $M$ échantillons avant d'effectuer une mise à jour unique des poids.
- Compromis : Pour maintenir un coût de calcul égal, la taille du groupe $G$ est réduite par perturbation ( $G/M$ ), ce qui peut limiter la diversité au sein des groupes d'avantage individuels.
C3PO (Chunked Noising - Bruit par blocs) :
- Échantillonne $N$ perturbations de poids distinctes par lot.
- Le groupe total de $G$ déploiements est partitionné entre ces $N$ modèles (par exemple, $G/N$ déploiements par modèle).
- Les avantages sont calculés sur le groupe complet de $G$ réponses, qui inclut désormais des trajectoires provenant de $N$ configurations de paramètres différentes.
- Objectif : Maximise la diversité du groupe en s'assurant que le calcul de l'avantage exploite plusieurs configurations de paramètres distinctes, répondant directement au problème de l'avantage nul.

Contributions Clés

Exploration de l'espace des paramètres pour les LLM : L'article établit que la perturbation des poids du modèle (plutôt que seulement les probabilités de jetons) est un mécanisme efficace pour le RLVR, permettant aux modèles d'explorer des régions différentes de l'espace de solution que le bruit de l'espace d'action ne peut atteindre.
Le Cadre 3PO : L'introduction de B3PO, M3PO et C3PO, avec un accent particulier sur C3PO comme stratégie la plus efficace pour maximiser la diversité du groupe sans augmenter le coût de calcul.
Validation Empirique : Expérimentations approfondies sur OLMo-3-1025-7B et Qwen2.5-Math-7B à travers des tâches de raisonnement mathématique (AIME, MATH-500, AMC) et de génération de code (LiveCodeBench).
Analyse des Groupes à Avantage Nul : Démonstration que l'exploration de l'espace des paramètres réduit considérablement la fréquence des groupes à avantage nul et des déploiements malformés par rapport aux bases de référence de l'espace d'action.

Résultats Expérimentaux

Gains de Performance : Les variantes de 3PO surpassent systématiquement le GRPO standard et les bases de référence de l'espace d'action (Régularisation de l'Entropie, Polaris, KLCov).
- C3PO a obtenu la meilleure performance moyenne sur les deux familles de modèles.
- Les gains sont plus prononcés sur les benchmarks plus difficiles (ex: AIME 2024–26, LiveCodeBench), où les modèles pré-RL sont moins capables et plus enclins à générer des déploiements invalides.
- Sur Qwen2.5-Math, C3PO a amélioré le Pass@1 moyen d'environ 1,5 % par rapport au GRPO standard, avec des gains spécifiques allant jusqu'à 5,83 % sur les tâches AIME.
Qualité de l'Exploration :
- Sauvetage des Groupes Morts : Les méthodes 3PO, particulièrement C3PO et M3PO, ont systématiquement « sauvé » plus de groupes à avantage nul (produisant au moins un déploiement correct là où GRPO n'en produisait aucun) que les bases de référence de l'espace d'action.
- Réduction de la Dégénérescence : Contrairement aux méthodes basées sur la température (Polaris) qui produisent souvent des sorties malformées, et à la Régularisation de l'Entropie qui produit des sorties incorrectes mais bien formées, 3PO a produit moins de déploiements malformés et incorrects tout en maintenant une haute diversité.
Sensibilité aux Hyperparamètres :
- Le facteur d'échelle ESS $\lambda$ est critique. $\lambda = 10^9$ a été trouvé comme une valeur par défaut robuste. $\lambda = 10^8$ (trop de bruit) a provoqué un effondrement de l'entraînement, tandis que $\lambda = 10^{10}$ (trop peu de bruit) a plafonné la performance.
- C3PO bénéficie de $N \ge 2$ perturbations, $N=4$ montrant des résultats solides.
- M3PO bénéficie de la suppression de la contrainte d'« égalité de calcul » ; lorsqu'il est autorisé à utiliser des tailles de groupe complètes avec plusieurs échantillons, la performance s'améliore considérablement.

Signification et Revendications

L'article soutient que l'exploration de l'espace des paramètres fournit un levier de contrôle nécessaire et complémentaire pour le RLVR que les méthodes de l'espace d'action n'ont pas. En apprenant une distribution postérieure approximative sur les poids, le modèle peut injecter de manière adaptative du bruit pour explorer des altérations prometteuses des distributions de jetons qui sont structurellement différentes de la politique actuelle.

Les auteurs affirment que :

La Diversité est la Clé : Le principal moteur du succès est l'augmentation de la diversité au sein des groupes GRPO, ce qui empêche la stagnation causée par les groupes à avantage nul.
Efficacité : 3PO atteint ces améliorations avec un coût en FLOPs quasi identique au GRPO standard (spécifiquement C3PO), ce qui en fait un remplacement pratique et direct.
Généralisabilité : La méthode ne nécessite pas de priorité de bruit apprise d'une phase SFT spécifique ; l'initialisation de la Hessienne avec une valeur constante permet à la méthode de fonctionner efficacement sur des checkpoints prêts à l'emploi.

L'étude conclut que si l'exploration de l'espace des paramètres a une histoire dans le RL classique, son application aux LLM via l'apprentissage variationnel (3PO) offre une solution robuste aux goulots d'étranglement de l'exploration qui limitent actuellement les performances du RLVR, particulièrement sur les tâches complexes de raisonnement et de codage.