💬 NLP

Enhanced LLM Reasoning by Optimizing Reward Functions with Search-Driven Reinforcement Learning

Ce papier propose un cadre d'apprentissage par renforcement piloté par la recherche qui optimise itérativement les spécifications de fonctions de récompense grâce à une génération automatisée, une validation et un filtrage basé sur GRPO, démontrant qu'une boucle de rétroaction classée améliore significativement les performances en raisonnement mathématique sur GSM8K par rapport à des ensembles de récompenses statiques ou aléatoires.

Auteurs originaux : Arash Ahmadi (Mike), Sarah Sharif (Mike), Yaser (Mike), Banad

Publié 2026-05-05

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Arash Ahmadi (Mike), Sarah Sharif (Mike), Yaser (Mike), Banad

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous avez un étudiant très intelligent (un Grand Modèle de Langage) qui est excellent pour parler mais qui éprouve parfois des difficultés avec les mathématiques. Vous voulez lui apprendre à mieux résoudre des problèmes mathématiques. Habituellement, vous embaucheriez un enseignant pour corriger ses devoirs. Mais dans cet article, les auteurs posent une question différente : "Et si nous ne savions pas exactement comment corriger les devoirs parfaitement ? Et si nous laissions une IA nous aider à inventer les meilleures règles de notation ?"

Voici l'histoire de la manière dont ils l'ont fait, expliquée simplement.

1. Le Problème : Le Mystère de la "Grille de Notation"

Dans le monde de l'IA, pour enseigner à un modèle à mieux penser, vous utilisez un système appelé Apprentissage par Renforcement. Pensez-y comme à l'éducation d'un chien.

Le Chien : Le modèle d'IA.
La Friandise : Une "récompense" (un score positif).
Le Tour : Résoudre correctement un problème mathématique.

Le problème est que concevoir la "friandise" (la fonction de récompense) est difficile. Si vous dites à l'IA : "Bien joué si tu trouves la bonne réponse", elle pourrait tricher en devinant ou en copiant des modèles sans réellement réfléchir. Si vous essayez de récompenser les étapes qu'elle suit, vous devez écrire des règles complexes, et il est facile de faire une erreur dans ces règles.

2. La Solution : L'"Usine de Règles de Notation"

Les auteurs ont construit un système qui traite les règles de notation elles-mêmes comme quelque chose à optimiser. Ils n'ont pas écrit les règles à la main ; ils ont mis en place une usine où une IA (un modèle de "frontière" nommé Kimi K2) agit comme un Inventeur de Règles.

Voici comment l'usine fonctionne, étape par étape :

Round 1 : L'IA Inventeur de Règles reçoit 20 problèmes mathématiques et se voit demander d'écrire 10 nouvelles façons de les noter. Elle écrit ces règles sous forme de code informatique simple (comme une recette).
Le Contrôle de Sécurité : Avant que ces règles ne soient utilisées, elles passent par un "scanner de sécurité" pour s'assurer qu'elles ne sont ni dangereuses ni défectueuses.
L'Essai : Les chercheurs prennent un petit étudiant en mathématiques (un modèle d'IA de 3 milliards de paramètres) et le laissent s'entraîner à résoudre des problèmes en utilisant l'une de ces nouvelles règles pendant un court moment (500 étapes).
La Fiche de Notes : Ils voient comment l'étudiant s'est débrouillé lors d'un test. Si la nouvelle règle a aidé l'étudiant à obtenir de meilleurs scores, la règle obtient un classement élevé. Si la règle a confondu l'étudiant, elle obtient un classement bas.
La Boucle de Rétroaction : Les règles les plus performantes sont résumées et renvoyées à l'IA Inventeur de Règles. L'IA se voit dire : "Hé, les règles qui comptaient le nombre d'étapes de réflexion ont bien fonctionné. Les règles qui regardaient uniquement la réponse finale n'ont pas fonctionné aussi bien. Essayez d'inventer de nouvelles règles sur cette base."

Ils ont répété ce cycle 5 fois, générant 50 règles candidates différentes.

3. Les Résultats : Trouver les "Règles d'Or"

Après 5 tours, ils ont trouvé des gagnants.

La Meilleure Règle Unique : Une règle, appelée thinking_steps_count, était une championne. Elle accordait des points supplémentaires si l'IA écrivait son processus de réflexion en au moins trois lignes distinctes. Elle ne vérifiait pas si la réponse était juste (le système de base le faisait) ; elle encourageait simplement l'IA à montrer son travail.
La Puissance du Travail d'Équipe (Ensembles) : Ils ont réalisé qu'une seule règle ne suffit pas. Alors, ils ont pris les 5 meilleures règles et les ont combinées en une "équipe de sur-notation".
- Le Résultat : Cette équipe de règles a aidé l'IA à passer d'un taux de réussite de 60 % (en utilisant uniquement des règles de base) à un taux de réussite de 79,5 %.
- Le Test "Magique" : Pour prouver qu'il ne s'agissait pas seulement de chance ou du grand nombre de règles, ils ont essayé une "équipe aléatoire" de 5 règles choisies dans le tas. Cette équipe aléatoire a échoué, l'IA échouant presque à tout. Cela a prouvé que la boucle de rétroaction (apprendre quelles règles fonctionnaient et les renvoyer à l'inventeur) était l'ingrédient secret, et non pas simplement d'avoir plus de règles.

4. L'IA a-t-elle triché ? (L'Audit de "Piratage de Récompense")

Une crainte courante est que si vous dites à une IA "donne-moi plus de lignes de réflexion", elle remplira simplement la page de bêtises pour obtenir des points.

L'Audit : Les auteurs ont vérifié les réponses de l'IA. Ils ont constaté que lorsque l'IA trouvait la réponse juste, elle écrivait en réalité plus de lignes et utilisait plus de symboles mathématiques que lorsqu'elle se trompait.
La Conclusion : L'IA ne trichait pas en bourrant de l'espace vide ; elle réfléchissait vraiment plus dur parce que les règles l'y encourageaient.

5. Pourquoi Cela Compte

C'est Accessible : Vous n'avez pas besoin d'un supercalculateur. Ils ont fait tourner toute cette expérience sur une seule carte graphique haut de gamme grand public (comme celle que les joueurs utilisent) en environ 40 heures.
C'est Automatisé : Au lieu qu'un expert humain passe des semaines à deviner à quoi ressemble la grille de notation parfaite, ce système automatise la découverte de ces règles.
C'est Transparent : Les règles ne sont pas une boîte noire ; ce sont de simples codes Python que les humains peuvent lire, comprendre et ajuster.

En résumé : L'article montre que si vous laissez une IA vous aider à concevoir le système de notation pour une autre IA, et que vous continuez à affiner ces règles en fonction de la performance de l'étudiant, vous pouvez enseigner à l'étudiant à penser beaucoup mieux que si vous lui donniez simplement un ensemble statique de règles écrites par un humain.

Résumé Technique : Amélioration du Raisonnement des LLM par Optimisation des Fonctions de Récompense via un Apprentissage par Renforcement Piloté par la Recherche

Énoncé du Problème

Le raisonnement mathématique constitue une référence critique pour les Modèles de Langage à Grande Échelle (LLM), exigeant non seulement une génération de texte fluide, mais aussi une cohérence intermédiaire, la gestion des quantités et des réponses finales précises. Bien que l'Apprentissage par Renforcement (RL) soit devenu un mécanisme standard de post-entraînement pour aligner les LLM sur des comportements souhaités, son efficacité est hautement sensible à la conception de la fonction de récompense. Les approches actuelles reposent souvent sur une spécification manuelle et experte de la récompense, sujette aux erreurs, nécessitant d'importants essais et erreurs, et pouvant involontairement induire du « piratage de récompense » ou des comportements fragiles. De plus, la littérature existante traite largement la fonction de récompense comme une infrastructure fixe (par exemple, des règles conçues à la main ou des modèles de récompense entraînés) plutôt que comme un objet d'optimisation en soi. Cet article aborde la question de savoir si la spécification de récompense utilisée lors du post-entraînement par RL peut être systématiquement explorée et améliorée, en particulier dans un contexte où le modèle de base est maintenu fixe et où la fonction de récompense est la variable de conception principale.

Méthodologie

Les auteurs proposent un cadre piloté par la recherche qui traite la spécification de la fonction de récompense comme un problème d'optimisation itératif. Le pipeline opère sur cinq tours, générant et évaluant des fonctions de récompense candidates à l'aide d'un modèle de base fixe et d'un LLM de pointe en tant que générateur.

Composants Principaux

Modèle de Base et Configuration d'Entraînement :
- Modèle : Llama-3.2-3B-Instruct de Meta, affiné par Adaptation à Faible Rang (LoRA) avec un rang de 32.
- Algorithme : Optimisation de la Politique Relative par Groupes (GRPO), qui remplace le réseau critique séparé du PPO par une normalisation relative aux groupes des sorties échantillonnées, réduisant la surcharge mémoire et améliorant le raisonnement mathématique.
- Jeu de données : GSM8K (7 473 exemples d'entraînement, 1 319 exemples de test).
- Format de sortie : Sortie structurée avec des balises <thinking> et <solution> pour séparer le raisonnement de la réponse finale.
Récompenses de Base Fixes :
Trois récompenses de base protégées sont incluses dans chaque exécution d'entraînement et ne peuvent pas être remplacées par les candidats générés :
- match_format_exactly : Récompense l'appariement correct des balises <thinking> et <solution>.
- match_format_approximately : Fournit des signaux graduels pour la présence/absence des balises.
- check_answer : Évalue la réponse numérique extraite par rapport à la vérité terrain avec un système de notation à niveaux (correspondance exacte, normalisation, vérifications de ratio).
Boucle de Génération Pilotée par la Recherche :
- Générateur : Un LLM de pointe (Kimi K2) génère 10 fonctions de récompense candidates par tour (50 au total sur 5 tours).
- Prompting : Le générateur reçoit 20 exemples GSM8K aléatoires, une spécification de signature et un résumé classé des performances des tours précédents pour guider la génération et éviter la duplication sémantique.
- Validation : Les candidats subissent une validation en bac à sable en quatre étapes (vérification d'import AST, exécution verrouillée, espace de noms restreint et appel de sonde) pour garantir la sécurité et l'exécutabilité.
- Filtrage : Les candidats valides sont entraînés pendant 500 étapes GRPO sur la partition d'entraînement de GSM8K, en parallèle des trois récompenses de base.
- Classement : Les modèles sont évalués sur l'ensemble de test GSM8K en utilisant le score F1 (moyenne harmonique de la précision et du rappel) comme métrique de classement principale. Le résumé classé est renvoyé dans le tour de génération suivant.
Construction d'Ensemble :
Après la recherche, les récompenses les plus performantes sont combinées en ensembles. Sept configurations ont été testées, variant en taille (de 3 à 10 récompenses découvertes) et en stratégie de sélection (les mieux classées vs. basées sur la diversité à travers les tours). La récompense d'ensemble est la somme élément par élément des trois récompenses de base et des récompenses découvertes sélectionnées.

Contributions Clés

Formulation de la Recherche de Récompense : L'article formule la spécification de récompense pour le raisonnement des LLM comme une boucle itérative générer–valider–entraîner–classer sur du code Python exécutable, traitant la récompense elle-même comme un objet de recherche.
Intégration GRPO : Le cadre applique cette boucle de recherche spécifiquement sous GRPO, un optimiseur de politique efficace en calcul et pertinent pour le raisonnement, démontrant que la découverte de récompense est faisable dans les contraintes d'affinage efficace en paramètres.
Analyse d'Ensemble : L'étude examine si la combinaison de multiples récompenses découvertes produit des signaux plus forts que les récompenses individuelles, constatant que les ensembles de 5 récompenses ou plus surpassent significativement les récompenses uniques ou les configurations basées uniquement sur les récompenses de base.
Rigueur Empirique : L'article fournit une analyse complète incluant des intervalles de confiance par bootstrap, des tests de McNemar appariés avec correction de Bonferroni, et des audits spécifiques pour le piratage de récompense (par exemple, remplissage de lignes) et la conformité au format.

Résultats

Trajectoire de Recherche : Sur cinq tours, le score F1 moyen des récompenses générées a augmenté de 0,596 (Tour 1) à 0,632 (Tour 5). La meilleure récompense individuelle (thinking_steps_count) a atteint un F1 de 0,787.
Performance de l'Ensemble : La meilleure configuration d'ensemble (ens_diverse_rounds, combinant 3 récompenses de base + 5 récompenses découvertes diverses) a atteint un F1 de 0,795 et une précision de 0,660 (IC 95 % [0,635, 0,686]).
Signification Statistique : Les tests de McNemar appariés avec correction de Bonferroni ( $\alpha \approx 0,0024$ ) ont montré que tous les ensembles avec 5 récompenses découvertes ou plus étaient statistiquement indiscernables les uns des autres, mais significativement meilleurs que la référence basée uniquement sur les récompenses de base (F1 = 0,609) et les petits ensembles.
Expériences de Contrôle :
- Référence Aléatoire : Un ensemble de 5 récompenses tirées au hasard s'est effondré à un F1 de 0,047, démontrant que le gain est piloté par la boucle de rétroaction classée, et non simplement par le signal additif d'avoir plus de récompenses.
- Robustesse des Semences : Le réentraînement du meilleur ensemble avec trois semences différentes a produit des scores F1 de $0,785 \pm 0,013$ , confirmant que l'ordre qualitatif des résultats est robuste à la variance d'entraînement.
Audit de Piratage de Récompense : L'analyse de la meilleure récompense structurelle (thinking_steps_count) a montré que les réponses correctes contenaient naturellement plus de lignes de raisonnement et une densité arithmétique plus élevée que les réponses incorrectes, suggérant que le modèle n'exploitait pas la récompense via un remplissage de lignes vides.
Comparaison avec les Références : Le modèle Llama-3.2-3B entraîné par GRPO a surpassé cinq modèles hors rayon dans la plage de 2 à 4 milliards de paramètres (incluant des variantes Qwen et Phi) tant en précision stricte qu'en F1.

Importance et Revendications

L'article revendique que la spécification de récompense dans le post-entraînement par RL peut être traitée comme un objet fiablement explorable, automatisant un processus généralement dépendant de l'intuition humaine.

Accessibilité : L'ensemble du pipeline s'exécute sur une seule carte graphique grand public (NVIDIA RTX 5090) en environ 40 heures, rendant la découverte automatisée de récompenses accessible aux budgets académiques et aux petites industries.
Auditabilité : Contrairement aux modèles de récompense boîte noire, les récompenses découvertes sont du code Python lisible que les praticiens peuvent auditer, modifier et combiner.
Généralisabilité : Bien qu'évalué sur GSM8K, les auteurs postulent que la « recette » se transfère à d'autres domaines de raisonnement (par exemple, génération de code, résolution de problèmes scientifiques) et offre une alternative pratique à l'entraînement coûteux de modèles de récompense.
Modestie : Les auteurs déclarent explicitement que la contribution est méthodologique plutôt qu'une revendication d'un nouvel état de l'art sur GSM8K lui-même. La preuve principale est interne au pipeline : l'amélioration itérative des récompenses, l'effondrement des contrôles aléatoires et la robustesse de l'ordre des ensembles à travers les semences. L'article ne revendique pas que les récompenses découvertes sont universellement optimales, mais plutôt que le processus de recherche identifie efficacement des signaux structurels performants pour un modèle de base fixe.