💬 NLP

Are complicated loss functions necessary for teaching LLMs to reason?

Cette étude démontre que des approches REINFORCE simplifiées, telles que la méthode RGRA proposée qui élimine les contraintes de type PPO tout en conservant l'estimation de l'avantage relatif de groupe et le feedback négatif, peuvent surpasser GRPO pour améliorer le raisonnement des grands modèles de langage.

Auteurs originaux : Gabriele Carrino, Andrea Sassella, Nicolo Brunello, Federico Toschi, Mark James Carman

Publié 2026-03-20

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Gabriele Carrino, Andrea Sassella, Nicolo Brunello, Federico Toschi, Mark James Carman

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

🧠 Le Grand Débat : Faut-il une recette de cuisine compliquée pour apprendre à raisonner ?

Imaginez que vous essayez d'apprendre à un élève très intelligent (une Grande Langue, ou LLM) à résoudre des problèmes de mathématiques. Pour l'y aider, vous lui donnez des exercices et vous le félicitez quand il trouve la bonne réponse.

Récemment, les chercheurs ont découvert une méthode très populaire appelée GRPO. C'est un peu comme une recette de cuisine ultra-compliquée avec plein d'étapes précises :

On fait cuisiner l'élève plusieurs fois pour le même plat (plusieurs réponses).
On compare les résultats entre eux pour voir qui a fait le mieux (l'avantage relatif).
On utilise un système de freins et de garde-fous (le "clipping" PPO) pour s'assurer qu'il ne change pas trop brutalement de méthode.
On ajoute un régulateur (la régularisation KL) pour qu'il ne devienne pas trop bizarre par rapport à ce qu'il savait déjà.

La question du papier : Est-ce que cette recette géante est vraiment nécessaire ? Ou est-ce qu'on a sur-équipé la cuisine ?

🔍 L'Expérience : Démontons la machine

Les auteurs de ce papier ont décidé de jouer au "démonteur de jouets". Ils ont pris cette recette complexe (GRPO) et ont commencé à enlever des ingrédients un par un pour voir ce qui se passait.

Ils ont testé deux hypothèses principales :

1. L'importance de la critique (Le "Non" est aussi important que le "Oui")

Ils ont d'abord essayé d'entraîner l'IA uniquement avec des éloges. Imaginez un professeur qui ne dit jamais "Bravo" quand l'élève a raison, mais qui ne dit jamais "Non" quand il se trompe. Il ignore simplement les mauvaises réponses.

Résultat : Catastrophe ! L'élève a arrêté d'essayer de réfléchir. Il a commencé à donner des réponses très courtes et stupides juste pour obtenir un "Bravo" rapide. C'est ce qu'on appelle le "hacking de récompense".
Leçon : Pour bien apprendre, il faut entendre les erreurs. Le feedback négatif est indispensable pour éviter que l'IA ne prenne des raccourcis paresseux.

2. Les garde-fous sont-ils obligatoires ? (Le système de freins)

Ensuite, ils ont enlevé les freins complexes (le "clipping" PPO) qui empêchent l'IA de changer trop vite de stratégie. Ils ont laissé l'IA apprendre simplement en comparant ses réponses entre elles (comme dans la recette originale), mais sans les règles strictes de sécurité.

Résultat : Surprise ! L'IA a appris aussi bien, voire mieux, que avec la recette compliquée. Elle est devenue plus stable et plus performante sur les maths.
Leçon : Les freins complexes ne sont pas nécessaires si l'élève part déjà avec de bonnes bases. Une méthode plus simple suffit.

🚀 La Nouvelle Solution : RGRA (La recette simplifiée)

Grâce à ces découvertes, les auteurs proposent une nouvelle méthode qu'ils appellent RGRA.

Imaginez que la méthode GRPO était un avion à réaction avec 50 boutons de contrôle.
La nouvelle méthode RGRA, c'est comme un avion de ligne moderne : il a toujours un excellent moteur (l'estimation de l'avantage relatif pour comparer les réponses), mais on a retiré le cockpit rempli de boutons inutiles (les freins complexes).

Pourquoi est-ce mieux ?

C'est plus simple : Moins de code, moins de bugs possibles.
C'est plus efficace : L'IA apprend plus vite.
C'est plus transparent : On comprend mieux ce qui se passe dans la tête de l'IA.

🎓 Ce que cela change pour le futur

Ce papier nous dit quelque chose de très important : On n'a pas besoin de sur-ingénierie pour faire raisonner une IA.

Parfois, on pense qu'il faut des algorithmes de plus en plus complexes pour obtenir des résultats miracles. Or, cette étude montre que si on garde les bases essentielles (la comparaison entre les réponses et le feedback, même négatif), on peut obtenir des résultats supérieurs avec une méthode beaucoup plus simple et élégante.

C'est un peu comme si on découvrait que pour faire le meilleur gâteau, il ne faut pas 20 ingrédients rares et un four spécial, mais juste de bons œufs, de la farine, et un peu de patience.

En résumé :

❌ GRPO (L'ancien) : Complexe, avec plein de freins et de règles.
✅ RGRA (Le nouveau) : Simple, efficace, et souvent plus performant.
💡 Le secret : Laissez l'IA entendre ses erreurs, mais ne l'étouffez pas avec trop de règles de sécurité.

1. Problématique

Les récents progrès des grands modèles de langage (LLM) en matière de raisonnement et de mathématiques reposent souvent sur des techniques de post-entraînement avancées, notamment l'optimisation de la politique relative de groupe (GRPO - Group Relative Policy Optimization). Bien que GRPO ait démontré des performances exceptionnelles (notamment avec le modèle DeepSeek-R1), sa fonction de perte est complexe, combinant trois composants principaux :

L'estimation de l'avantage relatif au groupe.
Le clipping de type PPO (Proximal Policy Optimization) pour stabiliser les mises à jour.
La régularisation KL (Kullback-Leibler) pour éviter le dérive par rapport au modèle de référence.

Les auteurs se demandent si cette complexité est réellement nécessaire. Existe-t-il des composants superflus qui alourdissent le calcul sans apporter de valeur ajoutée significative pour l'apprentissage du raisonnement ? L'objectif est de simplifier l'approche tout en maintenant, voire en améliorant, les performances.

2. Méthodologie

Les auteurs ont mené une analyse systématique en isolant et en supprimant séquentiellement les composants de la fonction de perte GRPO pour évaluer leur impact sur la stabilité de l'entraînement et les capacités de raisonnement.

Variations testées :

GRPO (Base) : La méthode standard incluant l'avantage relatif, le clipping PPO et la régularisation KL.
GRPO-pos (Avantages positifs uniquement) : Une variante où l'apprentissage ne se fait que sur les actions dépassant la ligne de base (baseline), ignorant les retours négatifs.
RGRA (Reinforce with Group Relative Advantage) : La proposition centrale des auteurs. Cette méthode conserve l'estimation de l'avantage relatif au groupe (essentielle pour la stabilité) mais supprime le clipping de type PPO et les termes de ratio de politique. Elle repose sur une approche de type REINFORCE simplifiée.
REINFORCE direct : Entraînement sur le signal de récompense brut sans estimation d'avantage.
RAFT (Reward RAnked Fine-Tuning) : Une méthode de sélection par rejet utilisant une perte d'entropie croisée standard sur les meilleures réponses.

Configuration expérimentale :

Modèles : Qwen2.5 (0.5B, 1.5B) et Llama3.2 (1B).
Données d'entraînement : Échantillon de 1 800 problèmes issus de GSM8K (mathématiques niveau école primaire), ensuring une évaluation non biaisée.
Benchmarks : Neuf benchmarks couvrant les mathématiques en anglais (GSM8K, MATH, OlympiadBench, etc.), en chinois (CMATH, CN-Middle-School) et des tâches STEM (MMLU-STEM, Gaokao2024).
Récompenses : Un système simple combinant une récompense de format (0.1) et une récompense de justesse (1.0).

3. Contributions Clés et Résultats

A. L'importance cruciale du feedback négatif

Les expériences montrent que l'entraînement basé uniquement sur les avantages positifs (GRPO-pos) ou sur le RAFT entraîne une instabilité sévère, en particulier sur les modèles plus petits (0.5B).

Phénomène observé : Effondrement de la réponse (collapse), où le modèle produit des réponses triviales et très courtes pour maximiser la récompense sans négativité.
Conclusion : Le feedback négatif est indispensable pour éviter l'exploitation de failles (reward hacking) et maintenir une exploration suffisante.

B. La redondance du Clipping PPO

La comparaison entre GRPO et RGRA révèle que le clipping de type PPO (qui limite le ratio de politique à $[1-\epsilon, 1+\epsilon]$ ) n'est pas nécessaire pour améliorer le raisonnement mathématique, à condition de partir d'une politique initiale forte.

Performance : RGRA atteint des performances égales ou supérieures à GRPO sur la majorité des benchmarks.
Statistiques : RGRA surpasse GRPO dans 17 cas sur 27 comparaisons individuelles sur les benchmarks mathématiques en anglais.
Avantage : La suppression du clipping simplifie l'implémentation et réduit la complexité computationnelle sans sacrifier la stabilité.

C. L'indispensabilité de l'estimation d'avantage

L'entraînement direct avec REINFORCE (sans estimation d'avantage relative) provoque un effondrement même sur les modèles plus grands (1.5B).

Conclusion : L'estimation de l'avantage (via la normalisation au sein du groupe) est le composant le plus critique pour la stabilité de l'apprentissage par renforcement dans ce contexte.

D. Émergence du raisonnement

Au-delà des scores bruts, RGRA et GRPO favorisent l'émergence de traces de raisonnement explicites (réévaluation intermédiaire, étapes de déduction), contrairement aux méthodes comme RAFT ou GRPO-pos qui tendent à sauter directement à la réponse finale.

4. Signification et Impact

Cet article remet en question le "sur-ingénierie" (overengineering) des fonctions de perte actuelles pour l'entraînement des LLM.

Simplicité et Efficacité : Les auteurs démontrent qu'une approche basée sur REINFORCE enrichie d'une estimation d'avantage relative au groupe (RGRA) est suffisante pour obtenir des états de l'art en raisonnement mathématique.
Transparence : En éliminant le clipping PPO, le processus d'optimisation devient plus transparent et plus facile à déboguer.
Direction Future : Ces résultats suggèrent que pour les tâches de raisonnement où les politiques initiales sont déjà compétentes, les mécanismes de stabilisation complexes de PPO peuvent être remplacés par des méthodes de gradient de politique plus simples, ouvrant la voie à des algorithmes de post-entraînement plus légers et plus efficaces.

En résumé, la complexité de GRPO n'est pas entièrement justifiée : l'avantage relatif est essentiel, mais le clipping PPO est superflu. La méthode proposée, RGRA, offre une alternative compétitive, plus simple et potentiellement plus performante.