🤖 machine learning

Transformation-Augmented GRPO for Enhancing Exploration in Reasoning of Large Language Models

Ce papier propose TA-GRPO (Transformation-Augmented GRPO), une méthode qui atténue la disparition du gradient et l'effondrement de la diversité dans le raisonnement des grands modèles de langage en générant des reformulations équivalentes aux problèmes pour créer des récompenses mixtes et des chemins d'exploration diversifiés, améliorant ainsi considérablement les performances sur des benchmarks mathématiques complexes.

Auteurs originaux : Khiem Le, Phuc Nguyen, Youssef Mroueh, Chi-Heng Lin, Shangqian Gao, Ting Hua, Nitesh V. Chawla

Publié 2026-05-20

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Khiem Le, Phuc Nguyen, Youssef Mroueh, Chi-Heng Lin, Shangqian Gao, Ting Hua, Nitesh V. Chawla

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez d'enseigner à un élève très intelligent (un Modèle de Langage de Grande Taille) comment résoudre des problèmes mathématiques difficiles. La meilleure méthode actuelle pour y parvenir s'appelle GRPO. Imaginez GRPO comme un enseignant qui demande à l'élève d'écrire 8 réponses différentes à la même question. L'enseignant compare ensuite ces 8 réponses : si certaines sont justes et d'autres fausses, l'élève apprend quelle stratégie a le mieux fonctionné.

Cependant, l'article souligne que cette méthode des « 8 réponses » présente deux défauts majeurs, comme deux pièges dans lesquels l'élève peut tomber :

Le piège du « Tout ou Rien » (Disparition du Gradient) :
- Le Problème : Si la question est trop facile, l'élève obtient les 8 réponses justes. Si elle est trop difficile, il obtient les 8 réponses fausses. Dans les deux cas, l'enseignant ne peut pas dire à l'élève comment s'améliorer car il n'y a aucune différence entre les réponses. C'est comme un enseignant qui dit : « Excellent travail ! » ou « Réessaie ! » sans expliquer pourquoi. L'élève ne reçoit aucun feedback utile et cesse d'apprendre.
- La Solution de l'Article : Au lieu de simplement poser la même question 8 fois, l'enseignant pose la même question mais la reformule de différentes manières (par exemple, en changeant l'ordre des mots, en utilisant un format différent, ou en racontant l'histoire sous un angle différent).
- L'Analogie : Imaginez demander à un ami : « Quel est 2+2 ? » Il répond « 4 ». Facile. Maintenant, demandez : « Si vous avez deux pommes et que vous en obtenez deux de plus, combien en avez-vous ? » Il pourrait répondre « 4 ». Maintenant, demandez : « J'ai deux paires de chaussures ; combien de chaussures cela fait-il ? » Il pourrait s'arrêter et réfléchir plus intensément. Même si les mathématiques sont les mêmes, la manière dont la question est posée change la façon dont l'élève réfléchit. En mélangeant la question originale avec ces « voisins reformulés », l'élève est plus susceptible d'obtenir un mélange de réponses justes et fausses à travers tout le groupe, offrant ainsi à l'enseignant beaucoup de feedback utile sur lequel travailler.
Le piège de la « Chambre d'Écho » (Effondrement de la Diversité) :
- Le Problème : Même lorsque l'élève obtient certaines réponses justes et d'autres fausses, il a tendance à rester bloqué en utilisant le même schéma de raisonnement pour les 8 réponses. C'est comme si l'élève avait une « préférée » façon de résoudre un problème et refusait d'essayer autre chose. Il cesse d'explorer de nouvelles stratégies.
- La Solution de l'Article : Parce que les questions reformulées semblent différentes, l'élève est contraint d'essayer différentes stratégies pour les résoudre. Une version de la question pourrait déclencher une approche de « formule », tandis qu'une autre déclenche une approche « visuelle ».
- L'Analogie : C'est comme demander à un chef de préparer un burger. Si vous dites simplement « Préparez un burger », il pourrait en faire exactement le même à chaque fois. Mais si vous dites : « Préparez un burger avec le pain en bas », « Préparez un burger avec la viande coupée en cubes » et « Préparez un burger avec le fromage fondu en premier », le chef doit expérimenter différentes techniques. Cela force le chef à explorer une plus grande variété de styles culinaires, le rendant globalement un meilleur et plus polyvalent cuisinier.

Comment fonctionne la nouvelle méthode (TA-GRPO)

Les auteurs appellent leur nouvelle méthode TA-GRPO (GRPO Augmenté par Transformation). Voici la recette simple :

Prenez un problème mathématique.
Utilisez un outil d'IA (comme GPT-4) pour réécrire ce problème 3 fois de différentes manières, en conservant le même sens.
Demandez à l'élève de résoudre le problème original et les 3 nouvelles versions, en générant 8 réponses pour chacune des 4 versions. Cela fait 32 réponses au total !
L'enseignant examine l'ensemble des 32 réponses pour déterminer quelles stratégies ont le mieux fonctionné.
Crucialement, même si l'élève a résolu différentes versions de la question, l'enseignant met à jour le cerveau de l'élève en se basant sur la question originale. Cela garantit que l'élève apprend le concept de base, et non pas seulement comment répondre à une formulation spécifique.

Les Résultats

L'article a testé cette méthode sur quatre modèles d'IA différents (allant de petite à taille moyenne) en utilisant des concours mathématiques difficiles (comme l'AMC et l'AIME).

Meilleures Notes : TA-GRPO a constamment obtenu des scores supérieurs à la méthode standard. Par exemple, sur les tests mathématiques les plus difficiles, il a amélioré le taux de réussite d'environ 5 points en moyenne.
Exploration Plus Intelligente : Les modèles ne se sont pas simplement contentés d'avoir de la chance ; ils ont effectivement essayé des façons plus diversifiées de résoudre les problèmes.
Efficacité des Données : La découverte la plus impressionnante est que TA-GRPO a obtenu des résultats similaires à l'entraînement d'un modèle sur 2,5 fois plus de données. Autrement dit, en posant les questions de manière plus intelligente, le modèle a appris autant que s'il avait été nourri avec une immense bibliothèque de manuels supplémentaires.

Le Bémol

L'article note un petit coût : pour obtenir ces questions reformulées, vous devez payer des frais minimes pour utiliser une IA puissante (GPT-4-Turbo) afin d'effectuer la réécriture. De plus, l'entraînement prend un peu plus de temps car le modèle doit traiter plus de questions à chaque étape. Mais les auteurs soutiennent que l'amélioration des performances vaut cet effort supplémentaire.

En résumé : TA-GRPO empêche les modèles d'IA de s'ennuyer ou de rester bloqués en leur posant la même question dans de nombreux « costumes » différents. Cela les force à penser plus créativement et à apprendre plus efficacement, économisant ainsi du temps et de l'argent par rapport au simple fait de jeter davantage de données sur le problème.

Résumé technique : GRPO augmenté par transformation (TA-GRPO)

Énoncé du problème

L'optimisation de politique relative par groupe (GRPO) est devenue la méthode dominante pour l'apprentissage par renforcement avec récompenses vérifiables (RLVR) dans les grands modèles de langage (LLM), en particulier pour les tâches de raisonnement complexe. Cependant, l'article identifie deux limitations structurelles critiques dans le GRPO standard qui entravent une exploration efficace :

Disparition du gradient : Lorsqu'une question d'entraînement est perçue comme soit trop facile (toutes les réponses échantillonnées sont correctes), soit trop difficile (toutes sont incorrectes), le groupe de $G$ réponses reçoit des récompenses identiques. Par conséquent, l'écart-type des récompenses est nul, ce qui entraîne des avantages nuls et aucun signal de gradient pour les mises à jour du modèle. Bien que l'échantillonnage dynamique (DAPO) tente de mitiger ce problème en écartant de telles questions, cela entraîne un gaspillage important de données.
Effondrement de la diversité : Le modèle tend à converger vers un seul schéma de raisonnement sur l'ensemble des $G$ réponses échantillonnées. La régularisation par entropie classique échoue à prévenir cela en raison de l'immense espace d'action des LLM. Une fois que la politique se concentre sur un ensemble restreint de trajectoires de raisonnement, la distribution d'échantillonnage hérite de cette concentration, et la fonction objectif manque de mécanisme pour récompenser l'élargissement du support, provoquant une contraction monotone de l'espace de solutions explorables.

Les avancées existantes du GRPO abordent souvent ces problèmes de manière fragmentée ou reposent sur l'élimination de données, plutôt que de résoudre conjointement les causes racines au sein du cadre d'optimisation.

Méthodologie : GRPO augmenté par transformation (TA-GRPO)

Les auteurs proposent le TA-GRPO, une méthode d'optimisation de politique qui adresse à la fois la disparition du gradient et l'effondrement de la diversité par le reformulation de questions. L'idée centrale est que les perturbations linguistiques (changements de formulation, de format ou d'ordre des informations) peuvent modifier la difficulté perçue par le modèle et induire des stratégies de résolution distinctes tout en préservant la sémantique sous-jacente du problème.

Le pipeline TA-GRPO modifie le processus GRPO standard comme suit :

Transformation de la question : Pour chaque question d'entraînement originale $q_0$ , le système génère automatiquement $N$ reformulations équivalentes au problème $\{q_n\}_{n=1}^N$ (désignées comme « voisins ») en utilisant GPT-4-Turbo. Ces reformulations préservent le sens sous-jacent mais altèrent la forme de surface.
Groupe de réponses étendu : Au lieu d'échantillonner $G$ réponses uniquement pour $q_0$ , le modèle échantillonne $G$ réponses pour la question originale et $G$ réponses pour chacun des $N$ voisins. Cela crée un groupe élargi de $(N+1) \times G$ réponses.
Calcul conjoint des avantages : Les avantages sont calculés par normalisation relative au groupe sur l'ensemble élargi complet de $(N+1) \times G$ $(N + 1) \times G$ réponses, plutôt que par normalisation séparée pour chaque reformulation.
- Atténuation de la disparition du gradient : Même si la question originale produit des récompenses uniformes, les voisins reformulés produisent souvent des récompenses mixtes (certaines correctes, d'autres incorrectes) en raison d'une difficulté perçue décalée. La normalisation conjointe garantit que l'écart-type est non nul, préservant ainsi le signal de gradient.
- Atténuation de l'effondrement de la diversité : Les reformulations diversifiées suscitent des schémas de raisonnement distincts au sein du même groupe, empêchant la politique de s'effondrer vers un seul mode.
Ratios d'importance ancrés : Pour garantir que le modèle apprend à résoudre la question originale, tous les ratios d'importance sont conditionnés à la question originale $q_0$ , indépendamment de la reformulation ( $q_n$ ) qui a généré la réponse spécifique. Cela traite les reformulations comme une distribution d'échantillonnage de substitution pour $q_0$ , justifiée par l'hypothèse que les reformulations équivalentes au problème produisent des trajectoires de raisonnement similaires.

La fonction objectif maximise la perte de substitution tronquée sur ce groupe élargi, avec des avantages dérivés de la normalisation conjointe et des ratios d'importance ancrés au prompt original.

Contributions clés

L'article énonce quatre contributions principales :

Identification de problèmes négligés : Il met en évidence que la disparition du gradient et l'effondrement de la diversité sont largement négligés par les avancées existantes du GRPO, qui les abordent souvent séparément ou via un filtrage des données.
Algorithme TA-GRPO : Une extension simple qui traite simultanément les deux problèmes en regroupant les réponses d'une question et de ses voisins reformulés, en calculant des avantages conjoints et en ancrant les mises à jour sur la question originale.
Efficacité empirique : Des expériences extensives démontrent des améliorations constantes du pass@k sur quatre LLM (Qwen3-1.7B/4B, Llama-3.2-1B/3B) à la fois sur des benchmarks de niveau compétition (AMC, OlympiadBench, AIME24/25) et sur des benchmarks hors distribution (Minerva, GPQA-Diamond).
Efficacité des données : Le TA-GRPO atteint des performances comparables à des bases de référence entraînées sur jusqu'à 2,5 fois plus de données sans nécessiter la collecte de données d'entraînement supplémentaires de haute qualité, offrant une alternative économique à la mise à l'échelle des données.

Résultats expérimentaux

Les auteurs ont évalué le TA-GRPO en utilisant l'ensemble de données MATH (7 498 questions) comme ensemble d'entraînement.

Diagnostic du signal d'entraînement : L'analyse des points de contrôle d'entraînement a montré que, tandis que le GRPO standard souffre de plus en plus de la disparition du gradient (jusqu'à 93,2 % des questions produisant des récompenses uniformes) et de l'effondrement de la diversité (distances d'encapsulation concentrées) à mesure que l'entraînement progresse, le TA-GRPO maintient une marge stable de récompenses mixtes et de chemins de raisonnement diversifiés tout au long de l'entraînement.
Gains de performance :
- Sur les benchmarks de niveau compétition, le TA-GRPO a amélioré le pass@32 moyen de 5,09 et 5,01 points pour Qwen3-1.7B et Qwen3-4B, respectivement, et de 3,50 et 5,25 points pour Llama-3.2-1B et Llama-3.2-3B.
- Les améliorations maximales notables incluent +9,98 sur AIME24 (Qwen3-4B) et +8,58 sur GPQA-Diamond (Qwen3-1.7B).
Expériences de contrôle :
- Échantillonnage apparié : Lorsqu'il est comparé à des bases de référence qui augmentent simplement le nombre total de réponses échantillonnées pour correspondre au budget du TA-GRPO (sans reformulation), le TA-GRPO maintient toujours une marge claire (par exemple, +6,86 sur AIME24 pour Qwen3-4B). Cela confirme que les gains proviennent de la diversité de l'espace échantillonné et de la normalisation conjointe, et non simplement de la taille de l'échantillon.
- Mise à l'échelle des données : Le TA-GRPO entraîné sur 1x de données a égalé les performances des bases de référence GRPO entraînées sur 2,5x de données, démontrant une efficacité des données significative.

Importance et affirmations

L'article présente le TA-GRPO comme une méthode qui déplace le paradigme du post-entraînement par RL. Alors que les travaux antérieurs se concentraient sur l'optimisation de la fonction de perte ou des axes de récompense, le TA-GRPO introduit la distribution d'entrée comme troisième levier pour améliorer l'exploration. En exploitant des reformulations équivalentes au problème, la méthode permet aux modèles d'apprendre à partir d'un ensemble plus riche de tentatives de résolution sans éliminer de données ni compter sur la régularisation par entropie. Les auteurs affirment que cette approche offre une voie robuste et économe en données pour améliorer les capacités de raisonnement des LLM, en particulier dans les scénarios où la collecte de données est coûteuse ou où le GRPO standard ne fournit pas de signaux de gradient suffisants.