💬 NLP

N-GRPO: Embedding-Level Neighbor Mixing for Enhanced Policy Optimization

L'article introduit N-GRPO, une nouvelle stratégie d'exploration pour l'optimisation de politique relative par groupe (Group Relative Policy Optimization) qui améliore le raisonnement mathématique en mélangeant dynamiquement les plongements de jetons ancres avec leurs plus proches voisins sémantiques afin d'injecter de la diversité tout en préservant la cohérence sémantique, surpassant ainsi les bases de référence existantes sur les tâches en distribution et hors distribution.

Auteurs originaux : Xukun Zhu, Hang Yu, Peng Di, Linchao Zhu

Publié 2026-06-10

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Xukun Zhu, Hang Yu, Peng Di, Linchao Zhu

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous enseignez à un étudiant très intelligent (un grand modèle de langage) comment résoudre des problèmes mathématiques difficiles. Pour devenir vraiment bon, l'étudiant doit s'entraîner en essayant de nombreuses façons différentes de résoudre le même problème. Cette phase d'entraînement est appelée un « rollout ».

Le papier présente une nouvelle façon d'aider cet étudiant à s'entraîner, appelée N-GRPO. Voici comment cela fonctionne, décomposé en concepts simples :

Le Problème : Deux mauvaises façons de s'entraîner

Actuellement, lorsque les modèles d'IA s'entraînent, ils essaient généralement d'être diversifiés de deux manières, mais les deux présentent des défauts :

L'approche « Perroquet » (Échantillonnage au niveau du jeton/token) :
Imaginez demander à l'étudiant de réécrire une phrase. Il pourrait dire : « Le chat est assis sur le tapis » ou « Le tapis avait le chat assis dessus ».
- Le problème : Ce ne sont que des reformulations. La logique sous-jacente est exactement la même. L'étudiant n'apprend pas de nouvelles façons de résoudre le problème mathématique ; il se contente de dire la même chose avec des mots différents. C'est comme pratiquer un morceau de piano en changeant seulement le volume, et non les notes.
L'approche « Bruit Statique » (Bruit d'embedding aléatoire) :
Imaginez donner à l'étudiant une secousse électrique aléatoire pour bousculer sa réflexion.
- Le problème : C'est trop chaotique. C'est comme jeter une clé anglaise dans les engrenages. L'étudiant pourrait soudainement commencer à parler de « bananes » alors qu'il devrait parler d'« algèbre ». Le bruit aléatoire brise le sens, faisant perdre le fil à l'étudiant et le faisant échouer.

La Solution : N-GRPO (La méthode du « Voisin Intelligent »)

Les auteurs proposent un juste milieu appelé Mélange de Voisins Sémantiques. Considérez cela comme un « Brainstorming de groupe guidé ».

Au lieu de choisir un mot au hasard ou de simplement reformuler, le modèle regarde le mot qu'il veut probablement dire (l'« Ancre »). Ensuite, il trouve les 3 « voisins » les plus proches de ce mot dans son dictionnaire interne.

L'analogie : Imaginez que l'étudiant soit sur le point de dire le mot « Carré ».
- L'approche « Perroquet » dirait « Quadrilatère » (juste un synonyme).
- L'approche « Bruit Statique » dirait « Banane » (aléatoire et erroné).
- N-GRPO regarde « Carré » et trouve ses voisins : « Rectangle », « Losange » et « Cube ». Il crée ensuite une pensée fusionnée qui est un mélange de ces quatre idées.

Ce mélange est une pensée « continue ». Ce n'est pas encore un mot unique ; c'est un concept flou qui se situe juste entre ces idées liées.

Pourquoi cela fonctionne

Rester sur le chemin : Comme les voisins sont choisis en fonction de leur similitude avec le mot original, la nouvelle « pensée fusionnée » est toujours mathématiquement et logiquement pertinente. Elle ne dérive pas vers l'absurde (comme l'exemple de la « Banane »).
Trouver de nouveaux chemins : Parce qu'il s'agit d'un mélange, cela permet au modèle d'explorer un angle légèrement différent du problème plutôt qu'un seul mot. C'est comme prendre un itinéraire légèrement différent dans une forêt pour trouver un raccourci caché, plutôt que de simplement marcher sur le même chemin plus vite ou plus lentement.

Comment c'est utilisé

Le papier intègre cela dans un cadre d'entraînement appelé GRPO.

Pendant l'entraînement : Le modèle s'entraîne. Parfois (environ 10 % du temps), il utilise ce mélange de « Voisin Intelligent » pour générer une solution. Si cette solution mène à une réponse correcte, le modèle reçoit une récompense et apprend que ce chemin « fusionné » était bon.
Pendant le test (Inférence) : Curieusement, le papier a constaté que si ce mélange aide à l'apprentissage, il nuit en fait aux performances lorsque le modèle répond seul à une question. Ils désactivent donc le mélange lors du test final, en s'en tenant à des réponses claires et standard.

Les Résultats

Les chercheurs ont testé cela sur des problèmes mathématiques (comme les benchmarks AIME et MATH) en utilisant différentes tailles de modèles d'IA.

Le résultat : Les modèles utilisant N-GRPO ont résolu plus de problèmes correctement que les modèles utilisant les anciennes méthodes.
La conclusion : En mélangeant les « pensées » de mots similaires, l'IA peut explorer des solutions plus créatives sans se perdre ou perdre le fil.

Limites

Le papier note deux inconvénients principaux :

Vitesse : Trouver ces « voisins » et effectuer le mélange demande une puissance de calcul supplémentaire, ce qui rend le processus d'entraînement un peu plus lent.
Portée : Ils n'ont testé cela que sur les mathématiques et les sciences. Ils n'ont pas encore essayé sur le codage, où les règles sont très strictes (on ne peut pas vraiment « fusionner » la syntaxe de code sans la briser).

En résumé, N-GRPO apprend à l'IA à penser en fusionnant des idées similaires, ce qui lui permet d'explorer de nouvelles solutions sans perdre la tête.

Résumé Technique : N-GRPO - Mélange de Voisins au Niveau des Embeddings pour une Optimisation de Politique Améliorée

1. Énoncé du Problème

Le succès des grands modèles de langage (LLM) dans le raisonnement mathématique repose largement sur la génération de chemins de solutions diversifiés et valides lors de la phase de déploiement (rollout) de l'apprentissage par renforcement (RL). Cependant, les techniques d'exploration actuelles font face à un compromis fondamental :

Échantillonnage au niveau du Token : Les méthodes standards produisent souvent des trajectoires redondantes qui ne diffèrent que par des reformulations ou des réordonnancements commutatifs (par exemple, "1+2" vs "2+1") sans modifier la logique de raisonnement sous-jacente.
Bruit au niveau de l'Embedding : Les méthodes qui injectent un bruit aléatoire (par exemple, un bruit gaussien) dans les embeddings continus perturbent fréquemment la cohérence sémantique. Des expériences préliminaires ont montré que le bruit non contraint pousse les représentations hors du manifold sémantique, transformant des tokens valides en éléments sans rapport et faisant dérailler les trajectoires de déploiement.

Les tentatives existantes pour combler ce fossé, telles que Soft Thinking ou HRPO, reposent souvent sur l'échantillonnage de tokens discrets pour leur aléatoire ou ne parviennent pas à maintenir la cohérence sémantique lorsqu'elles perturbent l'espace continu.

2. Méthodologie : N-GRPO

Les auteurs proposent N-GRPO, une nouvelle stratégie d'exploration intégrée au cadre de l'Optimisation de Politique Relative au Groupe (GRPO). L'innovation centrale est le Mélange de Voisins Sémantiques (Semantic Neighbor Mixing), un mécanisme de perturbation au niveau de l'embedding qui injecte de la diversité tout en respectant strictement le manifold sémantique local.

Mécanisme Central : Mélange de Voisins Sémantiques

Au lieu d'échantillonner des tokens discrets ou d'ajouter un bruit non contraint, la méthode construit les représentations d'entrée en mélangeant l'embedding d'un token ancre avec ses voisins sémantiques les plus proches.

Sélection de l'Ancre : À chaque étape de génération, le modèle identifie le token le plus privilégié (l'ancre sémantique, $v^*_t$ ) basé sur les logits pondérés par la température.
Récupération des Voisins : Un ensemble de $k$ tokens voisins ( $C_t$ ) est récupéré dans la matrice d'embeddings sur la base de la similitude cosinus avec l'ancre. Cela garantit que les voisins se regroupent le long de la même direction sémantique.
Mélange Pondéré : Les logits pondérés par la température sont normalisés sur cet ensemble de voisins pour calculer les poids de mélange ( $\alpha_t$ ).
Construction de l'Embedding Continu : Un embedding mixte continu ( $\tilde{e}_{t+1}$ ) est généré comme la somme pondérée des embeddings des voisins. Cela sert d'entrée pour l'étape de temps suivante.

Intégration avec GRPO

N-GRPO intègre ce mécanisme dans la phase de déploiement de GRPO via un mécanisme de porte stochastique :

Masque de Mélange : Un masque de Bernoulli ( $m_{i,t}$ ) avec une probabilité fixe $\rho$ (par exemple, 0,1) détermine si le Mélange de Voisins Sémantiques doit être activé ou si l'on suit l'échantillonnage standard de tokens discrets.
Stabilité : En maintenant la majorité des étapes sous forme de tokens discrets, la méthode préserve la stabilité sémantique tout en introduisant l'intermittence nécessaire à l'exploration.
Entraînement : Pendant la phase d'entraînement, les ensembles candidats et les poids sont enregistrés pour assurer une reconstruction reproductible des trajectoires pour le calcul de l'avantage. La récompense finale est calculée sur la base des tokens ancres discrets correspondant aux étapes mixtes.

3. Contributions Clés

Exploration Contrôlable au Niveau de l'Embedding : Le papier introduit une méthode qui injecte des perturbations guidées sémantiquement pendant la génération, comblant le fossé entre le raisonnement discret au niveau du token et l'exploration continue au niveau de l'embedding.
Cadre N-GRPO : Les auteurs intègrent le Mélange de Voisins Sémantiques dans le cadre GRPO, créant un système qui utilise les manifolds sémantiques locaux pour étendre l'espace d'exploration sans sacrifier la cohérence.
Validation Empirique : Des évaluations approfondies sur différentes échelles de modèles (1,5B à 7B) et architectures (DeepSeek-R1-Distill-Qwen, Llama-3.2, Qwen3) démontrent des améliorations constantes par rapport aux bases solides.

4. Résultats Expérimentaux

La méthode a été évaluée sur des benchmarks de raisonnement mathématique exigeants (AIME25, AMC23, MATH500) et des tâches hors distribution (OOD) (GPQA-Diamond).

Raisonnement Mathématique : N-GRPO a systématiquement surpassé les bases, incluant le GRPO standard, Soft Thinking et la base STHT (qui utilise un bruit gaussien non contraint).
- Sur le modèle DeepSeek-R1-Distill-Qwen-1.5B, N-GRPO a amélioré le Pass@32 moyen de 77,41 (GRPO) à 79,17.
- Sur le modèle 7B, le Pass@32 moyen est passé de 81,94 (GRPO) à 84,20.
- Des gains significatifs ont été observés sur le benchmark difficile AIME25, où N-GRPO a atteint un Pass@32 de 50,28 (1,5B) et 61,18 (7B), surpassant GRPO et STHT.
Généralisation Hors Distribution : Sur le benchmark GPQA-Diamond, N-GRPO a démontré une généralisation robuste, atteignant les scores Pass@32 les plus élevés (92,87 pour 1,5B et 92,80 pour 7B), indiquant que la méthode améliore les capacités de raisonnement scientifique général, et pas seulement les compétences mathématiques spécifiques.
Transférabilité : Le mécanisme s'est transféré avec succès au cadre GSPO (N-GSPO), mont'rant un gain de +7,66 sur AIME25, suggérant que le mécanisme de perturbation n'est pas étroitement couplé à la normalisation d'avantage spécifique de GRPO.
Études d'Ablation :
- Taux de Mélange : La performance est restée stable à travers différents taux de mélange (0,1 à 0,2), bien qu'un mélange excessif (0,2) sur les petits modèles pour AIME25 ait causé une baisse, soulignant la nécessité d'un équilibre entre diversité et stabilité.
- Métrique de Distance : La distance cosinus a nettement surpassé les métriques L1 et L2 pour la sélection des voisins, en raison de la nature directionnelle de l'information sémantique dans les espaces d'embedding de haute dimension.
- Inférence : Les auteurs notent que l'application du Mélange de Voisins Sémantiques durant la phase d'inférence (sans le mécanisme de filtrage GRPO) dégrade les performances, confirmant son rôle d'outil d'exploration lors de l'entraînement plutôt que de stratégie de décodage.

5. Signification et Revendications

Le papier affirme que N-GRPO offre une voie prometteuse pour faire progresser les capacités de raisonnement des LLM en explorant la dynamique du raisonnement dans l'espace des embeddings. Sa signification réside dans :

Résolution du Compromis : Il injecte avec succès de la diversité dans le processus de déploiement sans la dérive sémantique causée par l'injection de bruit naïf ou la redondance de l'échantillonnage au niveau du token.
Ancrage Sémantique : En exploitant le manifold sémantique local, la méthode garantit que l'exploration reste dans des régions de raisonnement valides.
Généralisation : L'approche n'est pas limitée à des familles de modèles spécifiques ou à des politiques distillées de raisonnement, montrant une robustesse à travers différentes échelles et modèles de base.

Les auteurs concluent que, bien que la méthode introduise une surcharge de calcul lors du déploiement et soit actuellement validée principalement sur des tâches de mathématiques et de sciences, elle établit un nouveau paradigme pour l'optimisation de politique qui équilibre exploration et cohérence sémantique.