💬 NLP

LamPO: A Lambda Style Policy Optimization for Reasoning Language Models

LamPO est une nouvelle méthode d'optimisation de politique pour les modèles de langage de raisonnement qui améliore l'apprentissage par renforcement avec des récompenses vérifiables en remplaçant les avantages de groupe scalaires par un avantage décomposé par paires afin de préserver l'information relationnelle fine, permettant ainsi un entraînement plus stable et des performances supérieures sur des benchmarks mathématiques et scientifiques par rapport aux approches existantes comme GRPO.

Auteurs originaux : Zhe Yuan, Yipeng Zhou, Jinghan Li, Xinyuan Chen, Bowen Deng, Zhiqian Chen, Liang Zhao

Publié 2026-05-21

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Zhe Yuan, Yipeng Zhou, Jinghan Li, Xinyuan Chen, Bowen Deng, Zhiqian Chen, Liang Zhao

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous enseigniez à un élève comment résoudre des problèmes mathématiques complexes. Vous lui posez une question, et il revient avec huit tentatives différentes de réponse.

Dans l'ancienne méthode d'enseignement (appelée GRPO), vous examiniez les huit réponses, calculiez le score « moyen », puis disiez à l'élève : « Tu as fait mieux que la moyenne, alors bravo ! » ou « Tu as fait pire que la moyenne, alors réessaie. »

Le problème avec cette approche est qu'elle traite la « moyenne » comme un simple nombre. Elle oublie les détails. Si l'élève a donné une réponse qui était presque parfaite et une autre qui était totalement fausse, l'ancienne méthode les voit simplement comme « au-dessus de la moyenne » et « en dessous de la moyenne ». Elle perd la nuance de combien l'une était meilleure que l'autre.

LamPO est une nouvelle méthode, plus intelligente, pour enseigner à ces élèves IA. Voici comment cela fonctionne, en utilisant des analogies simples :

1. Le tournoi « Face à Face » (Décomposition par Paires de l'Avantage)

Au lieu de comparer chaque réponse à une moyenne ennuyeuse, LamPO organise un tournoi avec les réponses. Il prend chaque paire possible de réponses et les compare directement.

L'Ancienne Façon : « Tu es à 2 points au-dessus de la moyenne de la classe. »
La Façon LamPO : « Ta réponse a battu la Réponse B par 5 points, mais la Réponse C t'a battu de 2 points. »

LamPO examine l'écart entre chaque paire de réponses. Si la réponse de l'élève est légèrement meilleure qu'une réponse fausse, LamPO donne une petite pousse. Si elle est bien meilleure, il donne une grande impulsion. Cela préserve l'« information relationnelle » : il sait exactement qui a battu qui et de combien.

2. Le « Jauge de Confiance » (Pondération)

Parfois, l'élève IA est très incertain de ses réponses. LamPO dispose d'une « jauge de confiance » spéciale.

Si l'IA est très sûre que la Réponse A est meilleure que la Réponse B, LamPO écoute attentivement cette comparaison.
Si l'IA est confuse et pense qu'elles sont à peu près équivalentes, LamPO traite cette comparaison avec moins de poids.

C'est comme un entraîneur qui écoute plus attentivement un joueur qui est sûr à 100 % de sa stratégie, et moins attentivement lorsque le joueur devine.

3. Le « Système d'Aide » (Récompense Auxiliaire Dense)

Habituellement, en mathématiques ou en programmation, vous ne recevez qu'un signal « Correct » ou « Incorrect » à la toute fin. C'est comme un professeur qui dit « Faux » sans vous dire où vous vous êtes trompé.

LamPO ajoute un « Système d'Aide » lorsque le professeur possède la clé de réponse correcte. Il utilise un outil appelé ROUGE-L (qui est comme un « vérificateur de chevauchement de mots ») pour voir dans quelle mesure le processus de réflexion de l'élève ressemble à la solution correcte.

Même si la réponse finale est fausse, si les étapes de l'élève ressemblent à 80 % aux étapes correctes, LamPO lui accorde un petit « point bonus » pour être sur la bonne voie. Cela empêche l'élève de se décourager face à un score total de « Zéro ».

Les Résultats : Un Voyage Plus Fluide

L'article a testé cette nouvelle méthode (LamPO) contre l'ancienne méthode (GRPO) sur des énigmes mathématiques et scientifiques difficiles (comme les ensembles de données AIME et MATH).

Meilleures Notes : Les modèles IA entraînés avec LamPO ont obtenu des scores plus élevés à ces tests.
Moins de Dramas : Le processus d'entraînement était beaucoup plus fluide. L'ancienne méthode provoquait parfois des oscillations sauvages de l'IA entre de bonnes et de mauvaises performances (comme un manège). LamPO a maintenu l'apprentissage stable, comme une montée en ascenseur calme.
Efficacité : L'IA a appris plus vite, ayant besoin de moins d'essais pour maîtriser les tâches.

Le Inconvénient (Limites)

Il y a un petit coût à cette méthode. Parce que LamPO compare chaque réponse à toutes les autres (comme un tournoi à la ronde), il faut un peu plus de puissance de calcul pour déterminer toutes ces paires. Cependant, l'article note que pour les tailles de groupes utilisés, ce coût était très faible et valait la peine pour l'amélioration obtenue.

En résumé : LamPO est une méthode d'entraînement plus intelligente pour l'IA. Au lieu de simplement regarder la moyenne de la classe, elle examine chaque confrontation directe, écoute la confiance de l'IA et donne des indices utiles en cours de route. Cela conduit à des modèles de raisonnement plus intelligents et plus stables.

Résumé Technique : LamPO – Une Optimisation de Politique de Style Lambda pour les Modèles de Langage Raisonneurs

Énoncé du Problème

L'apprentissage par renforcement avec récompenses vérifiables (RLVR) s'est imposé comme un paradigme dominant pour améliorer les capacités de raisonnement des grands modèles de langage (LLM) sur des tâches telles que les mathématiques, la programmation et la réponse à des questions scientifiques. Bien que l'Optimisation de Politique Relative par Groupe (GRPO) soit devenue une alternative standard, sans critique, à PPO en normalisant les récompenses au sein d'un groupe échantillonné, elle souffre d'une limitation critique : la compression d'information.

Le GRPO résume chaque groupe de réponses échantillonnées en statistiques scalaires (moyenne et écart-type) pour calculer les avantages. Cette approche élimine l'information relationnelle fine entre les réponses candidates. Dans les tâches de raisonnement, où les solutions peuvent ne différer que subtilement en qualité (par exemple, partiellement correcte par rapport à presque correcte), une base scalaire ne peut indiquer qu'une réponse est supérieure ou inférieure à la moyenne du groupe. Elle échoue à préserver explicitement quelles réponses spécifiques un candidat surpasse et de combien. Cette limitation est particulièrement sévère sous des récompenses binaires éparses, où de nombreuses trajectoires incorrectes reçoivent un feedback identique, conduisant à une attribution de crédit faible.

Méthodologie

Les auteurs proposent LamPO (Optimisation de Politique de Style Lambda), une méthode conçue pour conserver l'efficacité de l'optimisation sans critique tout en récupérant la structure relationnelle perdue au sein des groupes de réponses.

1. Avantage Décomposé par Paires (PDA)

Au lieu de calculer un avantage scalaire basé sur les statistiques du groupe, LamPO remplace l'avantage relatif au groupe par un Avantage Décomposé par Paires. Pour une réponse $o_i$ au sein d'un groupe de taille $G$ , l'avantage $A_\lambda(o_i)$ est calculé comme la moyenne des écarts de récompense par paires pondérés par un facteur de confiance :

$A_\lambda(o_i) = \frac{1}{G - 1} \sum_{j \neq i} (R(o_i) - R(o_j)) \sigma\left(\frac{\Delta s_{ij}}{\tau}\right)$

Où :

$R(o_i) - R(o_j)$ représente l'écart de récompense par paire, fournissant la direction d'apprentissage.
$\Delta s_{ij} = \log \pi_{\theta_{old}}(o_i | q) - \log \pi_{\theta_{old}}(o_j | q)$ est la différence des log-probabilités de séquence sous l'ancienne politique.
$\sigma(\cdot)$ est la fonction sigmoïde logistique agissant comme un poids conscient de la confiance.
$\tau$ est un paramètre de température contrôlant la sensibilité du poids aux différences de log-probabilité.

Cette formulation agrège les comparaisons par paires, préservant l'information de classement intra-groupe. Le poids garantit que les comparaisons où la politique est plus confiante (plus grande différence de log-probabilité) contribuent de manière plus significative à la mise à jour.

2. Objectif de Politique

LamPO conserve l'objectif de substitution tronqué de style PPO et la structure sans critique du GRPO. L'avantage standard $\hat{A}_i$ est simplement remplacé par le PDA calculé $A_\lambda(o_i)$ dans la fonction objectif tronquée. L'objectif complet inclut un terme de régularisation KL par rapport à une politique de référence $\pi_{ref}$ .

3. Récompense Dense de Chevauchement de Référence

Pour adresser la sparsité des récompenses lorsque des solutions de référence sont disponibles, LamPO introduit une récompense auxiliaire légère basée sur ROUGE-L.

La récompense finale est une combinaison linéaire : $R(o_i) = R_{ext}(o_i) + \lambda_{sem} R_{sem}(o_i)$ .
$R_{ext}$ est la récompense de vérification de justesse sparse (0 ou 1).
$R_{sem}$ est le score F1 ROUGE-L entre la trace générée et la solution de référence.
$\lambda_{sem}$ contrôle la force de ce signal dense.

Cette récompense auxiliaire fournit des signaux de chevauchement conscients de la séquence, complétant le signal de justesse sparse sans le remplacer.

Contributions Clés

Identification de la Limitation : L'article identifie la perte d'information relationnelle intra-groupe dans l'optimisation relative au groupe à base scalaire comme un goulot d'étranglement clé du RLVR pour les tâches de raisonnement.
Algorithme LamPO : Une méthode novatrice d'optimisation de politique sans critique qui utilise des Avantages Décomposés par Paires avec un poids conscient de la confiance pour préserver l'information de classement au sein des groupes échantillonnés.
Intégration de Récompense Auxiliaire : Un mécanisme simple et efficace pour réduire la sparsité des récompenses en utilisant un chevauchement basé sur ROUGE-L lorsque des traces de raisonnement de référence sont disponibles.
Validation Empirique : Des améliorations constantes démontrées par rapport au GRPO et aux variantes récentes du RLVR (DAPO, GSPO, SAPO) sur plusieurs benchmarks et familles de modèles.

Résultats Expérimentaux

Les auteurs ont évalué LamPO sur quatre benchmarks de raisonnement : AIME24, AIME25, MATH-500 et GPQA-Diamond, en utilisant trois architectures de modèles : Qwen3-1.7B, Qwen3-4B et Phi-4-mini.

Performance : LamPO a constamment surpassé le GRPO et d'autres bases de référence (CoT, SimpleRL-Zoo, PRIME, RLPR, DAPO, GSPO) sur toutes les tailles de modèles.
- Sur Qwen3-1.7B, LamPO a obtenu le score moyen le plus élevé (53,60), avec des gains notables sur les tâches mathématiques de type compétition (AIME24 : 46,67 contre 42,08 pour le GRPO).
- Sur Qwen3-4B, LamPO a amélioré le score moyen de 1,69 point par rapport au GRPO (77,09 contre 75,40).
- Sur Phi-4-mini, LamPO a montré des gains similaires, indiquant que la méthode n'est pas liée à une famille de modèles spécifique.
Dynamique d'Entraînement : Les courbes d'entraînement ont révélé que LamPO produit des améliorations de récompense plus fluides et des longueurs de complétion plus stables par rapport au GRPO. Cette stabilité est attribuée au signal structuré fourni par les écarts par paires, qui réduit les mises à jour oscillatoires causées par la normalisation scalaire à haute variance, en particulier dans les petits modèles.
Études d'Ablation :
- Température ( $\tau$ ) : Une valeur de $\tau=1,5$ a donné les meilleurs résultats. Des valeurs plus basses ( $\tau=0,5$ ) rendaient le poids trop sensible, tandis que des valeurs plus élevées ( $\tau=5,0, 7,0$ ) lissaient trop le poids, affaiblissant la discrimination par paires.
- Récompense Sémantique : Le retrait de la récompense auxiliaire dense ( $\lambda_{sem}=0,0$ ) a réduit les performances, confirmant que le façonnage par chevauchement de référence améliore l'efficacité de l'échantillonnage sous des récompenses éparses.

Importance et Revendications

L'article revendique que LamPO offre un mécanisme d'attribution de crédit plus efficace pour les tâches de raisonnement où la qualité de la solution varie subtilement. En passant des statistiques scalaires de groupe aux avantages décomposés par paires, LamPO fournit un signal d'apprentissage plus riche qui exploite explicitement l'ordre relatif des réponses candidates.

Les auteurs soulignent que LamPO maintient l'efficacité computationnelle et la stabilité du cadre GRPO (étant sans critique et utilisant des mises à jour tronquées) tout en abordant la faiblesse spécifique de la perte d'information dans les méthodes relatives au groupe. L'intégration d'une récompense ROUGE-L légère améliore davantage l'efficacité de l'entraînement lorsque des données de référence sont disponibles, sans compromettre la dépendance à la justesse vérifiable.

Limites Reconnues :

Coût Computationnel : La comparaison par paires introduit une complexité de $O(G^2)$ par rapport à la taille du groupe $G$ , bien que cela soit considéré comme négligeable pour les tailles de groupes typiques en RLVR.
Fiabilité des Récompenses : La méthode dépend de signaux de récompense fiables ; des récompenses bruyantes ou subjectives pourraient amplifier les erreurs dans les écarts par paires.
Portée de la Récompense Auxiliaire : La récompense ROUGE-L capture le chevauchement lexicographique plutôt que la justesse complète du raisonnement et nécessite des solutions de référence, qui peuvent ne pas exister pour toutes les tâches.
Généralisation : Les expériences sont actuellement limitées au raisonnement mathématique et scientifique ; la généralisation au dialogue ouvert ou aux tâches multimodales reste une question ouverte.