Résumé Technique : Optimisation de la Politique de Séquence sans Biais de Longueur (LUSPO)

1. Énoncé du Problème

L'apprentissage par renforcement avec récompenses vérifiables (RLVR) est devenu une pierre angulaire pour améliorer les capacités de raisonnement des grands modèles de langage (LLM) et des modèles vision-langage (VLM). Une observation prédominante dans l'entraînement RLVR est que l'augmentation de la longueur de la réponse est souvent corrélée à un meilleur raisonnement, car les modèles apprennent à décomposer des problèmes complexes en étapes détaillées. Cependant, l'article identifie une faille critique dans les algorithmes de RLVR conventionnels, spécifiquement le Group Relative Policy Optimization (GRPO) et le Group Sequence Policy Optimization (GSPO) : ils présentent un biais de longueur de réponse inhérent qui peut conduire à un « effondrement de la longueur de réponse », où les modèles génèrent des réponses de plus en plus brèves, compromettant ainsi l'efficacité de l'entraînement et la profondeur du raisonnement.

Les auteurs analysent les sources de ce biais :

• Dans GRPO : La fonction d'objectif calcule la moyenne des rapports d'importance au niveau du jeton (token) au sein d'une trajectoire. Cette normalisation fait que les jetons dans les réponses courtes contribuent plus lourdement à la mise à jour du gradient que ceux des réponses longues. Par conséquent, pour les bonnes réponses, le modèle est incité à être bref ; pour les mauvaises réponses, il est moins pénalisé pour être long, créant une dynamique instable.
• Dans GSPO : Bien que le GSPO traite l'instabilité du GRPO dans les modèles Mixture-of-Experts (MoE) en utilisant un pondérage d'importance au niveau de la séquence, il ne parvient pas à résoudre le biais de longueur. L'article soutient que le mécanisme de troncature (clipping) au niveau de la séquence du GSPO, combiné à l'opération « Clip-Higher », tronque de manière disproportionnée les échantillons négatifs (incorrects). Cela entraîne une mise à jour du gradient dominée par les échantillons positifs, ce qui, en raison du biais de longueur sous-jacent, encourage davantage la génération de sorties plus courtes. Les preuves empiriques montrent que si le GRPO tend à augmenter la longueur de la réponse, le GSPO provoque souvent un effondrement de la longueur de la réponse pendant l'entraînement, particulièrement dans les modèles denses et les modèles VL.

2. Méthodologie : Optimisation de la Politique de Séquence sans Biais de Longueur (LUSPO)

Pour rectifier le biais de longueur inhérent au GSPO, les auteurs proposent la Length-Unbiased Sequence Policy Optimization (LUSPO). L'innovation centrale est une modification principielle de la fonction d'objectif du GSPO.

Base Théorique

Les auteurs fournissent une analyse théorique démontrant que la fonction de perte standard du GSPO est biaisée contre les séquences longues. Pour neutraliser cela, LUSPO met à l'échelle la perte de chaque séquence par sa propre longueur ($|y_i|$).

L'Algorithme

L'objectif d'optimisation LUSPO est défini comme :
$$J_{LUSPO}(\theta) = \mathbb{E}_{x \sim \mathcal{D}, \{y_i\}_{i=1}^G \sim \pi_{\theta_{old}}(\cdot|x)} \left[ \frac{1}{G} \sum_{i=1}^G \min\left( s_i(\theta) \hat{A}_i, \text{clip}(s_i(\theta), 1-\epsilon, 1+\epsilon) \hat{A}_i \right) \cdot |y_i| \right]$$

Où :

• $s_i(\theta)$ est le rapport d'importance au niveau de la séquence (identique au GSPO).
• $\hat{A}_i$ est l'estimation de l'avantage basée sur le groupe.
• $|y_i|$ est la longueur de la réponse.

En multipliant le terme d'avantage tronqué par la longueur de la séquence $|y_i|$, l'algorithme garantit que les séquences longues ne sont pas injustement pénalisées lors du processus de mise à jour du gradient. L'analyse du gradient théorique confirme que cette modification élimine le biais dépendant de la longueur présent dans le GSPO, garantissant que l'amplitude de la mise à jour du gradient est proportionnelle à la longueur de la séquence plutôt qu'inversement proportionnelle à celle-ci.

3. Principales Contributions

L'article présente trois contributions primaires :

1. Analyse du Biais de Longueur : Une analyse théorique et empirique détaillée des fonctions d'objectif de GRPO et GSPO, clarifiant les mécanismes sous-jacents qui causent un biais de longueur de réponse inhérent et l'effondrement de longueur consécutif.
2. Algorithme LUSPO : La proposition d'une nouvelle stratégie d'optimisation qui neutralise le biais de longueur du GSPO grâce à une modification simple (mise à l'échelle par la longueur), rendant la fonction de perte sans biais par rapport à la longueur de la réponse.
3. Validation Complète : Des expériences approfondies sur diverses architectures (denses et MoE) et modalités (texte uniquement et vision-langage) démontrant que LUSPO atteint des performances et une stabilité supérieures par rapport aux méthodes existantes.

4. Résultats Expérimentaux

Les auteurs ont mené des expériences sur Qwen2.5-7B-Base (dense), Qwen3-30B-A3B-Instruct (MoE), et Qwen2.5-VL-7B-Instruct (Vision-Langage).

Dynamique d'Entraînement

• Longueur de Réponse : LUSPO empêche systématiquement l'effondrement de la longueur de la réponse. Sur le modèle Qwen2.5-VL-7B-Instruct, le GSPO a montré un effondrement prononcé de la longueur de la réponse, tandis que LUSPO a maintenu des réponses stables et significativement plus longues.
• Stabilité du Gradient : La méthode assure des dynamiques d'entraînement stables dans les architectures denses et MoE, traitant les problèmes d'instabilité souvent associés au RLVR dans les modèles MoE.

Benchmarks de Performance

• Modèles Texte Uniquement :
  • Qwen2.5-7B-Base : LUSPO a amélioré la précision de +2,9 % sur AIME24 et de +7,4 % sur MATH500 par rapport au GSPO.
  • Qwen3-30B-A3B-Instruct : LUSPO a obtenu une amélioration de +6,9 % sur AIME24 et de +17,1 % sur AIME25 par rapport au GSPO.
• Modèles Multimodaux :
  • Qwen2.5-VL-7B-Instruct : LUSPO a surpassé à la fois GRPO et GSPO sur plusieurs benchmarks. Notamment, il a obtenu une précision supérieure de +1,6 % par rapport à GRPO et de +0,5 % par rapport à GSPO sur MathVista-Mini. Sur LogicVista, LUSPO a montré une amélioration de +6,0 % par rapport au GSPO.
• Généralisation : La méthode a démontré sa robustesse à travers différents jeux de données (ViRL39K et DAPO-MATH-17K), surpassant systématiquement le GSPO même dans les scénarios où le GSPO ne souffrait pas d'un effondrement sévère de la longueur.

5. Signification et Revendications

L'article positionne LUSPO comme une nouvelle stratégie d'optimisation de pointe pour l'entraînement RLVR. Les auteurs affirment qu'en traitant le biais de longueur fondamental dans l'optimisation de la politique au niveau de la séquence, LUSPO :

• Résout l'Effondrement de la Longueur de Réponse : Il empêche la dégradation de la longueur de la réponse qui entrave la capacité du modèle à effectuer un raisonnement complexe.
• Améliore les Capacités de Raisonnement : En permettant aux modèles de générer des réponses plus longues et plus cohérentes sans pénalité, LUSPO facilite l'exploration de schémas de raisonnement plus larges, conduisant à de meilleures performances sur des tâches mathématiques et logiques complexes.
• Large Applicabilité : La méthode est efficace à travers les architectures denses et MoE, ainsi que dans les contextes texte uniquement et multimodaux, ce qui en fait une solution polyvalente pour l'entraînement des modèles de grande taille de nouvelle génération.

Les auteurs concluent que LUSPO représente une étape significative vers la stabilisation de l'entraînement RLVR et la maximisation du potentiel de raisonnement des grands modèles de langage.