Résumé Technique : SALT – Subspace-Adaptive Geometry Plug-in pour l'Optimisation de Politique Basée sur des Groupes

1. Énoncé du Problème

L'apprentissage par renforcement avec récompenses vérifiables (RLVR - Reinforcement Learning with Verifiable Rewards) est devenu une approche standard pour améliorer les capacités de raisonnement des grands modèles de langage (LLM), particulièrement via l'optimisation de politique relative au groupe (GRPO - Group Relative Policy Optimization). La GRPO améliore la scalabilité en remplaçant le réseau critique par une normalisation relative au groupe, échantillonnant plusieurs déploiements ($G$) par invite pour construire des signaux d'apprentissage.

Cependant, l'article identifie une inefficacité structurelle critique : augmenter simplement le nombre de déploiements ne renforce pas systématiquement l'apprentissage. Les auteurs diagnostiquent que sous la normalisation de groupe de type GRPO, les caractéristiques du gradient de politique par déploiement ont tendance à se concentrer dans une géométrie signée de faible rang.

• Annulation Signée : Lorsque les avantages sont normalisés au sein d'un groupe, leur somme est nulle. Si les caractéristiques de gradient des déploiements sont hautement corrélées (redondantes) et partagent une direction dominante, les avantages signés positifs et négatifs s'annulent lors de l'agrégation.
• Dimensionnalité Effective Faible : Cette redondance entraîne une « dimensionnalité effective » faible (mesurée par le ratio de participation, $PR$) et une « taille d'échantillon effective » ($n_{eff}$) faible.
• Le Goulot d'Étranglement : Par conséquent, augmenter la taille du groupe de déploiement ($G$) produit souvent des rendements décroissants car le signal de mise à jour agrégé dépend uniquement d'une petite composante résiduelle, tandis que les composants partagés et redondants sont annulés par le mécanisme de centrage du groupe.

2. Méthodologie : SALT

Pour remédier à cela, les auteurs proposent SALT (Subspace-Adaptive geometry Lug-in componenT). SALT est un module plug-in qui repondère les coefficients relatifs au groupe en utilisant la géométrie du gradient par échantillon afin d'atténuer l'annulation signée sans modifier le modèle de récompense ou la procédure d'échantillonnage des déploiements.

Mécanisme Central

SALT opère en analysant la géométrie des mini-lots de gradients et en décomposant les signaux de mise à jour en deux canaux :

1. Estimation du Sous-espace Dominant :

   • SALT calcule une matrice de Gram normalisée des caractéristiques de gradient (en utilisant un proxy de gradient de la tête LM légère pour éviter les coûts de gradient de l'ensemble du modèle).
   • Il effectue une décomposition en valeurs propres pour identifier un sous-espace partagé dominant ($V_k$) basé sur le ratio de participation ($PR$).
   • Ce sous-elle représente les « signaux communs » partagés entre les déploiements qui sont sujets à l'annulation.

2. Décomposition à Double Canal :

   • Canal Principal ($a_{main}$) : Les avantages normalisés par le groupe sont projetés sur le sous-espace dominant ($P_k a$). Cela préserve le feedback central relatif au groupe.
   • Canal d'Exploration ($a_{exp}$) : Les avantages sont projetés sur le complément orthogonal ($P_k^\perp$) et filtrés pour ne garder que les composantes positives ($[a]_+$). Cela isole les directions « résiduelles » ou non redondantes.

3. Repondération Adaptative :

   • SALT introduit un coefficient de mélange adaptatif, $\alpha_t$, qui est inversement proportionnel à la taille d'échantillon effective ($n_{eff}$) du lot actuel.
   • L'avantage repondéré final est : $a' = a_{main} + \alpha_t a_{exp}$.
   • Logique : Lorsque $n_{eff}$ est faible (indiquant une annulation sévère), $\alpha_t$ augmente, amplifiant de manière adaptative le canal de résidu (exploration) pour récupérer les signaux de mise à jour utiles qui seraient autrement perdus.

Efficacité Computationnelle

• Proxy de Caractéristique : Au lieu de calculer les gradients de l'ensemble du modèle, SALT utilise le gradient de la projection de sortie (tête LM) comme proxy. Cela préserve la géométrie par échantillon nécessaire tout en évoluant avec la taille du mini-lot $m=BG$ plutôt qu'avec le nombre total de paramètres.
• Coût : La méthode ajoute environ 7,7 % de surcharge au temps de calcul (wall-clock) de l'entraînement en raison du calcul de la matrice de Gram et des étapes de l'algorithme de résolution de valeurs propres, ce qui est considéré comme un compromis coût-bénéfice favorable compte tenu des gains de performance.

3. Principales Contributions

L'article expose trois contributions principales :

1. Diagnostic du Phénomène : Les auteurs démontrent empiriquement que le RLVR relatif au groupe souffre d'une redondance de faible rang signée. Ils montrent que les caractéristiques de gradient par échantillon se concentrent dans des sous-espaces de faible dimension, conduisant à un $PR$ et un $n_{eff}$ faibles, ce qui explique pourquoi l'augmentation des déploiements échoue souvent à améliorer l'apprentissage.
2. Proposition de Méthode (SALT) : Ils introduisent un plug-in adaptatif au sous-espace qui estime un sous-espace partagé dominant et repondère les coefficients relatifs au groupe. Il sépare explicitement les signaux partagés des signaux résiduels et amplifie ces derniers de manière adaptative pour contrer l'annulation.
3. Validation Empirique : Des expériences approfondies sur des benchmarks de raisonnement (AIME, GSM8K, MATH, GPQA) et différentes échelles de modèles (1.5B, 7B) valident que SALT améliore systématiquement les performances et la géométrie de mise à jour effective par rapport aux baselines GRPO et DAPO standards.

4. Résultats Expérimentaux

Les auteurs ont évalué SALT sur divers benchmarks de RLVR orientés vers le raisonnement en utilisant des modèles DeepSeek-Distill-Qwen (1.5B et 7B).

• Gains de Performance : SALT a systématiquement surpassé les modèles GRPO et DAPO classiques. En moyenne, il a amélioré la précision d'environ +2,54 points de pourcentage à travers les configurations. Des gains notables ont été observés sur AIME24 et GPQA.
• Améliorations de la Géométrie : Contraquirement aux méthodes de régularisation basées sur l'entropie (qui augmentent la diversité de l'échantillonnage mais échouent à améliorer la géométrie de mise à jour), SALT a considérablement augmenté le ratio de participation ($PR$) et la taille d'échantillon effective ($n_{eff}$). Cela indique que SALT convertit avec succès les déploiements en signaux de mise à jour diversifiés et non annulables.
• Scalabilité des Déploiements : Dans des expériences avec un budget de déploiement fixe, SALT a démontré que des tailles de groupe ($G$) plus grandes pouvaient être efficacement utilisées. Alors que les baselines montraient des rendements décroissants à mesure que $G$ augmentait, SALT maintenait un $n_{eff}$ élevé et continuait d'améliorer les performances, prouvant qu'il rend les groupes de déploiements plus larges « utiles » plutôt que simplement coûteux en calcul.
• Études d'Ablation : Le retrait de la structure à double canal ou du mécanisme de mélange adaptatif a dégradé les performances, confirmant que la séparation des signaux partagés/résiduels et l'ajustement dynamique de la force de mélange sont tous deux nécessaires.

5. Signification et Revendications

L'article affirme que l'inefficacité des déploiements dans GRPO n'est pas simplement un problème d'échantillonnage, mais un échec de l'agrégation des signaux résiduels et non redondants.

• Changement de Perspective : Ce travail déplace l'attention de « maintenir la diversité des réponses » (via la régularisation de l'entropie) vers « l'optimisation de la géométrie de mise à jour ». Il soutient que même avec des séquences diverses, les caractéristiques de gradient peuvent être redondantes, et que la solution réside dans le repondérage géométrique.
• Impact Pratique : SALT offre un moyen de passer à l'échelle des groupes de déploiement sans dégradation proportionnelle des performances, optimisant ainsi l'utilisation des ressources de calcul.
• Revendications Modérées : Les auteurs reconnaissent que SALT est un surrogate (substitut) de repondérage géométrique biaisé plutôt qu'une reformulation non biaisée de GRPO. Son succès repose sur le compromis où la réduction de l'annulation signée l'emporte sur la distorsion introduite par le repondérage des coefficients. Ils notent également des limites concernant l'utilisation de proxies de la tête LM et la variation potentielle de l'efficacité selon les architectures.

En résumé, SALT fournit un mécanisme pour « faire en sorte que davantage de déploiements comptent » en supprimant de manière adaptative les signaux communs redondants et en amplifiant les directions résiduelles diverses, renforçant ainsi le signal d'apprentissage effectif dans l'optimisation de politique basée sur des groupes.