Résumé Technique : Restauration du Point Optimal par Auto-distillation Pondérée par le Taux de Réussite

1. Énoncé du Problème

Les grands modèles de langage (LLM) sont de plus en plus entraînés par apprentissage par renforcement avec récompenses vérifiables (RLVR) pour des domaines tels que le code et les mathématiques. Bien que les méthodes RLVR comme l'optimisation de politique relative par groupe (GRPO) aient démontré leur succès, elles souffrent d'un « goulot d'étranglement de l'attribution de crédit » où une récompense scalaire unique par tentative échoue à indiquer où ou pourquoi un modèle a échoué.

L'optimisation de politique par auto-distillation (SDPO) remédie à cela en utilisant le modèle lui-même comme enseignant, conditionné par des informations privilégiées (par exemple, des erreurs d'exécution ou des solutions correctes), pour fournir une supervision dense au niveau des tokens. Cependant, les auteurs identifient un compromis critique :

• GRPO possède une « conscience de la difficulté » implicite. Sa normalisation relative au groupe concentre naturellement l'apprentissage sur un « point optimal » de questions de difficulté intermédiaire (où le taux de réussite $p \approx 0,5$), supprimant l'apprentissage sur les questions trop faciles ($p \approx 1$) ou trop difficiles ($p \approx 0$).
• SDPO, bien qu'offrant une attribution de crédit dense supérieure, manque de cette conscience de la difficulté. Sa perte basée sur la divergence KL traite toutes les questions de manière égale, diluant le signal d'apprentissage sur les échantillons les plus informatifs de difficulté intermédiaire et échouant à supprimer les groupes non informatifs entièrement corrects ou entièrement incorrects.

Le problème central est que SDPO sacrifie la concentration bénéfique du « point optimal » de GRPO pour gagner une attribution de crédit dense, entraînant une efficacité d'apprentissage sous-optimale.

2. Méthodologie : SC-SDPO

Les auteurs proposent SC-SDPO (Scale-Consistent SDPO), une variante qui restaure la « conscience de la difficulté » du point optimal à SDPO sans sacrifier son attribution de crédit dense ni nécessiter d'enseignants externes.

Fondement Théorique

L'article étend le cadre de la capacité d'apprentissage de Bae et al. [2026] aux récompenses normalisées.

1. Récompenses Brutes vs Normalisées : Sous des récompenses binaires brutes, l'amélioration de la politique est bornée inférieurement par la variance $p(1-p)$. Cependant, GRPO utilise une normalisation relative au groupe : $\hat{A}_i = (r_i - \bar{r}) / \text{std}(\{r_i\})$.
2. Le Facteur d'Échelle : Les auteurs démontrent que cette normalisation absorbe le terme de variance $p(1-p)$, égalisant la capacité d'apprentissage de premier ordre entre les questions. Par conséquent, l'amplitude résiduelle du gradient par question dans GRPO évolue comme $\sqrt{p(1-p)}$, et non $p(1-p)$.
3. L'Objectif Idéal : Pour combiner les avantages denses au niveau des tokens de SDPO avec la modulation de difficulté de GRPO, le gradient idéal par question devrait être pondéré par un facteur de $[\hat{p}(1-\hat{p})]^{1/2}$.

Implémentation Algorithmique

SC-SDPO modifie la fonction de perte SDPO en introduisant un poids scalaire par question $\bar{w}_j$ :
$$\mathcal{L}_{\text{SC-SDPO}}(\theta) := \sum_{j=1}^{M} \bar{w}_j \sum_{i \in G_j} \sum_{t} \text{KL}(\pi_\theta(\cdot | x_j, y_{i,<t}) \parallel \text{sg}(\pi_\theta(\cdot | x_j, f_i, y_{i,<t})))$$

Composantes clés du schéma de pondération :

• Fonction de Poids : Le poids non normalisé est $w_j = [\hat{p}_j(1-\hat{p}_j)]^\alpha$, où $\hat{p}_j$ est le taux de réussite empirique pour la question $j$ au sein d'un lot. Les auteurs fixent $\alpha = 1/2$ sur la base de la dérivation théorique.
• Normalisation Adaptative au Lot : Pour prévenir l'instabilité de l'entraînement alors que la distribution des taux de réussite évolue durant l'entraînement, les poids sont normalisés au sein du lot : $\bar{w}_j = w_j / \text{moyenne}(\{w_l\}_{l \in S})$, où $S$ est l'ensemble des questions non dégénérées.
• Sous-produit à Coût Zéro : Puisque SDPO est un algorithme on-policy qui échantillonne déjà plusieurs déroulements par question, le taux de réussite $\hat{p}_j$ est un sous-produit gratuit du boucle d'entraînement existante. Aucun déroulement supplémentaire ou passage hors ligne n'est requis.

3. Contributions Clés

1. Analyse Théorique : L'article identifie que la normalisation des avantages de GRPO absorbe le terme de variance $p(1-p)$, laissant $\sqrt{p(1-p)}$ comme facteur d'échelle naturel pour l'amplitude du gradient. Cela corrige une hypothèse précédente selon laquelle l'échelle devrait être linéaire avec la variance.
2. Algorithme SC-SDPO : Une modification simple, à un seul scalaire, de SDPO qui restaure la conscience de la difficulté. Il pondère dynamiquement les questions en fonction de leurs taux de réussite évolutifs, créant un curriculum implicite qui suit la compétence du modèle.
3. Validation Empirique : Des expériences extensives démontrant que la combinaison de l'attribution de crédit dense (SDPO) avec une pondération consciente de la difficulté (SC-SDPO) produit des performances supérieures par rapport à l'utilisation de l'un ou l'autre mécanisme seul.

4. Résultats Expérimentaux

Les expériences ont été menées sur Qwen3-8B et OLMo-3-7B à travers des benchmarks de raisonnement scientifique (Chimie, Physique, Biologie, Science des Matériaux) et d'utilisation d'outils.

• Gains de Performance :
  • Sur Qwen3-8B, SC-SDPO ($\alpha=0,5$) a amélioré la baseline SDPO non pondérée de +3,2 (moyenne@16) et +4,3 (majorité@16) en moyenne.
  • Sur OLMo-3-7B, l'amélioration a été de +1,8 (moyenne@16) et +3,0 (majorité@16).
  • SC-SDPO a constamment surpassé GRPO, SDPO et d'autres baselines (PACED, Hard Filter, SRPO).
• Analyse de l'Exposant : Le choix de $\alpha=0,5$ (cohérent avec l'échelle) a constamment surpassé $\alpha=1$ (basé sur la variance), validant l'affirmation théorique selon laquelle $\alpha=1$ supprime excessivement le signal d'apprentissage.
• Dynamiques d'Entraînement :
  • SC-SDPO a maintenu des normes de gradient stables similaires à la baseline SDPO non pondérée, tandis que la pondération statique (PACED) a causé des pics de gradient et le filtrage dur a supprimé les gradients de manière trop agressive.
  • La méthode a réussi à conserver une fraction plus élevée d'échantillons de difficulté intermédiaire (« point optimal ») durant l'entraînement précoce, accélérant l'acquisition de compétences.
  • Les longueurs de réponse sont restées supérieures à la baseline SDPO, suggérant que le modèle a été encouragé à élaborer sur les questions de difficulté intermédiaire plutôt que de s'effondrer vers des réponses courtes.

5. Signification et Revendications

L'article revendique que SC-SDPO résout la tension fondamentale entre l'attribution de crédit dense et la conscience de la difficulté dans le post-entraînement des LLM. En dérivant le facteur d'échelle correct ($\sqrt{p(1-p)}$) par une analyse théorique des récompenses normalisées, les auteurs fournissent une « prescription simple » qui restaure le « point optimal » à l'auto-distillation.

La signification réside dans :

• Efficacité : Il atteint des résultats de l'état de l'art sans nécessiter de modèles enseignants externes ni de surcharge computationnelle supplémentaire (estimation du taux de réussite à coût zéro).
• Robustesse : La normalisation adaptative au lot assure une dynamique d'entraînement stable, évitant les pièges des schémas de pondération statiques ou figés.
• Généralisabilité : La méthode fonctionne sur différentes familles de modèles (Qwen et OLMo) et types de tâches (raisonnement et utilisation d'outils).

Les auteurs restent modestes concernant les limites, notant que la méthode repose sur des récompenses binaires et une granularité discrète du taux de réussite (dépendante du nombre de déroulements $G$), et que son efficacité sur des tâches de génération ouverte ou à des échelles de modèles significativement plus grandes nécessite une validation supplémentaire.