Résumé technique : Auto-distillation à porte conditionnée par les compétences pour le raisonnement des LLM

1. Énoncé du problème

Le raisonnement des grands modèles de langage (LLM) est souvent amélioré par l'apprentissage par renforcement avec récompenses vérifiables (RLVR), tel que l'optimisation de politique relative par groupes (GRPO). Bien que le RLVR ne nécessite qu'un vérificateur et aucune annotation au niveau des jetons, il souffre de signaux de récompense clairsemés, retardés et presque uniformes sur l'ensemble des trajectoires de raisonnement. L'auto-distillation (SD) sur politique adresse ce problème en utilisant un contexte de « professeur » plus fort pour fournir une supervision dense au niveau des jetons. Cependant, les méthodes de SD existantes reposent généralement sur des informations privilégiées (PI) de confiance, telles que des réponses de référence ou des traces réussies, qui peuvent ne pas être disponibles dans des régimes de supervision faible (par exemple, lorsqu'un seul vérificateur existe).

L'article examine si les PI peuvent être dérivées d'une banque de compétences basée sur l'expérience — une collection de principes et de motifs d'erreurs en langage naturel compacts et réutilisables. Le défi central est que les compétences récupérées ne sont pas intrinsèquement fiables ; elles peuvent être non pertinentes, obsolètes ou trompeuses pour un problème spécifique. De plus, imiter aveuglément un professeur conditionné par une compétence potentiellement erronée peut dégrader les performances. La question centrale est : Les compétences dérivées de l'expérience peuvent-elles servir d'informations privilégiées uniquement pour l'entraînement, sans supposer que chaque compétence récupérée est fiable ?

2. Méthodologie : Auto-distillation à porte conditionnée par les compétences (SGSD)

Les auteurs proposent le SGSD, un cadre qui traite l'auto-distillation basée sur les compétences comme un problème de validation d'hypothèse de professeur plutôt que comme une imitation inconditionnelle. La méthode opère sur un seul modèle de politique $\pi_\theta$ agissant à la fois comme étudiant et professeur dans différents contextes.

2.1 Construction structurée de la banque de compétences

Le SGSD maintient une banque structurée $B = \{G, E\}$ contenant :

• Compétences générales ($G$) : Principes de raisonnement réutilisables (quoi faire).
• Erreurs courantes ($E$) : Motifs d'erreurs, causes et stratégies d'évitement (quoi éviter).
  La banque est initialisée via un processus de « démarrage à froid » où les traces réussies sont résumées en compétences et les traces échouées en erreurs. Pendant l'entraînement, la banque est mise à jour en ligne en fusionnant de nouveaux candidats issus des récentes simulations (rollouts).

2.2 Pool multi-professeurs conditionné par les compétences

Pour un problème donné $x$, le système récupère les $K$ meilleures paires compétence-erreur. Chaque paire $(g_k, e_k)$ est concaténée avec le problème pour former un contexte de professeur unique $c_k(x) = g_k \oplus e_k \oplus x$.

• Étudiant : Échantillonne une simulation $y$ en utilisant uniquement l'invite simple $x$.
• Professeurs : Un pool de $K$ professeurs, chacun partageant les mêmes poids de politique (arrêt du gradient) mais conditionné par une paire compétence-erreur récupérée spécifique. Tous les professeurs notent la même simulation d'étudiant.

2.3 Polarité des professeurs validée par le résultat

Au lieu de supposer que tous les professeurs sont corrects, le SGSD valide leur position par rapport au résultat du vérificateur $r \in \{-1, 1\}$.

1. Calcul de l'écart : Calcul de l'écart de log-probabilité $\Delta^{(k)}_t$ entre le professeur $k$ et l'étudiant pour chaque jeton.
2. Estimation robuste du soutien : Calcul d'un score de soutien robuste $\tilde{a}_k$ en masquant les jetons non liés au raisonnement, en tronquant les écarts extrêmes et en moyennant.
3. Inférence de polarité : Détermination de la polarité du professeur $\rho_k$ basée sur l'alignement entre le soutien du professeur ($\tilde{a}_k$) et le résultat ($r$) :
   • Utile : Le professeur soutient un succès ou supprime un échec ($\rho_k = +1$).
   • Trompeur : Le professeur soutient un échec ou supprime un succès ($\rho_k = -1$).
   • Incertitude : Si le score de soutien est proche de zéro, le professeur est ignoré ($\rho_k = 0$).

2.4 Objectif d'auto-distillation à porte robuste

La fonction de perte finale agrège les désaccords pondérés et conscients de la polarité :
$$L_{SGSD}(x) = \sum_{k=1}^{K_x} \alpha_k(x) \rho_k \bar{\ell}^{(k)}$$
Où $\bar{\ell}^{(k)}$ est une perte à porte $\ell_{gate}(\Delta)$ conçue pour :

• Être proche de zéro lorsque le professeur et l'étudiant sont d'accord (écarts négligeables).
• Croître pour les désaccords modérés (région informative).
• Se saturer pour les incohérences extrêmes afin d'empêcher les logits aberrants de dominer le gradient.
  La dérivée de cette perte garantit que la mise à jour est bornée et se comporte comme une approximation locale de la divergence KL inverse dans la région informative, tout en supprimant les signaux extrêmes.

3. Contributions clés

1. Formulation : L'article introduit le concept d'utilisation de compétences dérivées de l'expérience comme informations privilégiées pour le raisonnement mathématique, encadrant le problème comme une validation d'hypothèse de professeur plutôt qu'une imitation par défaut.
2. Cadre (SGSD) : Un cadre d'auto-distillation multi-professeurs conditionné par les compétences qui infère la polarité du professeur à partir de l'alignement entre le soutien du professeur et les résultats des simulations, utilisant un objectif à porte robuste pour gérer les signaux bruyants ou conflictuels.
3. Validation empirique : Démontré sur plusieurs benchmarks de raisonnement mathématique (AIME24, AIME25, HMMT25), montrant que le SGSD surpasse constamment le GRPO et reste compétitif par rapport à l'auto-distillation conditionnée par la réponse (OPSD), malgré une hypothèse de PI plus faible (compétences vs réponses de vérité terrain).

4. Résultats expérimentaux

Les expériences ont été menées sur des modèles Qwen3 (1,7B, 4B, 8B) entraînés sur DAPO-Math-17K et évalués sur des benchmarks de style concours.

• Performance : Sur Qwen3-1,7B, le SGSD a amélioré la précision moyenne sur AIME24, AIME25 et HMMT25 de 37,4 % à 43,7 %. Cela représente une amélioration de 6,2 % par rapport au GRPO et une amélioration de 1,7 % par rapport à l'OPSD (qui utilise des réponses de référence fiables).
• Stabilité : Contrairement à l'OPSD, qui a montré une dégradation dans les étapes ultérieures de l'entraînement, le SGSD a maintenu des améliorations stables. Cela est attribué au mécanisme de validation par résultat filtrant les signaux de compétences trompeurs.
• Ablations :
  • La suppression de la validation de polarité a conduit à un effondrement des performances, confirmant que suivre aveuglément les compétences est nuisible.
  • L'utilisation d'un seul professeur était inférieure au pool multi-professeurs, soulignant la valeur des hypothèses diversifiées.
  • L'estimation robuste du soutien (masquage, troncature, seuillage) était cruciale pour la stabilité.
  • L'ajout de réponses de référence au professeur conditionné par les compétences a entraîné une baisse de performance, suggérant que le mélange de PI fiables et non fiables crée des directions de mise à jour incohérentes.

5. Importance et affirmations

L'article affirme que le SGSD démontre que les compétences dérivées de l'expérience peuvent fournir une supervision dense utile même lorsque leur direction n'est pas pré-vérifiée, à condition que leur polarité soit validée par des preuves sur politique.

• Hypothèse plus faible : Le SGSD obtient des résultats compétitifs avec les méthodes conditionnées par la réponse (OPSD) tout en supposant uniquement l'existence d'un vérificateur et d'une banque de compétences, plutôt que des solutions de référence de vérité terrain.
• Mécanisme : Le succès repose sur le traitement des compétences récupérées comme des hypothèses à valider plutôt que comme des instructions à suivre. L'objectif à porte extrait efficacement les désaccords instructifs entre professeur et étudiant tout en supprimant le bruit et les signaux extrêmes.
• Limites : Les auteurs notent que la méthode est actuellement évaluée principalement sur le raisonnement mathématique avec vérification automatique. Les extensions à la génération ouverte nécessiteraient des juges calibrés. De plus, la construction de la banque de compétences repose sur un démarrage à froid simple et une fusion hiérarchique, ce qui pourrait bénéficier de stratégies plus adaptatives dans les travaux futurs.

En résumé, le SGSD offre une voie pour améliorer le raisonnement des LLM dans des contextes où les réponses de vérité terrain ne sont pas disponibles, en tirant parti de l'expérience évolutive du modèle pour générer et valider ses propres signaux d'enseignement.