Résumé Technique : Auto-distillation basée sur les Préférences (PBSD)

Énoncé du Problème

La distillation sur politique (OPD) offre une alternative efficace à l'apprentissage par renforcement (RL) pour l'entraînement postérieur des grands modèles de langage (LLM) en fournissant des signaux d'entraînement denses au niveau des tokens. Cependant, l'OPD standard repose sur un modèle enseignant externe plus performant, créant des goulots d'étranglement en termes d'efficacité computationnelle et d'évolutivité en raison de la nécessité d'architectures séparées et de vocabulaires partagés.

Pour y remédier, l'auto-distillation sur politique a émergé, où le même modèle sert à la fois d'enseignant et d'élève, l'enseignant étant instancié en conditionnant le modèle sur un contexte privilégié supplémentaire (par exemple, des démonstrations d'experts ou des traces de raisonnement). Malgré son potentiel, les méthodes d'auto-distillation existantes souffrent de deux limitations critiques :

1. Instabilité de l'entraînement et dégradation des performances : Les approches actuelles reposent sur un ajustement direct de la divergence de Kullback-Leibler (KL) vers l'enseignant enrichi par le contexte. Des analyses récentes indiquent que cela peut dégrader activement les performances de raisonnement au fil du temps, en supprimant la verbalisation épistémique (incertitude, auto-vérification) et en conduisant à des traces de raisonnement plus courtes et trop confiantes.
2. Manque de diversité exploratoire : Traiter une version du même modèle enrichie par le contexte comme un enseignant suppose que l'enseignant est un oracle puissant. Cependant, puisque l'enseignant et l'élève partagent des paramètres identiques, la supervision manque souvent de la diversité et de la valeur exploratoire fournies par un modèle externe véritablement plus performant.

L'article soutient que copier simplement la distribution de l'enseignant via un ajustement KL est sous-optimal car cela ignore la structure de récompense latente des réponses.

Méthodologie : Auto-distillation basée sur les Préférences (PBSD)

Les auteurs proposent l'Auto-distillation basée sur les Préférences (PBSD), un cadre qui reformule l'auto-distillation sur politique à travers une perspective régularisée par la récompense plutôt qu'un ajustement KL à enseignant fixe.

1. Objectif Régularisé par la Récompense

Au lieu de minimiser uniquement la divergence KL inverse entre l'élève $\pi_\theta$ et l'enseignant $\pi_{\text{teach}}$, le PBSD optimise un objectif conjoint qui équilibre l'ajustement KL avec la maximisation de la récompense :
$$\max_{\pi_\theta} \mathbb{E}_{x \sim \mathcal{D}} \mathbb{E}_{y \sim \pi_\theta(\cdot|x)} [r(x, y)] - \beta D_{\text{KL}}(\pi_\theta(\cdot|x) \parallel \pi_{\text{teach}}(\cdot|x))$$
où $r(x, y)$ est une récompense cible latente et $\beta$ contrôle la force de régularisation.

Insight Théorique : Les auteurs déduisent que l'optimum analytique de cet objectif n'est pas la distribution de l'enseignant elle-même, mais une distribution de l'enseignant inclinée par la récompense :
$$\pi^*(y|x) = \frac{\pi_{\text{teach}}(y|x) \exp(r(x, y)/\beta)}{Z(x)}$$
Cette politique cible est prouvée supérieure à l'enseignant original sous l'objectif régularisé par la récompense, à condition que la récompense varie parmi les réponses soutenues par l'enseignant. L'enseignant sert de distribution de support (biais inductif), tandis que la récompense réattribue la masse de probabilité vers des comportements à plus haute valeur.

2. Optimisation via l'Apprentissage par Préférences

Puisque la récompense latente $r(x, y)$ n'est pas observée, le PBSD optimise l'objectif en utilisant l'apprentissage basé sur les préférences (inspiré par DPO).

• Construction de l'Enseignant : L'enseignant $\pi_{\text{teach}}(y|x)$ est défini comme le même modèle de base conditionné par un contexte privilégié $c$ (par exemple, $\pi(y|x, c)$).
• Paires de Préférences : Pour chaque entrée $x$, un échantillon positif $y^+$ est généré par l'enseignant (mieux conditionné), et un échantillon négatif $y^-$ est généré par l'élève actuel (sur politique).
• Fonction de Perte : La méthode maximise la probabilité que la réponse de l'enseignant soit préférée à celle de l'élève en utilisant un modèle de Bradley-Terry :
  $$\max_{\theta} \mathbb{E} \left[ \log \sigma \left( \beta \left( \log \frac{\pi_\theta(y^+|x)}{\pi_{\text{teach}}(y^+|x)} - \log \frac{\pi_\theta(y^-|x)}{\pi_{\text{teach}}(y^-|x)} \right) \right) \right]$$
  Cette formulation optimise efficacement l'écart de préférence entre les échantillons de l'enseignant et de l'élève tout en maintenant un échantillonnage sur politique, évitant ainsi le besoin d'un modèle de récompense explicite.

3. Analyse Statistique

L'article fournit une analyse statistique du problème d'apprentissage par préférences induit. Il établit que l'auto-distillation contextuelle est théoriquement préférable à l'apprentissage à partir d'un enseignant externe lorsque :

• Les échantillons positifs générés par l'enseignant fournissent des directions de gap de scores diversifiées (couvrant des directions informatives au-delà de la distribution actuelle de l'élève).
• Les marges de préférence entre l'enseignant et l'élève restent modérées.
  L'analyse montre que la complexité d'échantillonnage locale est régie par la plus petite valeur propre de la matrice d'information empirique. L'auto-distillation contextuelle maintient naturellement des marges modérées (évitant la saturation) tout en fournissant des directions plus riches que la simple copie de soi-même, conduisant à des bornes d'estimation plus serrées.

Contributions Clés

1. Objectif Régularisé par la Récompense : Introduction d'un objectif d'auto-distillation qui équilibre la proximité à l'enseignant avec la maximisation de la récompense, prouvant que la cible optimale est une distribution de l'enseignant réattribuée par la récompense plutôt que l'enseignant lui-même.
2. Cadre PBSD : Proposition d'un nouveau cadre d'auto-distillation sur politique basé sur les préférences qui optimise les écarts de préférence entre les échantillons de l'enseignant et de l'élève sans nécessiter d'enseignant externe ni de modèle de récompense.
3. Justification Théorique : Fourniture d'une analyse statistique établissant les conditions dans lesquelles l'auto-distillation contextuelle surpasse la distillation à partir d'enseignants externes, spécifiquement concernant le compromis entre la diversité du gap de scores et la modération des marges.
4. Validation Empirique : Démonstration d'améliorations constantes à travers plusieurs échelles de modèles (1,7B, 4B, 8B) sur des benchmarks de raisonnement mathématique et d'utilisation d'outils.

Résultats Expérimentaux

Les auteurs ont évalué le PBSD sur le raisonnement mathématique (jeu de données OpenThoughts, évalué sur AIME 2024/2025, HMMT 2025) et l'utilisation d'outils (configuration basée sur ToolAlpaca) en utilisant des modèles Qwen3.

• Performance : Le PBSD a constamment atteint les meilleures performances moyennes sur toutes les échelles de modèles et toutes les tâches.
  • Sur Qwen3-8B, le PBSD a atteint une moyenne mathématique de 65,2, surpassant le modèle de base (+3,7) et la ligne de base la plus forte OPSD (+1,0).
  • Sur Qwen3-4B et 1,7B, le PBSD a également atteint les moyennes les plus élevées, surpassant des lignes de base comme GRPO, DAPO et OPSD.
  • Dans l'utilisation d'outils, le PBSD a atteint la meilleure précision top-1 à toutes les échelles (par exemple, 72,0 % pour 8B).
• Stabilité : Contrairement à l'OPSD, qui atteint souvent un pic précoce et se dégrade, le PBSD a démontré une progression d'entraînement stable tout au long du budget de 500 étapes.
• Efficacité des Tokens : Le PBSD a maintenu l'efficacité des tokens de l'auto-distillation (un seul déploiement par invite) tout en atteignant des performances comparables ou supérieures aux méthodes basées sur le RL (comme GRPO) qui nécessitent des budgets de tokens massifs.
• Ablations :
  • Enseignant Fixe : Il a été constaté que maintenir l'enseignant fixe à l'initialisation était suffisant et efficace ; la mise à jour de l'enseignant tous les 5 étapes n'offrait aucun bénéfice clair.
  • Exploration : Le PBSD a mieux préservé les comportements de raisonnement exploratoires (longueurs de complétion modérées) que les méthodes d'ajustement KL direct, évitant l'effondrement vers des traces trop courtes et trop confiantes.

Signification et Revendications

L'article revendique que le PBSD comble un fossé fondamental dans les paradigmes d'entraînement postérieur en combinant l'efficacité des tokens de l'auto-distillation avec la stabilité et la conscience de la récompense de l'optimisation par préférences.

• Au-delà de l'Ajustement KL : Le travail remet en question l'hypothèse selon laquelle l'auto-distillation doit être un problème d'ajustement de distribution direct. Il postule que l'enseignant doit définir le support des comportements utiles, tandis que l'optimisation doit amplifier sélectivement les réponses à plus haute valeur via la réattribution par la récompense.
• Évolutivité : En éliminant la dépendance aux modèles enseignants externes ou aux modèles de récompense, le PBSD offre une voie évolutive pour démocratiser les agents open-source capables, en particulier dans les scénarios de raisonnement multi-tours et d'utilisation d'outils.
• Robustesse : Le cadre fournit une distribution cible plus robuste qui préserve le raisonnement exploratoire et admet une optimisation plus stable par rapport aux lignes de base d'auto-distillation précédentes.

Les auteurs concluent que l'auto-distillation consciente de la récompense représente un paradigme prometteur pour l'entraînement postérieur stable et évolutif des LLM orientés vers le raisonnement, comblant efficacement le fossé entre la supervision dense et l'optimisation par récompense sans dépendances externes.