Résumé Technique : Optimisation de Politique Guidée par la Stratégie (SGPO) pour le Raisonnement des LLM

1. Énoncé du Problème

Les méthodes actuelles de distillation des capacités de raisonnement d'un modèle de langage (LLM) fort vers un modèle faible reposent principalement sur l'imitation au niveau de la trajectoire. Qu'il s'agisse de l'ajustement fin supervisé (SFT) sur des traces d'experts ou d'une optimisation de politique hybride, ces approches entraînent les modèles étudiants à reproduire des séquences de solutions spécifiques générées par des experts. L'article soutient que cette unité de transfert de connaissances est défectueuse : elle encourage la mémorisation de motifs propres à chaque instance plutôt que l'acquisition de compétences de résolution de problèmes transférables. Par conséquent, les modèles entraînés de cette manière peinent à se généraliser à de nouveaux problèmes car ils apprennent ce qu'il faut répondre plutôt que comment raisonner.

Le défi central abordé est de savoir comment déplacer la cible de la distillation des trajectoires de solutions concrètes vers des stratégies de résolution de problèmes réutilisables qui expliquent pourquoi des étapes spécifiques ont été choisies, sans exiger que le modèle dépende d'indices externes lors de l'inférence.

2. Méthodologie : Optimisation de Politique Guidée par la Stratégie (SGPO)

Les auteurs proposent la SGPO, un cadre qui remplace l'imitation de trajectoire au niveau de l'instance par une distillation de stratégie réutilisable. Le cadre fonctionne en extrayant des descriptions de stratégies structurées à partir des réponses de modèles forts et en les utilisant pour remodeler la distribution de raisonnement du modèle étudiant.

2.1 Composants Clés

Pour chaque problème $q$, la SGPO construit deux groupes de trajectoires :

1. Groupe Autonome : Échantillonné à partir de la politique actuelle $\pi_\theta(\cdot | q)$.
2. Groupe Guidé par la Stratégie : Échantillonné à partir de $\pi_\theta(\cdot | q, s)$, où $s$ est une description de stratégie concise en langage naturel (spécifiant le type de problème, l'approche et les étapes procédurales) extraite d'un modèle fort, mais ne contenant ni calculs ni réponse finale.

Le cadre répond à deux questions clés : Comment distiller et Quand distiller.

2.2 Comment Distiller : Objectif Forward-KL au Niveau du Token

Au lieu d'imiter directement la trajectoire guidée (ce qui reviendrait à une SFT), la SGPO distille le décalage de distribution induit par le conditionnement de la stratégie.

• Divergence Forward-KL : La méthode minimise la divergence de Kullback-Leibler où la distribution guidée par la stratégie est la référence et la distribution non guidée est la cible ($D_{KL}(\pi_{guided} || \pi_{unguided})$).
• Sélectivité : Contrairement à la Reverse KL, qui ferait s'effondrer la politique sur un mode guidé unique, la Forward KL encourage la politique non guidée à couvrir le mode guidé tout en préservant les alternatives existantes découvertes par l'exploration autonome.
• Mécanisme : L'objectif concentre naturellement la pression d'optimisation sur les tokens où la distribution du prochain token change de manière significative sous le conditionnement de la stratégie (par exemple, le choix d'une méthode mathématique spécifique). Ceux-ci correspondent à des points de décision critiques pour la stratégie, tandis que les tokens linguistiques de routine présentent une faible divergence KL. Cela fournit un signal de distillation sélectif sans nécessiter d'annotations explicites au niveau du token.

2.3 Stabilité et Efficacité : Contraintes Proximales

Pour assurer la stabilité et l'efficacité de l'entraînement, la SGPO emploie trois niveaux de contraintes proximales :

1. Niveau Trajectoire (Sélection de Cible Atteignable) : Au lieu de faire la moyenne sur toutes les trajectoires guidées correctes, la méthode sélectionne la trajectoire guidée unique la plus atteignable par la politique non guidée actuelle. Cela minimise l'écart de distribution que le modèle doit combler.
2. Niveau Token (Écrêtage KL) : Les positions de tokens où la divergence entre les distributions guidée et non guidée dépasse un seuil $\delta$ sont masquées. Cela empêche les positions aberrantes de dominer l'optimisation et de provoquer un effondrement de l'entropie.
3. Niveau Instance (Pondération Adaptative) : Un poids dynamique $\alpha(q)$ module la force de la distillation en fonction du bénéfice marginal du guidage par la stratégie.
   • Si le taux de réussite autonome est faible et que le taux de réussite guidé est élevé, $\alpha(q)$ est grand, renforçant ainsi le guidage.
   • À mesure que la compétence autonome du modèle croît, $\alpha(q)$ diminue, assurant une transition naturelle de l'entraînement d'une amélioration pilotée par la stratégie vers une optimisation autonome sans planification manuelle.

2.4 Objectif Global

L'objectif total combine l'optimisation de politique relative de groupe (GRPO) autonome avec le terme de distillation de stratégie proximale :
$$\mathcal{L}(\theta; q) = \mathcal{L}_{GRPO}(\theta; q) + \alpha(q) \mathcal{L}^{clip}_{KD}(\theta; q)$$

3. Contributions Clés

• Changement de Paradigme : Déplace la distillation du raisonnement de l'imitation de trajectoires de solutions spécifiques vers l'internalisation de stratégies de résolution de problèmes réutilisables.
• Distillation Forward-KL : Introduit un objectif Forward-KL au niveau du token qui transfère sélectivement les connaissances stratégiques en se concentrant sur les changements de probabilité aux points de décision, surpassant l'imitation directe de trajectoire.
• Cadre Adaptatif : Propose une dynamique d'entraînement où la force de la distillation s'adapte automatiquement à la compétence du modèle, éliminant le besoin de planification de curriculum manuelle.
• Mise à l'échelle Complémentaire : Démontre que les bénéfices de la distillation de stratégie augmentent avec la capacité du modèle de base, suggérant qu'une compétence de raisonnement minimale est requise pour internaliser efficacement le guidage stratégique.

4. Résultats Expérimentaux

Des expériences ont été menées sur quatre benchmarks de raisonnement mathématique (MATH500, AMC 23, OlympiadBench, AIME 24) en utilisant deux familles de modèles : Qwen2.5 (1.5B et 7B) et Llama-3.2 (8B).

• Performance : La SGPO a systématiquement surpassé les bases fortes, incluant le SFT, le RL on-policy (SFT+GRPO) et les méthodes de politique hybride (HPT, LUFFY).
  • Sur Qwen2.5-7B-Instruct, la SGPO a amélioré le score moyen de 2,2 points par rapport à la base la plus forte (LUFFY) et de 9,9 points par rapport au modèle de base.
  • Sur Qwen2.5-1.5B-Instruct, le score moyen s'est amélioré de 6,7 points par rapport au modèle de base.
• Études d'Ablation :
  • La suppression de la distillation de stratégie a réduit les performances, confirmant la valeur du transfert au niveau de la stratégie par rapport au pur RL.
  • La suppression du GRPO autonome a entraîné un effondrement de l'entropie et une stagnation des performances, soulignant la nécessité de maintenir la diversité de l'exploration.
  • La suppression des contraintes proximales a causé la chute de performance la plus importante (6,8 points), indiquant leur rôle critique dans la stabilité.
• Analyse :
  • Sélectivité : Le signal Forward-KL a atteint son maximum lors des étapes critiques de la stratégie (ex: déterminer le dénominateur commun) tout en restant faible pour les tokens de routine, contrairement à la décroissance monotone de la perte d'une SFT directe.
  • Mise à l'échelle : Les gains de la SGPO étaient plus importants pour les modèles de base plus forts, suggérant que la distillation de stratégie est complémentaire à la compétence fondamentale de raisonnement.

5. Signification et Revendications

L'article affirme que le transfert de connaissances au niveau de la stratégie est une direction plus efficace pour la distillation du raisonnement que l'imitation au niveau de la trajectoire.

• Généralisation : En internalisant comment raisonner (stratégies) plutôt que quoi répondre (trajectoires), les modèles acquièrent des compétences transférables qui se généralisent mieux à de nouveaux problèmes.
• Sélectivité Inhérente : L'objectif Forward-KL proposé agit comme un mécanisme automatique pour identifier et amplifier les tokens critiques de la stratégie, supprimant le besoin d'annotation manuelle des étapes de raisonnement.
• Efficacité : Le mécanisme de pondération adaptative garantit que les ressources de calcul sont concentrées sur les instances où le guidage stratégique apporte le bénéfice marginal le plus élevé, menant à une convergence plus rapide et à des plafonds de performance plus élevés.

Les auteurs concluent que si l'amélioration des capacités de raisonnement comporte des risques potentiels, l'accent spécifique mis sur le raisonnement mathématique présente un risque direct minimal, et que le cadre offre une voie robuste pour améliorer le raisonnement des LLM via la distillation de stratégie.