Résumé Technique : RASFT (Rollout-Adaptive Supervised Fine-Tuning for Reasoning)

1. Énoncé du Problème

Le réglage fin supervisé (Supervised Fine-Tuning - SFT) est l'approche standard pour adapter les grands modèles de langage (LLM) aux tâches de raisonnement en imitant des démonstrations d'experts hors ligne. Cependant, les auteurs identifient une limitation critique dans ce paradigme : le raisonnement n'est pas une simple tâche d'imitation de chemin. Un problème unique admet souvent plusieurs chemins de solution valides, pourtant le SFT standard traite une trajectoire d'expert hors ligne comme un comportement cible rigide.

Cette imitation rigide peut entraîner deux problèmes :

1. Surapprentissage des formes de surface : Le modèle peut mémoriser la démonstration spécifique plutôt que d'apprendre la distribution sous-jacente du raisonnement.
2. Suppression de la capacité latente : Les LLM préentraînés possèdent souvent de riches distributions de raisonnement latentes. Une sur-imitation d'un chemin d'expert unique peut écraser ces priors, affaiblissant la propre capacité du modèle à générer des trajectoires de raisonnement diverses et correctes.

Les variantes existantes du SFT (par exemple, DFT, ASFT, ProFiT) tentent d'atténuer cela en redimensionnant les signaux d'apprentissage ou en s'ancrant à des modèles de référence, mais elles restent largement « internes à la démonstration ». Elles optimisent sur la base de signaux au sein de la trajectoire hors ligne plutôt qu'en calibrant la supervision selon la capacité réelle de la politique actuelle à résoudre le problème.

2. Méthodologie : RASFT

Les auteurs proposent le Rollout-Adaptive Supervised Fine-Tuning (RASFT), un cadre conscient de la politique qui équilibre dynamiquement le guidage de l'expert avec le raisonnement auto-généré basé sur la performance actuelle du modèle.

Composants Clés

1. Construction du Pool de Candidats Locaux :
   Pour chaque invite de problème $x_i$, RASFT construit un pool $G_i$ contenant :

   • La trajectoire de l'expert hors ligne ($y^e_i$).
   • Des trajectoires correctes vérifiées générées par la politique actuelle ($\pi_\theta$) via des rollouts on-policy.
   • Note : Les rollouts incorrects sont filtrés des cibles d'optimisation mais sont utilisés pour estimer la difficulté.

2. Estimation de la Solvabilité au Niveau du Problème ($\zeta_i$) :
   Le modèle génère $K$ rollouts pour une invite donnée. Un vérificateur spécifique à la tâche (par exemple, correspondance de la réponse finale pour les mathématiques, tests d'assertion pour le code) détermine la correction. L'indice de solvabilité est calculé comme le taux de réussite :
   $$\zeta_i = \frac{1}{K} \sum_{k=1}^{K} c_{i,k}$$
   où $c_{i,k} \in \{0, 1\}$ indique la correction. Ce score reflète la capacité de la politique actuelle à résoudre le problème.

3. Pondération Adaptative :
   RASFT assigne des poids aux trajectoires dans le pool de candidats en fonction de $\zeta_i$ :

   • Poids de la Trajectoire de l'Expert ($W_e$) : Ajusté dynamiquement. Lorsque $\zeta_i$ est faible (le modèle peine), la trajectoire de l'expert reçoit un poids plus élevé pour fournir un guidage correctif fort. Lorsque $\zeta_i$ est élevé (le modèle est fiable), le poids est atténué pour éviter l'ajustement rigide et permettre au propre raisonnement du modèle de dominer.
   • Poids de la Trajectoire Auto-générée ($W_r$) : Fixe pour les rollouts vérifiés comme corrects.

4. Objectif Régularisé par la Politique :
   Pour éviter une dérive excessive de la distribution préentraînée, RASFT introduit un ratio inverse tronqué entre un modèle de référence gelé ($\pi_{ref}$) et la politique actuelle ($\pi_\theta$). La fonction de perte finale combine :

   • Des poids de trajectoire normalisés ($\bar{W}_{i,j}$).
   • Le ratio inverse tronqué ($Clip(r_{i,j}(\theta))$).
   • La confiance au niveau du token ($p_{\theta}$).

L'objectif minimise une perte séquence-à-séquence pondérée :
$$\mathcal{L}(\theta) = -\mathbb{E}_i \left[ \sum_{y_{i,j} \in G_i} \sum_{t=1}^{|y_{i,j}|} \omega_{i,j,t} \log p_{\theta, i,j,t} \right]$$
où $\omega_{i,j,t}$ est le poids composé.

3. Contributions Clés

L'article résume ses contributions comme suit :

• Identification d'une Limitation : Il souligne que les variantes de SFT existantes manquent de conscience de la politique, échouant à distinguer quand l'imitation de l'expert est nécessaire versus quand elle devient un ajustement de chemin rigide.
• Proposition de Cadre : RASFT est introduit comme un cadre de SFT adaptatif aux rollouts qui utilise des rollouts on-policy vérifiés pour estimer la solvabilité du problème, équilibrant dynamiquement le guidage de l'expert avec les trajectoires correctes auto-générées.
• Validation Empirique : Des expériences approfondies démontrent que RASFT surpasse le SFT standard, les variantes de SFT (DFT, ASFT, ProFiT) et les méthodes de Reinforcement Learning (RL) représentatives (GRPO, LUFFY) sur des tâches de raisonnement mathématique et de code.

4. Résultats Expérimentaux

Des expériences ont été menées sur six benchmarks de raisonnement mathématique (MATH-500, Minerva, OlympiadBench, AIME 2024/2025, AMC 2023) et deux benchmarks de raisonnement de code (HumanEval, MBPP) en utilisant des modèles des familles Qwen2.5 et Llama-3.2.

• Gains de Performance : RASFT a systématiquement obtenu la meilleure performance moyenne.
  • Mathématiques : Sur Qwen2.5-Math-1.5B, il a obtenu un gain relatif de 10,9 % (25,00 $\to$ 27,72) par rapport au meilleur baseline.
  • Code : Sur Llama-3.2-3B, il a obtenu un gain de 26,9 % (24,93 $\to$ 31,63).
  • Comparaison avec le RL : RASFT a amélioré la précision mathématique moyenne de 15,9 % (20,25 $\to$ 23,47) par rapport à GRPO.
• Études d'Ablation :
  • Adaptativité de la Difficulté : Le retrait de la pondération adaptative a causé une chute du score moyen de 27,72 à 25,53, confirmant que l'équilibrage statique est sous-optimal.
  • Rollouts On-Policy : Le retrait des rollouts (revenant aux poids d'expert statiques) a entraîné une dégradation uniforme, soulignant la nécessité du feedback en ligne.
  • Ratio Inverse : Le retrait du ratio inverse a réduit la performance, confirmant son rôle dans la prévention du surapprentissage des données hors ligne et la préservation des priors préentraînés.
  • Transférabilité : RASFT a amélioré la performance lorsqu'il est intégré au SFT standard et à ProFiT, suggérant qu'il est complémentaire aux méthodes de redimensionnement au niveau du token.
• Dynamique d'Entraînement : RASFT a maintenu des objectifs d'entraînement stables et une densité de mise à jour de paramètres plus faible dans les phases ultérieures par rapport aux autres méthodes, indiquant une meilleure préservation des priors de raisonnement préentraînés.

5. Signification et Revendications

L'article affirme que RASFT représente un passage de l'ajustement de démonstration statique à la supervision adaptative à la politique. Sa signification réside dans :

1. Pont entre SFT et RL : Il incorpore les avantages de l'exploration en ligne (rollouts) et de la pondération adaptative typiques des méthodes de RL, tout en conservant la stabilité et la simplicité du cadre SFT.
2. Calibration Dynamique : Il calibre avec succès la force de la supervision de l'expert en fonction de la capacité réelle du modèle à résoudre un problème spécifique, évitant ainsi la suppression de sa propre distribution de raisonnement.
3. Robustesse : La méthode est robuste à travers différentes échelles de modèles et domaines de tâches, montrant des gains significatifs particulièrement sur des benchmarks difficiles (ex: AIME, OlympiadBench) où l'imitation rigide échoue.

Limitations reconnues par les auteurs :

• Coût Computationnel : RASFT est plus coûteux que le SFT standard en raison de la génération périodique et de la vérification des rollouts on-policy.
• Dépendance à la Vérification : La méthode repose sur des signaux de vérification automatique fiables (ex: réponses finales pour les maths, cas de test pour le code). Étendre cela à des tâches de raisonnement ouvertes sans signaux de correction clairs reste un défi.