Post-Training is About States, Not Tokens: A State Distribution View of SFT, RL, and On-Policy Distillation

Résumé Technique : L'entraînement postérieur comme façonnage de la distribution d'états

Énoncé du Problème

Les analyses actuelles des méthodes d'entraînement postérieur des modèles de langage de grande taille (LLM) — spécifiquement le fine-tuning supervisé (SFT), l'apprentissage par renforcement (RL) et la distillation — se concentrent principalement sur les objectifs d'optimisation (par exemple, vraisemblance maximale, gradients de politique, divergence KL). Cependant, cette vision centrée sur l'objectif peine à expliquer plusieurs phénomènes empiriques :

• Pourquoi un SFT modéré peut améliorer les performances avec un oubli minimal, tandis qu'un SFT agressif (« stress ») provoque un oubli catastrophique et une dégradation des performances cibles.
• Pourquoi le RL, malgré l'utilisation de récompenses clairsemées ou bruyantes, produit souvent des améliorations stables.
• Pourquoi un modèle étudiant dans une distillation peut parfois surpasser un enseignant dégradé, même lorsque l'enseignant est la seule source de supervision.

L'article soutient que ces écarts proviennent du fait que les analyses standard négligent un axe critique de variation : la distribution d'états sur laquelle la supervision est appliquée. Dans les modèles autorégressifs, un « état » est défini comme l'invite plus le préfixe généré ($s_t = (x, y_{<t})$). Différentes méthodes d'entraînement postérieur appliquent leurs signaux à des distributions d'états fondamentalement différentes (préfixes de jeu de données fixes contre déroulements induits par l'apprenant), ce qui impacte considérablement le comportement du modèle, la localité et la rétention.

Méthodologie

Les auteurs proposent un cadre unifié considérant l'entraînement postérieur comme un façonnage de la distribution d'états. Ils décomposent toute méthode d'entraînement postérieur en deux axes distincts :

1. Source d'état ($q_k$) : D'où proviennent les contextes d'entraînement (états).
2. Source de signal ($S$) : Quelle supervision (tokens, récompenses, logits) est fournie à ces états.

Formulation Théorique :

• SFT : Ajustement d'états hors politique. Le modèle minimise la perte de tokens sur des états de jeu de données fixes ($d_{data}$). Cela crée un décalage si les trajectoires du jeu de données divergent des propres déroulements du modèle, conduisant à un biais d'exposition et une instabilité potentielle sous stress.
• RL : Amélioration locale en politique. Le modèle échantillonne des trajectoires à partir de sa politique actuelle ($d_{\pi_\theta}$) et met à jour en fonction des récompenses. Les mises à jour sont naturellement localisées aux états que le modèle visite réellement.
• Distillation en Politique (OPD) : Un hybride où l'étudiant échantillonne des états ($d_{\pi_S}$) mais où l'enseignant fournit le signal (logits ou continuations). Cela découple la source d'état de la source de signal, permettant à l'étudiant d'apprendre des réparations locales sans hériter de la distribution de trajectoire globale de l'enseignant.

Configuration Expérimentale :

• Modèle : Qwen3-0.6B-Base avec adaptateurs LoRA.
• Matériel : Une seule GPU RTX 3090.
• Tâches :
  • Cible : GSM8K (raisonnement mathématique).
  • Rétention : TruthfulQA et MMLU (pour mesurer l'oubli catastrophique).
• Métriques : Précision cible, taux de rétention, magnitude de l'oubli et dérive d'état (mesurée via la Discrepancy Moyenne Maximale, MMD, sur les caractéristiques lexicales des états de déroulement).

Conditions Expérimentales :

1. SFT Modéré : Entraînement standard sur GSM8K.
2. SFT Stress : Entraînement agressif (5 époques, taux d'apprentissage élevé, rang LoRA élevé) pour induire une dégradation.
3. OPD : Entraînement d'un étudiant utilisant un modèle « SFT Stress » dégradé comme source de signal, mais échantillonnant des états à partir de la propre politique de l'étudiant.
4. RL en Politique : RL léger utilisant des récompenses de réponse exacte relatives à un groupe sur GSM8K.

Résultats Clés

1. Le SFT est Dépendant du Contexte : Le SFT modéré a amélioré GSM8K (0,448 $\to$ 0,512) avec une perte de rétention négligeable. À l'inverse, le SFT Stress a dégradé à la fois la tâche cible (0,420) et les tâches de rétention (TruthfulQA/MMLU ont chuté de manière significative), démontrant que le SFT n'est pas intrinsèquement destructeur mais le devient sous une pression hors politique qui désaligne la distribution d'états naturelle du modèle.
2. L'OPD Surpasse les Enseignants Dégradés : Un étudiant entraîné via OPD utilisant le modèle « SFT Stress » comme enseignant a surpassé l'enseignant sur toutes les métriques (GSM8K : 0,466 contre 0,420 ; MMLU : 0,430 contre 0,364). Cela confirme que les étudiants n'héritent pas des échecs de trajectoire globale de l'enseignant s'ils sont entraînés sur leurs propres états, recevant uniquement une guidance conditionnelle locale.
3. Le RL Préserve la Localité : Le RL léger en politique a amélioré GSM8K (0,472) tout en maintenant des niveaux de rétention proches de la base. Cela soutient la vision selon laquelle le RL agit comme une procédure d'amélioration locale ancrée dans les états accessibles à l'apprenant.
4. Les Métriques de Dérive sont Insuffisantes : Des méthodes avec une dérive d'état scalaire presque identique (MMD) ont présenté des résultats de rétention très différents. Par exemple, le SFT Stress et l'OPD à partir de l'enseignant Stress avaient des valeurs MMD similaires (~0,0109) mais des taux de rétention très différents (0,82 contre 0,95). Cela indique que la source et la localité des états d'entraînement importent plus que la magnitude du décalage distributionnel seul.

Contributions

1. Cadre Unifié : Formulation du SFT, du RL et de l'OPD sous une « vue de la distribution d'états » commune, séparant explicitement la source d'état de la source de signal.
2. Pipeline Empirique Contrôlé : Mise en œuvre d'une configuration expérimentale sur un seul GPU mesurant la précision cible, la rétention, l'oubli et la dérive d'état de déroulement pour isoler les effets de la distribution d'états.
3. Preuves pour les Affirmations Centrées sur l'État : Fourniture de preuves empiriques que :
   • L'OPD peut récupérer les performances et surpasser un enseignant dégradé en découplant l'échantillonnage d'états de la génération de signal.
   • Le RL en politique améliore les performances cibles avec une perte de rétention minimale en raison de sa localité.
   • Les métriques de dérive scalaire (comme le MMD) ne peuvent pas caractériser pleinement la dynamique de l'entraînement postérieur sans considérer la source d'état.

Importance et Affirmations

L'article affirme que le comportement de l'entraînement postérieur est gouverné par l'interaction entre le signal de supervision et la distribution d'états d'entraînement. Les auteurs soutiennent que la « source, la localité et la dépendance à l'apprenant des états d'entraînement » sont aussi critiques que la forme du signal de supervision lui-même.

• Recadrage du SFT : L'oubli catastrophique n'est pas uniquement une fonction de la vraisemblance maximale mais survient lorsque des mises à jour denses hors politique poussent le modèle dans des régions incompatibles avec sa propre distribution d'états future.
• Recadrage de la Distillation : Un étudiant peut surpasser un enseignant car les erreurs de l'enseignant sont souvent couplées à la propre distribution de trajectoire de l'enseignant. En interrogeant l'enseignant sur les états de l'étudiant, l'étudiant accède à des réparations locales utiles sans hériter des échecs de trajectoire globale.
• Recadrage du RL : La stabilité du RL est partiellement attribuée à sa nature en politique, garantissant que les mises à jour sont appliquées uniquement aux états que le modèle peut réellement atteindre et auxquels il peut se rétablir.

L'article conclut qu'une vision centrée sur l'état est nécessaire pour expliquer la stabilité et les inversions de performances qu'une analyse au niveau de l'objectif seule ne peut rendre compte. Les auteurs soulignent que ces résultats sont basés sur une étude à petite échelle et doivent être considérés comme des preuves d'une hypothèse mécaniste plutôt que comme une affirmation de référence définitive.