Towards On-Policy SFT: Distribution Discriminant Theory and its Applications in LLM Training

1. Problématique

Le Fine-Tuning Supervisé (SFT) est une méthode efficace pour l'entraînement des grands modèles de langage (LLM) en raison de son faible coût computationnel, mais elle souffre souvent d'une généralisation inférieure par rapport aux méthodes d'Apprentissage par Renforcement (RL) (comme RLHF, DPO, SimPO).

La cause principale de cet écart réside dans la nature des données utilisées :

• Le RL utilise des données on-policy (générées par le modèle lui-même), ce qui préserve la distribution native du modèle et évite l'oubli catastrophique.
• Le SFT standard force le modèle à s'adapter à des données externes fixes, souvent hors distribution (OOD) par rapport à la capacité actuelle du modèle. Cela peut déstabiliser les structures de connaissances pré-entraînées et entraîner un oubli catastrophique.

L'objectif de ce travail est de combler ce fossé en permettant un SFT On-Policy : un processus d'entraînement qui aligne les données et l'objectif sur la distribution interne du modèle, tout en conservant l'efficacité du SFT.

2. Méthodologie et Théorie Fondamentale

Les auteurs proposent un cadre théorique et deux techniques appliquées pour réaliser cet alignement.

A. Théorie de la Discrimination de Distribution (DDT)

Pour quantifier ce qui constitue une donnée « in-distribution » (ID) pour un modèle donné, les auteurs formulent la détection d'alignement comme un problème de test d'hypothèse statistique basé sur la théorie de la détection de signal (Signal Detection Theory).

• Hypothèses :
  • $H_0$ (In-distribution) : Le token est échantillonné selon la distribution du modèle $p_t$.
  • $H_1$ (Out-of-distribution) : Le token provient d'une distribution externe inconnue $q_t$.
• Critère Optimal (CLL) : En maximisant le Rapport Signal-sur-Bruit (SNR), les auteurs démontrent que le critère optimal n'est pas la vraisemblance logarithmique brute ($\log p(x)$), mais la Vraisemblance Logarithmique Centrée (Centered Log-Likelihood - CLL) :
  $$\phi_t(x) = \log p_t(x) + H[p_t]$$
  où $H[p_t]$ est l'entropie de Shannon de la distribution conditionnelle.
• Justification : La CLL élimine la variance liée à la difficulté du contexte (entropie), ce qui permet de distinguer plus efficacement les tokens OOD (qui ont un $\phi$ fortement négatif) des tokens ID, même dans des contextes complexes.
• Propriétés Séquentielles : Sous $H_0$, la somme cumulative des scores $\phi$ forme une martingale à moyenne nulle. Sous $H_1$, elle présente une dérive négative linéaire proportionnelle à la divergence de Kullback-Leibler ($D_{KL}$).

B. Application 1 : In-Distribution Finetuning (IDFT)

C'est une méthode au niveau de la fonction de perte pour le SFT.

• Principe : Au lieu de pénaliser uniformément toutes les erreurs (ce qui force le modèle à apprendre du bruit OOD), IDFT pondère dynamiquement la perte en fonction du score $\phi_t$.
• Mécanisme : Un coefficient de modulation $\gamma_t = \exp(-\phi_t)$ est appliqué.
  • Si $\phi_t \ll 0$ (token OOD/bruit) : $\gamma_t > 1$, ce qui supprime le gradient (ignorance du token).
  • Si $\phi_t \approx 0$ (token ID) : $\gamma_t \approx 1$, apprentissage standard.
  • Si $\phi_t > 0$ (token fort ID) : $\gamma_t < 1$, ce qui renforce la consolidation des connaissances.
• Avantage : Cela protège les structures pré-entraînées contre les gradients destructeurs tout en apprenant efficacement les nouveaux motifs logiques.

C. Application 2 : Hinted Decoding (Décodage Indiqué)

C'est une technique au niveau des données pour ré-aligner le corpus d'entraînement avec la distribution du modèle.

• Problème : Les réponses correctes dans les datasets (ex: solutions de concours) sont souvent stylistiquement différentes de la génération naturelle du modèle (hors distribution).
• Solution : Un algorithme de décodage qui génère une réponse correcte tout en imitant le style du modèle.
  • Il utilise deux flux de décodage : un flux « cible » (avec la question et la réponse vraie) et un flux « brouillon » (seulement la question).
  • Il combine les distributions de probabilité de manière géométrique, en ajustant dynamiquement le poids du flux « brouillon » (style) en fonction de l'entropie du flux cible.
  • Détection de Faux Positifs : Un mécanisme surveille les délimiteurs de réponse (ex: \boxed{}) pour s'assurer que le raisonnement (CoT) et la réponse finale sont cohérents, évitant ainsi les incohérences.

3. Résultats Expérimentaux

Les auteurs ont évalué leur approche sur plusieurs modèles (Qwen2.5, DeepSeek-R1, Mistral, LLaMA) et benchmarks (Mathématiques, Code, Raisonnement Général).

• Performance vs SFT Amélioré : IDFT surpasse systématiquement les méthodes de SFT avancées (DFT, EAFT) sur les benchmarks de raisonnement mathématique (AIME, AMC, Olympiades) tout en préservant les capacités générales (MMLU, ARC).
• Performance vs RL Offline :
  • La combinaison Hinted Decoding + IDFT surpasse les algorithmes de RL offline populaires (DPO, SimPO, Reject Sampling) sur tous les benchmarks testés.
  • Efficacité des données : Cette approche atteint de meilleures performances avec un coût computationnel nettement inférieur (pas de boucles de rollouts multiples coûteuses comme en RL).
  • Robustesse : La méthode fonctionne particulièrement bien sur des modèles « instruct » ou « thinking » déjà fortement affinés, là où le SFT standard échoue souvent à cause de l'oubli catastrophique.
• Études de Cas : Les exemples montrent que Hinted Decoding réussit à transformer des solutions mathématiques correctes mais stylistiquement étrangères en réponses qui respectent à la fois la logique et le style natif du modèle.

4. Contributions Clés

1. Théorie DDT : Une fondation théorique rigoureuse utilisant la théorie de la détection de signal pour définir et quantifier mathématiquement l'alignement de distribution dans les LLM, prouvant l'optimalité de la CLL.
2. IDFT : Une nouvelle fonction de perte qui adapte l'apprentissage à la capacité distributionnelle du modèle, réduisant l'oubli catastrophique sans nécessiter de données générées.
3. Hinted Decoding : Une méthode d'inférence sans entraînement pour transformer des données externes en données « on-policy », permettant un SFT sur des données alignées.
4. Alternative au RL : Démonstration qu'un pipeline SFT optimisé peut surpasser le RL offline en termes de généralisation et d'efficacité, offrant une solution pratique pour les domaines où le RL est difficile à appliquer (manque de récompenses vérifiables, coût computationnel).

5. Signification et Impact

Ce travail remet en question le paradigme selon lequel le RL est nécessairement supérieur au SFT pour la généralisation. Il démontre que la différence clé réside dans l'alignement de la distribution des données.

• Pratique : Offre une alternative viable et moins coûteuse au RL pour l'alignement des LLM, particulièrement utile dans les domaines à haute précision (mathématiques, code, agents) où la collecte de récompenses fiables est difficile.
• Théorique : Fournit un cadre pour comprendre et contrôler le « catastrophique forgetting » en distinguant le bruit OOD des signaux d'apprentissage utiles.
• Futur : Ouvre la voie à des versions en ligne de ces méthodes (similaires à PPO) et à leur intégration dans d'autres domaines comme le décodage spéculatif ou les modèles de diffusion.

En résumé, l'article propose un cadre unifié qui transforme le SFT en un processus « on-policy » intelligent, combinant la rigueur théorique de la discrimination de distribution avec des techniques pratiques pour surpasser les méthodes de RL traditionnelles.