Résumé Technique : Un SFT de qualité optimise pour le SFT, un SFT supérieur prépare l'apprentissage par renforcement

1. Énoncé du problème

Le post-entraînement des modèles de langage de grande taille (LLM) de raisonnement suit généralement un paradigme en deux étapes : une étape de Fine-Tuning Supervisé (SFT) hors ligne pour produire un point de contrôle initial, suivie d'une étape d'apprentissage par renforcement (RL) en ligne pour améliorer davantage les performances. Une hypothèse prédominante dans les pipelines actuels est que l'optimisation de l'étape SFT pour une précision hors ligne maximale (par exemple, maximiser la vraisemblance du prochain token ou minimiser la perte sur la distribution d'entraînement) produira naturellement une initialisation plus robuste pour le RL ultérieur.

Cependant, les auteurs démontrent que cette hypothèse est erronée. Ils observent que les modèles initialisés à partir de points de contrôle SFT « plus forts » (ceux ayant des performances hors ligne supérieures) peuvent sous-performer de manière significative par rapport à ceux initialisés à partir de points de contrôle « plus faibles » après avoir subi un entraînement RL identique. Ce phénomène est attribué à un décalage de distribution entre les étapes hors ligne et en ligne :

• SFT hors ligne : Le modèle apprend à partir de données échantillonnées à partir d'une politique de comportement ($\pi_\beta$), souvent un modèle différent ou un jeu de données statique.
• RL en ligne : Le modèle apprend à partir de trajectoires générées par sa propre politique cible évolutive ($\pi_\theta$).

Le SFT standard applique une supervision uniforme au niveau des tokens basée sur la distribution de la politique de comportement. Dans les tâches de raisonnement à horizon long, cela peut renforcer des motifs de transition (par exemple, des continuations sans issue) qui sont hautement probables sous la politique de comportement mais peu plausibles sous la politique cible. Par conséquent, le modèle apprend à associer des préfixes à des continuations qu'il revisitera rarement lors du RL en ligne, conduisant à une initialisation sous-optimale qui entrave l'apprentissage en aval.

2. Méthodologie : PEAR

Pour remédier à ce décalage, les auteurs proposent PEAR (Policy Evaluation–inspired Algorithm for Offline Learning Loss Reweighting). PEAR est une méthode de l'étape SFT qui réajuste la perte d'entraînement pour mieux aligner l'objectif hors ligne avec la distribution de la politique cible, préparant ainsi efficacement le modèle à la phase de RL en ligne.

Mécanisme central

PEAR utilise l'échantillonnage par importance pour corriger le décalage de distribution entre la politique de comportement ($\pi_\beta$) et la politique cible ($\pi_\theta$). Au lieu de traiter tous les tokens du jeu de données hors ligne de manière égale, PEAR réajuste la perte de chaque token en fonction du rapport de vraisemblance entre la politique cible et la politique de comportement.

La fonction objectif est modifiée comme suit :
$$L_{PEAR}(\theta) \triangleq \mathbb{E}_{(x,y) \sim D} \left[ \sum_{t=1}^{T} \text{sg}[\hat{G}_t] \cdot \ell_\theta(x, y_{<t}, y_t) \right]$$
Où :

• $\ell_\theta$ est la perte standard par token (par exemple, NLL ou divergence KL).
• $\text{sg}[\cdot]$ désigne un opérateur stop-gradient, traitant le poids comme un coefficient fixe.
• $\hat{G}_t$ est le poids d'importance numériquement stabilisé pour le token $t$.

Variantes de pondération

PEAR offre trois granularités pour le calcul des poids $\hat{G}_t$ :

1. Pondération au niveau de la séquence : Applique un seul rapport d'importance global ($w_{1:T} = \prod_{t=1}^T \frac{\pi_\theta(y_t|x, y_{<t})}{\pi_\beta(y_t|x, y_{<t})}$) à tous les tokens d'une trajectoire. Cela suppose que la plausibilité de l'ensemble de la séquence sous la politique cible est uniforme.
2. Pondération au niveau du token (basée sur le suffixe) : Calcule les poids en fonction du rapport d'importance du suffixe. Pour un token $y_t$, le poids est déterminé par la vraisemblance de la continuation restante ($y_{>t}$) sous la politique cible par rapport à la politique de comportement :
   $$G_t = \gamma^{T-t} \prod_{j=t+1}^{T} \frac{\pi_\theta(y_j|x, y_{<j})}{\pi_\beta(y_j|x, y_{<j})}$$
   Cela réduit le poids des tokens qui mènent à des continuations que la politique cible est peu susceptible de générer, en concentrant l'apprentissage sur les préfixes compatibles avec le comportement futur de la politique cible.
3. Pondération au niveau des blocs : Pour atténuer la variance élevée inhérente aux poids d'importance multiplicatifs à horizon long, la séquence est partitionnée en blocs. Les poids sont calculés et appliqués uniformément au sein de chaque bloc, échangeant une certaine granularité contre la stabilité.

Fonctionnalités supplémentaires

• Exemples négatifs : PEAR peut intégrer des trajectoires d'échec vérifiées en appliquant un terme répulsif, repoussant le modèle loin des continuations négatives tout en maintenant la cohérence de la politique.
• Adaptation boîte noire : Lorsque la politique de comportement exacte $\pi_\beta$ n'est pas disponible (par exemple, données propriétaires), PEAR peut utiliser un modèle proxy ou un ensemble de proxies pour approximer les log-probabilités de la politique de comportement.
• Stabilisation numérique : La méthode emploie un calcul dans l'espace des logarithmes et un recadrage des rapports logarithmiques pour prévenir l'instabilité numérique lors du calcul de longues séquences de produits.

3. Contributions clés

• Démonstration empirique du découplage hors ligne/en ligne : L'article fournit des expériences contrôlées montrant que la performance hors ligne est un proxy peu fiable pour la performance post-RL. Des objectifs SFT plus forts peuvent conduire à des résultats RL finaux plus faibles en raison d'un décalage de distribution.
• Algorithme PEAR : L'introduction d'un schéma de réajustement pratique et plug-in qui utilise les principes de l'évaluation hors politique (OPE) pour aligner le SFT hors ligne avec les objectifs du RL en ligne.
• Évaluation complète : Tests extensifs sur plusieurs familles de modèles (Qwen2.5, Qwen3, DeepSeek-distilled) et tailles (de 0,6B à 8B) sur des tâches de raisonnement vérifiables (jeux de logique, benchmarks mathématiques).
• Analyse de la dérive des paramètres : Les auteurs montrent que les modèles initialisés avec PEAR subissent moins de dérive des paramètres lors de l'entraînement RL ultérieur, suggérant que PEAR réduit le besoin pour la phase RL de corriger les désalignements hors ligne/en ligne.

4. Résultats expérimentaux

Les auteurs ont mené des expériences sur des énigmes logiques synthétiques (SynLogic, Enigmata) et des benchmarks de raisonnement mathématique (AIME-2024/2025, AMC-2023, MATH-500).

• Gains de performance : PEAR surpasse systématiquement le SFT canonique et d'autres baselines (y compris le SFT régularisé KL, TALR, et divers objectifs basés sur les probabilités) après le RL.
  • Sur AIME-2025, les modèles initialisés avec PEAR ont obtenu des gains de Pass@8 allant jusqu'à 30 points de pourcentage par rapport au SFT standard (par exemple, passant de 5 % à 35 % sur DeepSeek-Distill-Qwen-1.5B).
  • Sur les jeux de logique SynLogic, PEAR a montré des améliorations de Pass@1 allant jusqu'à +25 points de pourcentage (par exemple, de 13,1 % à 38,3 % sur Qwen3-1.7B-Base).
• Généralisation : Les bénéfices de PEAR se transfèrent à travers différentes distributions de tâches RL (par exemple, entraînement sur SynLogic et RL sur Enigmata) et différents algorithmes RL (GRPO et DAPO).
• Robustesse boîte noire : Même en utilisant des modèles proxy pour approximer la politique de comportement, PEAR surpasse significativement le SFT standard, les proxies forts correspondant aux performances boîte blanche.
• Stabilité : Les modèles initialisés avec PEAR présentent une dérive des paramètres plus faible (mesurée par le décalage spectral normalisé) lors de la phase RL en ligne par rapport aux modèles initialisés avec un SFT standard, indiquant une trajectoire d'apprentissage plus efficace.

5. Signification et affirmations

L'article soutient que l'objectif de l'étape SFT hors ligne ne devrait pas être simplement de maximiser la précision hors ligne, mais de préparer la politique pour le RL en ligne ultérieur.

• Post-entraînement holistique : Les auteurs affirment que la conception d'objectifs SFT en tenant compte du RL en aval est cruciale. L'optimisation pour des métriques hors ligne de manière isolée peut être contre-productive, car elle peut renforcer des comportements incompatibles avec les dynamiques d'exploration et d'optimisation de la politique cible.
• Correction du décalage : PEAR sert d'instanciation concrète du principe selon lequel l'entraînement hors ligne doit corriger le décalage d'occupation entre comportement et cible. En réduisant le poids des continuations peu plausibles et en augmentant celui de celles compatibles avec la politique cible, PEAR crée une initialisation plus efficace.
• Impact pratique : Les résultats suggèrent que des stratégies de réajustement simples basées sur l'évaluation hors politique peuvent produire des améliorations substantielles des capacités de raisonnement sans nécessiter de changements architecturaux complexes ni de collecte de données supplémentaire, à condition que les probabilités de la politique de comportement soient accessibles (ou approximées).

Les auteurs concluent que « une bonne étape hors ligne ne devrait pas optimiser pour la précision hors ligne, mais préparer la politique pour le RL qui suit », positionnant PEAR comme une étape vers des pipelines de post-entraînement LLM plus holistiques.