Résumé technique : Stabilisation du fine-tuning supervisé des LLM par contrôle distributionnel explicite

1. Énoncé du problème

L'adaptation des grands modèles de langage (LLM) après leur entraînement à de nouveaux objectifs via un fine-tuning supervisé (SFT) induit fréquemment un oubli catastrophique, où les améliorations sur une tâche cible dégradent les capacités générales préalablement acquises. Des études empiriques et théoriques récentes suggèrent que ce phénomène est principalement dû à une dérive distributionnelle excessive durant l'optimisation.

Bien que les méthodes d'apprentissage par renforcement (RL), en particulier le RL sur politique, contraignent implicitement cette dérive et préservent mieux les capacités antérieures que le SFT, elles reposent sur une collecte de données coûteuse et des pipelines d'optimisation complexes. À l'inverse, le SFT standard manque de mécanismes explicites pour réguler l'ampleur ou la direction des décalages distributionnels, conduisant souvent à des changements comportementaux abrupts. Les stratégies d'atténuation existantes, telles que la régularisation KL statique ou la distillation fixe d'un enseignant, n'offrent qu'un contrôle indirect ou globalement calibré qui ne s'aligne pas avec la géométrie locale des distributions du modèle, entraînant souvent des conflits de gradient persistants entre l'ajustement à la nouvelle tâche et la préservation du modèle de base.

Le défi central abordé est le suivant : Un mécanisme simple et explicite peut-il permettre un contrôle stable des mises à jour distributionnelles dans un cadre de SFT purement hors ligne, combinant l'efficacité du SFT et la stabilité du RL sur politique ?

2. Méthodologie : Apprentissage ancré

Les auteurs proposent l'Apprentissage ancré, un cadre qui contrôle explicitement les mises à jour distributionnelles durant le fine-tuning hors ligne en utilisant une ancre mobile dynamiquement évolutive.

Mécanisme central

Au lieu de correspondre à une distribution de référence fixe (par exemple, le modèle de base $p_{base}$), l'Apprentissage ancré construit une distribution cible intermédiaire $q^{(t)}$ à chaque itération $t$ par interpolation entre :

1. Le modèle entraînable actuel $p_{\theta}^{(t)}$.
2. Un modèle de référence SFT figé $p_{sft}$ (entraîné une seule fois sur les données cibles et maintenu fixe).

Le cadre fonctionne en deux boucles :

• Boucle externe (Sélection de l'ancre) : À l'itération $t$, une distribution ancre $q^{(t)}$ est construite via un opérateur d'interpolation $I_\alpha$ :
  $$q^{(t)}(\cdot | x) = I_\alpha(p_{\theta}^{(t)}(\cdot | x), p_{sft}(\cdot | x))$$
  L'ancre est détachée du graphe de calcul, servant de cible fixe pour la boucle interne.
• Boucle interne (Ajustement de l'ancre) : Les paramètres du modèle sont mis à jour pour approximer cette ancre en minimisant un objectif de distillation (divergence KL) sur l'ensemble de données cible $D$ :
  $$\theta^{(t+1)} \approx \arg \min_\theta \mathcal{L}_{distill}(\theta; q^{(t)})$$

Instantiations

L'opérateur d'interpolation $I_\alpha$ est instancié dans deux espaces :

1. Espace des logits : Interpolation linéaire des logits pré-softmax, suivie d'une normalisation softmax. Cela correspond à une moyenne géométrique des distributions (comportement de recherche de mode).
2. Espace des probabilités : Interpolation linéaire des distributions prédictives directement. Cela correspond à une moyenne arithmétique (comportement de couverture de mode).

Garanties théoriques

L'article fournit des preuves théoriques que cette mise à jour basée sur une ancre admet une borne supérieure linéaire de la divergence KL par itération.

• Espace des probabilités : La divergence KL entre l'ancre et le modèle courant est bornée par $\alpha \cdot KL(p_{sft} \parallel p_{\theta}^{(t)})$.
• Espace des logits : La divergence est bornée par $\frac{\alpha}{1-\alpha} KL(p_{\theta}^{(t)} \parallel p_{sft})$.

Ces bornes garantissent que le modèle transite entre les distributions de manière stable et contrôlée, transformant efficacement le fine-tuning global en une séquence de mises à jour locales de région de confiance. L'analyse théorique indique que sous une projection exacte, le modèle converge géométriquement vers la référence SFT tout en maintenant une déviation par étape bornée.

3. Contributions clés

1. Proposition de cadre : Introduction de l'Apprentissage ancré, un cadre simple qui impose un contrôle local sur les mises à jour distributionnelles dans le fine-tuning hors ligne via une ancre mobile, évitant ainsi le besoin d'interaction en ligne ou de pipelines RL complexes.
2. Stabilité théorique : Déduction de bornes explicites de divergence KL par itération pour l'ancrage dans l'espace des probabilités et l'espace des logits, fournissant des garanties formelles sur la stabilité distributionnelle.
3. Validation empirique : Démonstration que la méthode atteint un compromis supérieur entre gains de performance et stabilité sur plusieurs benchmarks, se situant constamment sur la frontière de Pareto par rapport à des bases de référence solides.

4. Résultats expérimentaux

La méthode a été évaluée sur trois tâches cibles (iGSM, MedCalc, IFEval) utilisant les modèles Qwen2.5 (1,5B–14B) et Llama-3.2-3B. La performance a été mesurée par rapport au SFT standard et à diverses bases de référence d'atténuation de l'oubli (par exemple, Low-SFT, KL-SFT, Self-SFT, Iter-SFT).

• Compromis Gain-Stabilité : Le SFT standard a atteint une performance élevée dans le domaine mais a subi une dégradation sévère des capacités générales (par exemple, >53 % de baisse de performance sur iGSM et MedCalc). L'Apprentissage ancré a réduit cette dégradation à moins de 5 % tout en maintenant des gains quasi optimaux (par exemple, 75,2 % sur iGSM).
• Optimalité de Pareto : Pour toutes les tailles de modèles et toutes les tâches, l'Apprentissage ancré s'est positionné de manière constante près de la frontière de Pareto, surpassant les bases de référence qui sacrifiaient soit la performance de domaine pour la stabilité (par exemple, Low-SFT), soit qui échouaient à prévenir l'oubli (par exemple, SFT standard).
• Mise à l'échelle : Les avantages de l'Apprentissage ancré étaient robustes à travers les échelles de modèles (1,5B à 7B), préservant des capacités générales significativement plus élevées que Low-SFT sans sacrifier la précision du domaine.
• Sensibilité aux hyperparamètres :
  • Coefficient d'interpolation ($\alpha$) : Une plage intermédiaire de $\alpha$ offrait le meilleur compromis.
  • Planification des mises à jour : L'étude a mis en évidence que la performance générale présente une dégradation non monotone avec l'augmentation des itérations d'entraînement, même lorsque la précision cible sature. Cela suggère que « plus d'entraînement » ne garantit pas la stabilité, renforçant la nécessité d'un contrôle explicite de la trajectoire.
  • Espace d'interpolation : L'interpolation dans l'espace des logits (moyenne géométrique) favorisait la stabilité et la rétention des capacités générales, tandis que l'interpolation dans l'espace des probabilités (moyenne arithmétique) favorisait la plasticité et l'adaptation au domaine.

5. Importance et affirmations

L'article affirme que l'Apprentissage ancré offre une alternative pratique aux mécanismes de stabilité implicites trouvés dans le RL sur politique. En façonnant explicitement les distributions cibles intermédiaires, il transforme l'optimisation globale en une séquence de mises à jour conservatrices et locales.

Les auteurs soulignent que leur approche :

• Opère dans un cadre purement hors ligne, ne nécessitant aucun accès à des données de domaine général pour la rejoue ou l'entraînement conjoint.
• Fournit des garanties théoriques sur la stabilité distributionnelle, s'attaquant à la cause racine de l'oubli (dérive excessive) plutôt qu'aux seuls symptômes.
• Atteint des performances quasi optimales sur les tâches cibles tout en réduisant considérablement l'oubli catastrophique, surpassant les méthodes existantes de régularisation statique et de distillation.

Limites : Les auteurs reconnaissent que l'Apprentissage ancré engendre une surcharge computationnelle supplémentaire (environ 1,5 à 2 fois la latence et l'utilisation de mémoire d'entraînement) par rapport au SFT standard en raison de la nécessité de construire des ancres et d'effectuer des passes avant supplémentaires pour la distillation. Cependant, ils notent que cela est substantiellement inférieur au coût du RL sur politique.