Résumé Technique : InfoSFT

Énoncé du Problème

Le Fine-Tuning Supervisé (SFT) est l'approche standard pour enseigner aux Modèles de Langage à Grande Échelle (LLM) de nouveaux comportements à l'aide de démonstrations d'experts hors ligne. Cependant, le SFT standard souffre de deux limitations critiques :

1. Généralisation Faible au Moment du Test : Le SFT standard ajuste uniformément tous les échantillons, y compris ceux ayant une faible vraisemblance sous le modèle de base. Ces tokens à faible vraisemblance engendrent de grandes pertes de négatif-log-vraisemblance, contraignant le modèle à surajuster des échantillons spécifiques plutôt qu'à apprendre le comportement cible sous-jacent. Par conséquent, le SFT sous-performe souvent par rapport aux méthodes on-policy (comme le RL) sur les benchmarks de généralisation.
2. Oubli Catastrophique : L'adaptation à de nouveaux comportements à l'aide de données hors ligne à faible vraisemblance induit des déplacements substantiels dans la distribution de sortie du modèle. Ce grand déplacement distributionnel est corrélé à la dégradation des capacités antérieures (par exemple, la sécurité, le suivi des instructions ou le raisonnement général), un phénomène connu sous le nom d'oubli catastrophique.

Les stratégies d'atténuation existantes, telles que le filtrage ou la pondération à la baisse des données à faible vraisemblance, suppriment souvent les nouveaux comportements mêmes que le modèle de base doit apprendre, créant un compromis entre l'apprentissage de nouvelles tâches et la rétention des anciennes.

Méthodologie : InfoSFT

Les auteurs proposent InfoSFT, un schéma de pondération de tokens fondé sur des principes, conçu pour concentrer les signaux d'apprentissage sur les « tokens de confiance moyenne, maximalement informatifs ». La méthode est dérivée d'un cadre de mise à jour proximale, optimisant le compromis entre l'ajustement à la distribution d'expert et le maintien de la proximité avec le modèle de base sous un budget fixe de divergence KL.

Déduction Théorique

Les auteurs formulent le SFT comme un problème de gradient de politique où la pondération d'un échantillon dépend de sa vraisemblance $q = \pi_\theta(y^*|x)$ sous le modèle actuel.

• Le SFT Standard attribue un poids uniforme ($w=1$), traitant efficacement tous les tokens de manière égale.
• Le DFT (SFT Pondéré par la Vraisemblance) attribue des poids proportionnels à la vraisemblance ($w \propto q$), ce qui stabilise l'entraînement mais sous-pondère les échantillons informatifs à faible vraisemblance.
• InfoSFT déduit une règle de pondération optimale qui privilégie l'ajustement à la distribution de population des données d'expert plutôt que la mémorisation d'échantillons individuels. Le poids optimal pour un token de vraisemblance $q$ est déduit comme suit :
  $$w_{info}(q) \propto q \left( \text{logit}(p) - \text{logit}(q) \right)_+$$
  Où :
  • $p$ est une estimation de la confiance moyenne de l'expert (une constante de calibration).
  • $\text{logit}(q) = \log(\frac{q}{1-q})$.
  • $(\cdot)_+$ désigne le recadrage pour garantir des poids non négatifs.

Caractéristiques Clés

• Focus sur la Confiance Intermédiaire : La fonction de pondération atteint son pic pour les tokens ayant une confiance intermédiaire. Elle attribue des poids élevés aux tokens peu probables sous le modèle de base (et donc informatifs) mais pas si improbables qu'ils provoquent une instabilité.
• Poids Nul pour les Extrêmes :
  • Pour les tokens très confiants ($q \to 1$), le terme de correction s'annule, évitant un renforcement inutile des tokens que le modèle prédit déjà bien.
  • Pour les tokens extrêmement improbables ($q \to 0$), le poids s'annule, empêchant l'instabilité.
• Implémentation : InfoSFT ne nécessite qu'une modification d'une ligne à la fonction de perte standard au niveau des tokens. Elle remplace le poids uniforme par le facteur de pondération déduit.

Contributions Clés

1. Mise à Jour Optimale sous Budget KL : L'article démontre théoriquement que, lorsqu'il est contraint de rester proche du modèle de base (budget KL fixe), la stratégie de mise à jour optimale attribue les poids les plus élevés aux échantillons ayant une confiance intermédiaire, plutôt que des poids uniformes ou proportionnels à la vraisemblance.
2. Algorithme InfoSFT : Une variante SFT simple et novatrice qui intègre cette règle de pondération. Elle met l'accent sur les tokens informatifs à faible vraisemblance tout en attribuant peu de poids aux tokens déjà résolus.
3. Complémentarité avec le SFT : Les auteurs montrent que InfoSFT et le SFT standard sont complémentaires. Le SFT est efficace pour introduire des formats très improbables (par exemple, de nouveaux tags de raisonnement comme <thought>), tandis qu'InfoSFT est supérieur pour affiner le modèle une fois que ces formats deviennent plus probables.

Résultats Expérimentaux

Les auteurs ont évalué InfoSFT sur des tâches de mathématiques, de code et de raisonnement par Chaîne de Pensée (CoT) en utilisant diverses familles de modèles (Qwen-2.5, Llama-3.1) et tailles.

• Performance de Généralisation : InfoSFT a constamment surpassé le SFT vanilla et le DFT sur les benchmarks au moment du test (MATH500, AMC, HumanEval, MultiPL-E). Notamment, il a obtenu des scores pass@8 plus élevés, indiquant une meilleure diversité et robustesse dans la génération de solutions correctes parmi plusieurs échantillons.
• Oubli Catastrophique : Dans les expériences mesurant le compromis entre la précision sur la nouvelle tâche et les capacités antérieures (Questions-Réponses Scientifiques et Utilisation d'Outils), InfoSFT a atteint une frontière de Pareto supérieure. Il a atteint une précision sur la nouvelle tâche plus élevée que le SFT et le DFT tout en préservant plus efficacement les capacités antérieures (par exemple, HumanEval, IFEval).
• Contrôle de l'Entropie : Contrairement au DFT, qui conduit souvent à un effondrement de l'entropie (sorties déterministes), InfoSFT maintient une entropie de sortie plus élevée, ce qui est crucial pour l'alignement en aval et l'inférence basée sur l'échantillonnage.
• Raisonnement CoT : Dans le fine-tuning CoT, une approche en deux étapes (1 époque de SFT suivie de 1 époque d'InfoSFT) a produit les meilleurs résultats sur AIME, exploitant le SFT pour apprendre le format et InfoSFT pour affiner le raisonnement.

Signification et Revendications

L'article revendique que la pondération des tokens est un ingrédient clé pour un post-entraînement supervisé fiable. En allant au-delà de l'ajustement uniforme ou d'une pondération simple par vraisemblance, InfoSFT adresse la tension fondamentale entre l'apprentissage de nouveaux comportements à partir de données hors ligne et la préservation des capacités préexistantes. La méthode offre une solution fondée sur des principes, à faible surcharge, qui améliore la généralisation et atténue l'oubli catastrophique sans nécessiter de filtrage complexe des données ou d'échantillonnage on-policy. Les auteurs positionnent InfoSFT comme une alternative robuste qui comble le fossé entre la stabilité du SFT et les bénéfices de généralisation des méthodes on-policy.