💬 NLP

LP-SFT: Local-Preserving Supervised Fine-Tuning via Multimodal Entropy Structure

Cet article propose LP-SFT, une méthode de réglage fin supervisé qui préserve la structure d'entropie multimodale inhérente au modèle préentraîné parmi les jetons non cibles via une divergence KL localement normalisée, améliorant ainsi les performances en aval tout en atténuant la dégradation des capacités préexistantes et de la diversité d'échantillonnage.

Auteurs originaux : Yueyang Wang, Baolong Bi, Shuo Lu, Jingyuan Zhang, Jiajun Shi

Publié 2026-07-22

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Yueyang Wang, Baolong Bi, Shuo Lu, Jingyuan Zhang, Jiajun Shi

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous enseigniez à un robot brillant et érudit comment suivre des instructions. Ce robot a déjà lu presque tout l'internet, apprenant le rythme du langage, la logique des mathématiques et la structure du code. Cette phase d'apprentissage initiale est appelée « pré-entraînement ». Maintenant, vous voulez lui apprendre un métier spécifique, comme résoudre des problèmes mathématiques ou écrire du code informatique. Vous lui montrez des exemples de bonnes réponses, et le robot ajuste son cerveau pour correspondre à ces exemples. Ce processus est appelé « Ajustement Supervisé » (SFT pour Supervised Fine-Tuning).

Cependant, il y a un piège. Lorsqu'un robot devient parfait dans son nouveau métier, il oublie parfois comment être un bon interlocuteur généraliste. Il devient si obsédé par la réponse unique « correcte » que vous lui avez montrée qu'il oublie toutes les autres fins de phrases intéressantes et valides. C'est comme un étudiant qui mémorise si bien une réponse spécifique à un problème de mathématiques qu'il ne peut plus résoudre une version légèrement différente, ou un écrivain qui ne connaît qu'une seule façon de commencer une histoire. La grande question dans ce domaine est : comment enseigner le nouveau métier au robot sans qu'il oublie ses anciennes et riches connaissances ?

C'est précisément ce que traite l'article « LP-SFT ». Les auteurs, une équipe de chercheurs issus d'universités de premier plan, ont remarqué que la méthode standard pour enseigner à ces robots (appelée « entropie croisée » ou cross-entropy) est un peu trop brutale. Elle dit au robot : « Regarde seulement ce mot précis que je te montre ; ignore tout le reste. » Le problème est que le cerveau d'origine du robot contient en réalité une carte de nombreux autres mots « bons » possibles, pas seulement un seul. En forçant le robot à se concentrer uniquement sur le mot cible unique, nous effaçons accidentellement la carte de toutes les autres possibilités, ce qui entraîne une perte de créativité et un phénomène connu sous le nom d'« oubli catastrophique », où le robot perd les compétences qu'il possédait auparavant.

Les chercheurs ont découvert quelque chose de fascinant sur la façon dont ces robots pensent. Ils ont trouvé que le cerveau du robot ne choisit pas seulement un mot ; il plane souvent entre quelques options également bonnes, créant une « structure d'entropie multimodale ». Pensez-y comme à une bifurcation sur la route. Parfois, le robot voit deux ou trois chemins qui sont tous également valables. La méthode d'entraînement standard force le robot à choisir un seul chemin et à brûler les autres, même si les autres chemins étaient parfaitement raisonnables.

Pour corriger cela, l'équipe a proposé une nouvelle méthode appelée LP-SFT (Local-Preserving Supervised Fine-Tuning ou Ajustement Supervisé à Préservation Locale). Au lieu de simplement hurler « Choisis ce mot ! » au robot, le LP-SFT dit : « Choisis ce mot, mais s'il te plaît, n'oublie pas les trois ou quatre autres mots qui étaient aussi plutôt bons. »

Voici comment cela fonctionne, en utilisant une analogie simple : Imaginez que vous entraînez un chien à rapporter une balle spécifique. La méthode standard consiste à ne récompenser le chien que lorsqu'il rapporte exactement cette balle et à ignorer tout le reste. À terme, le chien pourrait cesser de chercher d'autres jouets. Le LP-SFT est comme dire : « Rapporte-moi la balle rouge (la cible), mais pendant ce temps, rappelle-toi que la balle bleue et la balle verte étaient aussi amusantes à rapporter. » La méthode crée une petite « zone de sécurité » composée des 10 mots les plus probables que le robot aurait pu choisir. Elle retire le mot que vous êtes en train de lui enseigner (pour ne pas le confondre) puis pousse doucement le robot à maintenir la popularité relative des neuf mots restants identique à ce qu'elle était auparavant.

Les résultats de cette approche sont très prometteurs. Lorsque les chercheurs ont testé le LP-SFT sur différents modèles (comme Qwen et Llama) et différentes tâches (mathématiques, codage et discussion générale), ils ont constaté qu'il faisait mieux le travail que les anciennes méthodes. Les robots entraînés avec le LP-SFT étaient non seulement bons dans la tâche spécifique qui leur a été enseignée (obtenant des scores élevés aux tests de mathématiques et de codage), mais ils ont aussi conservé leur capacité à être diversifiés et créatifs. Ils n'ont pas oublié leurs connaissances générales autant que les autres. En fait, la méthode a atteint le meilleur équilibre entre l'obtention de la réponse unique correcte et le maintien d'une grande variété de solutions possibles.

L'article suggère qu'en respectant la « carte » originale de possibilités du robot, nous pouvons lui enseigner de nouvelles compétences sans briser son cerveau. C'est un rappel que, parfois, pour enseigner la perfection à une machine, il faut la laisser garder un peu de son incertitude. Les chercheurs démontrent que cette préservation locale aide à empêcher le robot de s'effondrer dans un esprit étroit et monotone, le gardant intelligent, flexible et prêt pour ce qui vient après.

Résumé Technique : LP-SFT (Local-Preserving Supervised Fine-Tuning)

1. Énoncé du Problème

Le réglage fin supervisé (SFT - Supervised Fine-Tuning) est le paradigme standard pour adapter les modèles de langage pré-entraînés (PLM) à des tâches en aval. Cependant, le SFT standard, qui repose sur la perte d'entropie croisée (CE - Cross-Entropy) au niveau du jeton, induit souvent une dégradation des capacités selon deux dimensions :

Oubli catastrophique : La spécialisation excessive à la distribution de réglage fin entraîne la perte des capacités hors domaine.
Réduction de la diversité de génération : Le modèle supprime les solutions alternatives valides, provoquant un effondrement de la distribution vers un jeton unique et réduisant la diversité accessible par échantillonnage (mesurée par le pass@k).

Les auteurs soutiennent que cette dégradation provient d'un décalage entre l'objectif CE et la riche connaissance distributionnelle encodée dans les PLM. Les PLM apprennent des capacités étendues résultant en des distributions de jetons suivants possédant une substance informationnelle substantielle au-delà du seul jeton cible observé ; l'entropie croisée standard ignore la structure de préférence restante. La suppression répétée d'alternatives plausibles pendant le réglage fin déforme l'intégrité structurelle pré-entraînée.

2. Observations Clés : Structure d'Entropie Multimodale

Avant de proposer une solution, les auteurs analysent la structure de l'entropie des prédictions du jeton suivant dans les modèles de base.

Pics d'entropie multimodaux : En utilisant les entropies de Shannon ( $H_1$ ) et de Rényi-2 ( $H_2$ ), les auteurs observent que la distribution de l'entropie présente des pics multimodaux distincts près de $\ln k$ pour les entiers $k$ .
États de Plateau-k : Ces pics correspondent à des « états d'entropie compressée » où l'incertitude est répartie sur $k$ $k$ candidats de jetons suivants de manière similaire plausible.
- Plateaux d'ordre inférieur ( $k=1\text{--}5$ ) : Correspondent souvent à des embranchements logiques ou sémantiques où plusieurs continuations valides existent.
- Plateaux d'ordre supérieur ( $k \approx 10$ ) : Correspondent souvent à une ambiguïté structurelle (ex: chiffres aléatoires, identifiants) où le modèle distribue la probabilité sur un ensemble de caractères.
Implication : Le modèle de base encode intrinsèquement une riche connaissance distributionnelle. Le CE standard traite tous les jetons de manière uniforme, déformant inutilement cette structure hétérogène en forçant le modèle à ignorer ces alternatives structurées.

3. Méthodologie : LP-SFT

Pour remédier à cela, les auteurs proposent le LP-SFT (Local-Preserving Supervised Fine-Tuning). La méthode utilise le modèle de base gelé comme référence structurelle locale pour préserver les préférences relatives parmi les alternatives non-cibles sans entrer en conflit avec le signal d'apprentissage supervisé.

Composants Clés

Ensemble de Préservation Local Top-K :
- À chaque position de jeton $t$ , la méthode construit un ensemble de candidats $S_t$ à partir des top- $K_{max}$ jetons de la distribution du modèle de base gelé ( $q_t$ ).
- Par défaut, $K_{max} = 10$ , choisi pour couvrir à la fois l'embranchement d'ordre inférieur et le plateau d'ordre supérieur proéminent observé lors de l'analyse.
Retrait du Jeton Cible :
- Pour éviter de confliter avec l'objectif principal d'entropie croisée (qui optimise le jeton cible supervisé $y_t$ ), $y_t$ est explicitement retiré de l'ensemble de préservation.
- L'ensemble de préservation devient $A_t = S_t \setminus \{y_t\}$ .
Normalisation KL Locale :
- Au lieu d'appliquer une divergence KL globale sur l'ensemble du vocabulaire (ce qui peut être coûteux en calcul et trop restrictif), le LP-SFT applique une divergence KL localement normalisée sur l'ensemble $A_t$ .
- Les probabilités du modèle de base ( $q_t$ ) et du modèle entraînable ( $p_t$ ) sont normalisées uniquement au sein de $A_t$ pour obtenir $\hat{q}_t$ et $\hat{p}_t$ .
- La perte est définie comme : $L_{LP} = D_{KL}(\hat{q}_t \parallel \hat{p}_t)$ .
- Raisonnement : Cela préserve la structure de préférence relative parmi les alternatives non-labels restantes sans contraindre artificiellement leur masse de probabilité absolue ou la masse totale assignée à l'ensemble.

Objectif d'Entraînement

L'objectif final combine la perte d'entropie croisée standard pour le jeton cible et la perte de préservation locale :
$L_{LP-SFT}(\theta) = \sum_{t=1}^{T} \left[ -\ln p_t(y_t) + \mu \cdot L_{LP}^t \right]$
où $\mu$ contrôle la force de préservation.

Efficacité de l'Implémentation

Contra part de méthodes nécessitant un passage avant (forward pass) du modèle de base à chaque étape d'entraînement, le LP-SFT emploie une implémentation en deux étapes :

Précalcul Hors-ligne : Le modèle de base traite l'ensemble du jeu de données d'entraînement une seule fois pour mettre en cache les logits top- $K_{max}$ .
Réglage Fin : La boucle d'entraînement ne nécessite que le passage avant du modèle entraînable, utilisant les logits mis en cache pour calculer la perte de préservation locale. Cela réduit considérablement la surcharge de calcul par rapport aux méthodes d'ancrage sur le vocabulaire complet.

4. Résultats Expérimentaux

Les auteurs ont évalué le LP-SFT sur trois familles de modèles (Qwen3-4B, Llama-3.1-8B, Qwen3-14B) dans des contextes de domaines mixtes et de domaines uniques (Math, Code, Instruction Générale).

Performance vs Vanilla SFT : Le LP-SFT surpasse systématiquement le CE standard et les récentes lignes de base d'amélioration du SFT (DFT, EAFT, GEM, ASFT) en termes de performance moyenne globale.
Compromis Pass@1 vs Pass@k :
- Le CE standard améliore souvent le pass@1 (précision d'un échantillon unique) au détriment du pass@k (diversité).
- Des méthodes comme le DFT améliorent le pass@1 mais provoquent des chutes significatives du pass@k.
- Le LP-SFT atteint le meilleur équilibre : Il améliore le pass@1 tout en maintenant ou en améliorant le pass@k, ce qui indique qu'il conserve la diversité accessible par échantillonnage sans sacrifier la précision.
Oubli Catastrophique : Dans le réglage fin de domaines mixtes, le LP-SFT atténue considérablement la dégradation des capacités. Par exemple, sur le benchmark MMLU, le LP-SFT a conservé une performance presque équivalente au modèle de base gelé, alors que le CE standard a subi de lourdes baisses.
Études d'Ablation : La méthode est relativement peu sensible à l'hyperparamètre $\mu$ . Le retrait du jeton cible et la normalisation KL locale ont tous deux été jugés critiques pour la stabilité et la performance.

5. Signification et Revendications

L'article affirme que le LP-SFT offre une approche novatrice du réglage fin supervisé en protégeant explicitement la structure d'entropie inhérente des modèles pré-entraînés.

Mécanisme : En découplant l'apprentissage du jeton cible de la préservation des préférences structurelles locales, le LP-SFT empêche l'« écrasement » de l'incertitude structurée du modèle de base.
Résultat : Cette approche aide à atténuer l'oubli catastrophique et préserve la diversité de génération (solutions accessibles par échantillonnage) tout en maintenant ou en améliorant la précision d'un échantillon unique.
Efficacité : La méthode offre ces avantages avec une surcharge de calcul modeste par rapport aux techniques d'ancrage sur le vocabulaire complet, ce qui en fait une alternative pratique pour préserver les capacités pré-entraînées lors de l'adaptation de domaine.

Les auteurs concluent que la préservation locale est une stratégie efficace pour équilibrer l'adaptation en aval avec la rétention des capacités générales, suggérant que la riche connaissance distributionnelle apprise lors du pré-entraînement doit être préservée plutôt que rejetée lors du réglage fin.