💬 NLP

PriFT: Prior-Support Guided Supervised Fine-Tuning

PriFT (Prior-Support Guided Fine-Tuning) améliore la généralisation du réglage fin supervisé et l'initialisation de l'apprentissage par renforcement en dérivant des signaux de repondération de jetons stables à partir d'un modèle pré-entraîné gelé afin d'éviter la dynamique d'auto-renforcement causée par l'utilisation de la distribution du modèle en ligne.

Auteurs originaux : Ke Wang, Shuangqi Li, Mathieu Salzmann, Pascal Frossard

Publié 2026-06-09

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Ke Wang, Shuangqi Li, Mathieu Salzmann, Pascal Frossard

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous avez un étudiant brillant (le modèle d'IA) qui a déjà lu des millions de livres et acquis une vaste culture générale. C'est le modèle pré-entraîné. Maintenant, vous voulez lui enseigner une nouvelle compétence spécifique, comme la résolution de problèmes mathématiques complexes ou l'écriture de code. Cette phase d'enseignement est appelée Ajustement Fin Supervisé (SFT - Supervised Fine-Tuning).

Habituellement, les enseignants montrent à l'étudiant un manuel avec les bonnes réponses et disent : « Apprends cette ligne par cœur ». Cependant, l'article soutient que ce mémorisation « ligne par ligne » présente un défaut : l'étudiant pourrait tenter de mémoriser des réponses qui n'ont pas réellement de sens pour lui en fonction de ce qu'il sait déjà. Cela conduit l'étudiant au surapprentissage (overfitting) : il mémorise si bien le manuel spécifique qu'il échoue face à des questions légèrement différentes.

Le Problème : L'Enseignant à « Cible Mouvante »

Des tentatives récentes pour corriger cela ont impliqué un « enseignant intelligent » qui observe ce que l'étudiant est en train d'apprendre et décide : « D'accord, cette réponse fait sens pour l'étudiant en ce moment, concentrons-nous dessus. Cette autre réponse est déroutante, alors ignorons-la ».

L'article appelle cela le repondérage en ligne (online replaying). Le problème, selon les auteurs, est que cet enseignant est instable. À mesure que l'étudiant apprend, son cerveau change. Le « enseignant intelligent » est en réalité le propre cerveau de l'étudiant se regardant dans un miroir.

Le Piège : Si l'étudiant aime initialement un certain type de réponse, l'enseignant continue de la renforcer. Si l'étudiant n'aime pas un autre type, l'enseignant cesse de l'enseigner.
Le Résultat : L'étudiant devient une machine du type « le riche devient plus riche ». Il devient excellent dans les rares choses qu'il aimait déjà, mais perd sa capacité à explorer de nouvelles façons diverses de résoudre des problèmes. Il devient rigide et perd la vaste connaissance qu'il possédait auparavant.

La Solution : PriFT (La Référence « Gelée »)

Les auteurs proposent une nouvelle méthode appelée PriFT (Prior-Support Guided Fine-Tuning ou Ajustement Fin Guidé par le Support Préalable).

Au lieu de demander au cerveau actuel et changeant de l'étudiant de décider quoi apprendre, PriFT demande conseil au cerveau d'origine de l'étudiant (le « cerveau pré-entraîné », qui sert de référence gelée).

Voyez cela comme ceci :

L'Ancienne Méthode : Vous demandez à un étudiant qui est actuellement stressé et confus : « Que dois-je étudier ? ». Il pourrait répondre : « Seulement ce que je sais déjà ! » parce qu'il a peur de la nouveauté.
La Méthode PriFT : Vous demandez à votre « moi passé » (la version de vous-même avant d'avoir commencé ce cours spécifique) : « Quelles parties de cette nouvelle leçon s'alignent avec ce que je sais déjà ? ». Le moi passé donne une réponse stable et calme : « Voici les concepts qui s'intègrent bien à tes fondations. Concentre-toi sur ceux-ci, mais n'ignore pas le reste ».

Ce « moi passé » fournit un signal de Support Préalable (Prior Support). Il dit au modèle : « Ce jeton (mot) est soutenu par tes connaissances d'origine, il est donc sûr de l'apprendre. Cet autre jeton est un effort excessif, alors sois prudent ».

Comment fonctionne PriFT (Deux Saveurs)

L'article introduit deux façons d'utiliser les conseils de ce « moi passé » :

PriFT-prob (Le Test de Probabilité) : Il regarde la probabilité que le « moi passé » ait prononcé un mot spécifique. Si le moi passé était très confiant, il donne un poids élevé à ce mot. S'il était incertain, il lui donne un poids inférieur.
PriFT-mass (Le Test de la Foule) : Parfois, un mot peut être « facile » (le moi passé est sûr à 99 %), mais cela ne signifie pas qu'il est le mot le plus important à apprendre. PriFT-mass regarde la « masse cumulative ». Il demande : « Ce mot est-il soutenu par au moins la moitié des options possibles que le moi passé a envisagées ? ». Cela empêche le modèle de n'apprendre que les mots super faciles et évidents et le force à prêter attention aux étapes de raisonnement plus difficiles et plus importantes.

Les Résultats : Pourquoi c'est Important

Les auteurs ont testé cela sur trois tâches difficiles : les Mathématiques, le Code et les Questions Médicales.

Meilleure Généralisation : Les modèles entraînés avec PriFT n'ont pas seulement mémorisé les données d'entraînement ; ils sont devenus meilleurs pour résoudre de nouveaux problèmes qu'ils n'avaient jamais vus auparavant.
Plus de Diversité : Contrairement aux méthodes « en ligne » qui rendaient le modèle rigide, PriFT a préservé la diversité de la pensée du modèle. C'était comme garder une boîte à outils contenant de nombreux outils différents, plutôt qu'un simple marteau.
Une Meilleure Préparation pour l'Apprentissage par Renforcement (RL) : Souvent, après le SFT, les chercheurs utilisent l'Apprentissage par Renforcement (comme un jeu vidéo où l'IA apprend par essais et erreurs) pour la rendre encore plus intelligente. L'article a découvert que PriFT crée un « point de départ » bien meilleur pour cette étape suivante. Parce que PriFT n'a pas trop restreint le focus du modèle trop tôt, le modèle disposait de plus d'« espace pour grandir » lorsqu'il a commencé à jouer au jeu du RL.

L'Essentiel

L'article affirme qu'en utilisant une référence gelée et stable (les connaissances d'origine du modèle) pour guider le processus d'apprentissage, plutôt que de laisser l'état actuel et changeant du modèle dicter l'apprentissage, nous obtenons une IA plus intelligente et plus flexible. C'est la différence entre un étudiant qui suit aveuglément son humeur actuelle et un étudiant qui consulte sa solide base de connaissances pour décider de ce qu'il doit apprendre ensuite.

Point Clé à Retenir : PriFT aide les modèles d'IA à acquérir de nouvelles compétences sans oublier qui ils sont ni devenir trop étroit d'esprit, menant à de meilleures performances en mathématiques, en codage et en médecine, tout en préparant le terrain pour un succès encore plus grand lors des futures phases d'entraînement.

Résumé Technique : PriFT (Prior-Support Guided Fine-Tuning)

Problématique

Le réglage fin supervisé (SFT - Supervised Fine-Tuning) est une méthode standard et efficace sur le plan computationnel pour adapter les grands modèles de langage (LLM) préentraînés à des tâches en aval, servant souvent d'initialisation pour l'apprentissage par renforcement (RL). Cependant, le SFT souffre d'un écart de généralisation par rapport au RL. En tant que méthode hors-politique (off-policy), le SIF s'ajuste aux données de démonstration de manière fixe, jeton par jeton. Lorsque les jetons cibles des démonstrations sont mal alignés avec la distribution préentraînée du modèle, ce processus peut conduire au surapprentissage et à la distorsion des connaissances préentraînées.

Des approches récentes tentent d'atténuer ce problème en attribuant des poids d'entraînement non uniformes aux jetons en fonction de leur alignement avec la distribution prédictive du modèle (par exemple, en utilisant la probabilité du jeton cible ou l'entropie). Cependant, ces méthodes calculent généralement ces poids en utilisant le modèle en ligne (online model) actuellement en cours de réglage fin. L'article soutient que cela crée une faille critique : la distribution prédictive du modèle en ligne dérive rapidement de la distribution préentraînée pendant l'entraînement. Par conséquent, le signal de pondération devient enchevêtré avec la trajectoire d'optimisation, induisant une dynamique d'auto-renforcement où le modèle concentre les signaux d'apprentissage sur les jetons qu'il préférait initialement, tout en en supprimant d'autres. Cela réduit la diversité de l'échantillonnage et limite la capacité du modèle pour une optimisation ultérieure en ligne (on-policy).

Méthodologie : PriFT

Pour remédier à l'instabilité de la repondération en ligne, les auteurs proposent PriFT (Prior-Support Guided Fine-Tuning). L'idée centrale est que les poids des jetons devraient être dérivés d'un modèle de référence préentraîné gelé plutôt que du modèle en ligne évolutif. Cela fournit une estimation stable du « support a priori » (prior support) : la mesure dans laquelle un jeton cible est soutenu par les connaissances du modèle avant l'adaptation spécifique à la tâche.

Cadre (Framework)

PriFT modifie l'objectif standard du SFT en introduisant des poids de jetons $m_t$ dérivés du modèle préentraîné gelé $\pi_{\theta_{pt}}$ :
$L_{PriFT}(\theta_{on}) = -\sum_{t=1}^{T} u(\pi_{\theta_{pt}}(\cdot | x, y_{<t}), y_t) \log \pi_{\theta_{on}}(y_t | x, y_{<t})$
où $u(\cdot)$ est une fonction d'utilité du jeton. En calculant les poids à partir de la référence gelée, PriFT découple l'estimation du poids de la trajectoire d'optimisation, empêchant le biais d'auto-renforcement observé dans les méthodes en ligne.

Instanciations

L'article présente deux instanciations spécifiques de la fonction d'utilité $u$ :

PriFT-prob : Utilise directement la probabilité du jeton cible préentraînée.
$m_t = \pi_{\theta_{pt}}(y_t | x, y_{<t})$
Cela module l'amplitude du gradient en fonction de la plausibilité du jeton sous la distribution préentraînée. Cela préserve la direction de mise à jour standard du SFT mais réduit le poids des jetons ayant un faible support a priori.
PriFT-mass : Utilise la masse de probabilité cumulative sous la distribution préentraînée pour réduire le biais envers les jetons « faciles » possédant des distributions abruptes.
$m_t = \mathbb{I}[u^{(MASS)}_t \geq 0.5]$
où $u^{(MASS)}_t = \sum_{v: \pi_{\theta_{pt}}(v) \leq \pi_{\theta_{pt}}(y_t)} \pi_{\theta_{pt}}(v)$ .
Cette métrique mesure la fraction de la masse de probabilité assignée aux jetons moins probables que le jeton cible. Un seuil de 0,5 sélectionne les jetons soutenus par au moins la moitié de la masse de probabilité préentraînée. Contrairement à PriFT-prob, cela résulte en un masque de sélection binaire où tous les jetons sélectionnés reçoivent un poids égal, évitant ainsi la sur-accentuation des jetons triviaux à haute confiance (ex: mots de fonction) tout en conservant les jetons informatifs provenant de contextes plus difficiles.

Surcharge Computationnelle

PriFT nécessite une seule passe directe (forward pass) du modèle préentraîné gelé pour précalculer les poids ou les masques de jetons. Cela ajoute une surcharge relative d'environ $1/(3E)$ (où $E$ est le nombre d'époques), qui peut être effectuée hors ligne. Contrairement aux méthodes de régularisation par divergence KL qui nécessitent l'accès à la distribution de référence à chaque étape d'optimisation, PriFT ne nécessite que le stockage de poids scalaires ou de masques binaires, évitant ainsi une surcharge de mémoire significative.

Contributions Clés

Identification de la dérive du signal : Les auteurs démontrent que les statistiques des jetons en ligne dérivent rapidement de la distribution préentraînée, créant une boucle d'auto-renforcement qui concentre l'apprentissage sur les jetons initialement préférés et dégrade la généralisation.
Repondération stable via une référence gelée : Ils montrent que dériver les poids des jetons d'un modèle préentraîné gelé surpasse systématiquement l'utilisation du modèle en ligne, quels que soient les règles de repondération (basées sur la probabilité ou l'entropie).
Cadre PriFT : La proposition d'un cadre simple et général qui pré-calcule les poids à partir d'une référence gelée, découplant le signal de repondération de la trajectoire d'optimisation.
Validation empirique : Des expériences approfondies montrant que PriFT atteint des résultats de pointe parmi les bases de comparaison SFT et fournit une initialisation supérieure pour l'entraînement RL ultérieur.

Résultats Expérimentaux

Les auteurs ont évalué PriFT sur le raisonnement mathématique, la génération de code et les questions médicales en utilisant des modèles tels que Qwen2.5-Math, Qwen3 et LLaMA-2.

Raisonnement Mathématique : Sur Qwen2.5-Math-7B, PriFT-mass a atteint une précision moyenne (Avg@16) de 40,67 et un Pass@16 de 69,60, surpassant la base de comparaison la plus forte (TALR) de 3,97 et 8,75 points, respectivement. Notamment, alors que les méthodes de repondération en ligne (comme DFT) améliorent souvent l'Avg@16 au détriment du Pass@16, PriFT améliore les deux métriques simultanément.
Génération de Code : Sur Qwen3-4B-Instruct, les variantes de PriFT ont surpassé le SFT standard et les autres bases de comparaison repondérées par jeton, particulièrement sur les segments difficiles de LiveCodeBench. PriFT-mass a montré la plus faible dégradation de performance sur HumanEval+ par rapport au checkpoint original, suggérant une meilleure préservation des capacités existantes.
Questions Médicales (QA) : PriFT-mass a obtenu la meilleure performance globale sur les benchmarks MMLU-Medical et MedMCQA, surpassant les autres méthodes de repondération de jetons.
Initialisation RL : Les modèles initialisés avec PriFT ont montré une performance plus robuste après un entraînement RL ultérieur (DAPO) par rapport à ceux initialisés avec un SFT standard ou des méthodes de repondération en ligne (DFT). Par exemple, sur Qwen3-8B-Base, PriFT-mass a produit une amélioration de 9,57 points de l'Avg@16 après le RL par rapport à l'initialisation de base SFT.

Signification et Revendications

L'article affirme que PriFT traite une limitation fondamentale de la repondération de jetons en SFT : l'enchevêtrement du signal de pondération avec la trajectoire d'optimisation. En utilisant le modèle préentraîné comme source stable de « support a priori », PriFT :

Préserve la diversité de l'échantillonnage : Il évite la concentration d'auto-renforcement de la masse de probabilité sur un ensemble étroit de chemins de raisonnement, maintenant des distributions d'entropie plus larges et de meilleures performances Pass@k.
Réduit le décalage de distribution : Il minimise la divergence KL par rapport au modèle préentraîné pendant le réglage fin par rapport aux méthodes de repondération en ligne.
Améliore la préparation au RL : Il fournit une initialisation plus forte pour le RL en préservant la capacité du modèle pour une optimisation ultérieure en ligne, suggérant qu'un « bon SFT » ne concerne pas seulement la performance immédiate, mais aussi le maintien de la diversité requise pour l'apprentissage futur.

Les auteurs notent des limites, notamment l'accent mis sur des modèles ouverts de taille modérée et des domaines de tâches spécifiques, laissant l'exploration de modèles plus grands et de fonctions d'utilité plus larges aux travaux futurs. Ils ne prétendent pas que PriFT résout tous les problèmes de généralisation, mais le positionnent comme une amélioration robuste et généralisable du paradigme SFT.