💬 NLP

Blending Supervised and Reinforcement Fine-Tuning with Prefix Sampling

Ce papier présente Prefix-RFT, une méthode d'affinage hybride qui synergise l'affinage supervisé et l'affinage par renforcement via un échantillonnage de préfixes pour surmonter les limites de chaque approche individuelle, démontrant des performances et une robustesse supérieures sur des tâches de raisonnement mathématique.

Auteurs originaux : Zeyu Huang, Tianhao Cheng, Zihan Qiu, Zili Wang, Yinghui Xu, Edoardo M. Ponti, Ivan Titov

Publié 2026-05-18

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Zeyu Huang, Tianhao Cheng, Zihan Qiu, Zili Wang, Yinghui Xu, Edoardo M. Ponti, Ivan Titov

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez d'enseigner à un étudiant très intelligent mais inexpérimenté comment résoudre des énigmes mathématiques complexes. Vous avez deux façons principales de lui enseigner, mais chacune présente un défaut majeur à elle seule.

Les Deux Styles d'Enseignement Défectueux

La Méthode « Copieur » (Ajustement Fin Supervisé ou SFT) :
Vous installez l'étudiant devant un manuel de solutions parfaites. Vous lui dites : « Lis ceci, mémorise-le et recopie-le exactement tel quel. »
- Le Bon : L'étudiant apprend très rapidement le format correct et les faits.
- Le Mauvais : L'étudiant devient un robot. S'il rencontre une énigme légèrement différente, il se fige car il ne sait que copier, pas réfléchir. Il imite le livre mais ne comprend pas véritablement la logique.
La Méthode « Essais et Erreurs » (Ajustement Fin par Renforcement ou RFT) :
Vous jetez l'étudiant dans le grand bain. Vous lui dites : « Va résoudre ces énigmes. Si tu trouves la bonne réponse, tu gagnes une étoile dorée. Si tu te trompes, tu n'as rien. »
- Le Bon : L'étudiant apprend à penser de manière créative et à trouver de nouvelles solutions. Il devient très habile pour résoudre des problèmes qu'il n'a jamais vus auparavant.
- Le Mauvais : Sans guide, l'étudiant pourrait développer des habitudes étranges. Il pourrait commencer à parler un mélange de langues ou emprunter des chemins bizarres et inefficaces juste pour obtenir une étoile dorée. De plus, s'il commence avec une mauvaise habitude, il est très difficile de s'en défaire.

La Nouvelle Solution : Le Coach « Préfixe » (Prefix-RFT)

Les auteurs de cet article proposent une nouvelle méthode appelée Prefix-RFT. Imaginez-le comme un coach hybride qui utilise une stratégie de « Commencez-Avec-Un-Aide-Mémoire ».

Voici comment cela fonctionne, en utilisant une analogie simple :

Imaginez que l'étudiant essaie de résoudre un labyrinthe.

L'Ancienne Façon (SFT) : Vous lui donnez une carte de l'intégralité du labyrinthe et lui demandez de mémoriser le chemin.
L'Ancienne Façon (RFT) : Vous lui bandez les yeux et lui demandez de marcher jusqu'à ce qu'il trouve la sortie.
La Nouvelle Façon (Prefix-RFT) : Vous lui donnez une carte, mais seulement pour les 20 % premiers du labyrinthe. Vous lui dites : « Commence exactement comme le montre cette carte. Une fois que tu as atteint ce point, range la carte et résous le reste du labyrinthe par toi-même. »

Pourquoi est-ce brillant ?

Cela offre un départ sûr : En forçant l'étudiant à suivre le chemin de l'expert au début, vous l'empêchez de s'égarer immédiatement dans une impasse (ce qui résout le problème des « habitudes étranges » du RFT).
Cela force la pensée indépendante : Parce que l'étudiant doit résoudre le reste du labyrinthe par lui-même, il ne devient pas simplement un copieur. Il doit utiliser son cerveau pour terminer le travail (ce qui résout le problème du SFT de « manque de généralisation »).
La Logique de l'« Étoile Dorée » : Si l'étudiant suit le début de l'expert et trouve une excellente solution pour le reste, il reçoit une récompense énorme. Cela enseigne au modèle que le début de l'expert était une bonne idée, mais que la fin apportée par l'étudiant lui-même était également précieuse.

Le Filtre « Entropie » (La Soupape de Sécurité)

L'article mentionne un détail technique délicat appelé « Recadrage basé sur l'entropie ». Voici la version simple :

Parfois, la carte de l'expert est si différente de ce que l'étudiant connaît que si l'étudiant essaie de la copier, il pourrait se confondre et se « casser la tête » (mathématiquement, les « gradients » deviennent trop grands).

Pour résoudre cela, le coach ne laisse l'étudiant copier que les parties de la carte où il est incertain.

Si l'étudiant connaît déjà parfaitement la première étape, le coach dit : « Passe cela, tu le sais. »
Si l'étudiant est confus à propos d'une étape, le coach dit : « Regarde le mouvement de l'expert ici, c'est là que tu dois apprendre. »

Cela garantit que l'étudiant apprend de l'expert uniquement là où il a réellement besoin d'aide, sans être submergé.

Ce que les Résultats Montrent

Les auteurs ont testé cela sur des problèmes mathématiques (comme la compétition AIME).

Le Copieur (SFT) était correct mais ne pouvait pas gérer de nouveaux problèmes difficiles.
L'Essai et Erreur (RFT) était bon mais parfois bloqué ou développait de mauvaises habitudes.
Le Coach Préfixe (Prefix-RFT) a battu les deux. Il a appris les modèles de l'expert et a conservé la capacité d'explorer de nouvelles solutions.

En fait, lorsqu'ils ont donné au modèle un grand nombre de tentatives (comme 2 048 essais) pour résoudre un seul problème difficile, le Coach Préfixe était la seule méthode qui améliorait significativement les chances de trouver la solution. Cela a prouvé que cette méthode ne rend pas seulement le modèle meilleur pour copier ; elle élève en réalité le plafond de ce que le modèle est capable d'accomplir.

En Résumé
Le Prefix-RFT, c'est comme donner à un étudiant des « roues d'entraînement » pour la première partie d'un voyage, puis les retirer afin qu'il puisse parcourir le reste du chemin seul. Il combine la sécurité d'un guide avec la liberté de l'exploration, donnant naissance à un apprenant à la fois savant et créatif.

Résumé Technique : Fusion du Fine-Tuning Supervisé et du Fine-Tuning par Renforcement avec Échantillonnage de Préfixes

1. Énoncé du Problème

Le post-entraînement des Modèles de Langage à Grande Échelle (LLM) est actuellement dominé par deux paradigmes distincts : le Fine-Tuning Supervisé (SFT) et le Fine-Tuning par Renforcement (RFT). Chaque approche présente des limitations spécifiques :

Le SFT excelle dans l'imitation de données de démonstration mais fonctionne comme un clonage comportemental, conduisant souvent à des problèmes de généralisation et de robustesse. Il fournit une supervision dense mais peut s'aligner médiocrement avec les performances des tâches en aval.
Le RFT (par exemple, PPO, GRPO) améliore les performances grâce à l'exploration et à l'optimisation orientée vers un objectif, mais souffre de signaux de récompense clairsemés, de sensibilité à la politique initiale et du risque d'apprendre des comportements inattendus (par exemple, le mélange de langues). La littérature récente remet en question la capacité du RFT à élever véritablement le plafond de capacité intrinsèque d'un modèle ou s'il ne fait que raffiner les connaissances pré-entraînées existantes.

La question de recherche centrale abordée est de savoir comment intégrer formellement la supervision par processus du SFT avec l'optimisation orientée vers un objectif du RFT pour tirer parti de leurs forces complémentaires : le SFT pour étendre les frontières des connaissances et le RFT pour guider vers une résolution de problèmes robuste.

2. Méthodologie : Prefix-RFT

Les auteurs proposent Prefix-RFT, une approche hybride de post-entraînement qui unifie le SFT et le RFT au sein d'un cadre d'optimisation unique.

Vue Unifiée

L'article établit que le SFT et le RFT partagent une structure d'optimisation cohérente. Tous deux mettent à jour la log-probabilité des séquences, différant principalement par la source de la séquence (expert vs. on-policy) et le mécanisme de pondération (fixe vs. pondéré par l'avantage).

Mécanisme Central

Prefix-RFT intègre des ensembles de données de démonstration hors ligne dans la boucle d'entraînement RFT via l'Échantillonnage de Préfixes :

Construction d'une Trajectoire Hybride : Pour un prompt $x$ et une démonstration $y^*$ donnés, la politique $\pi_{\theta}$ génère $N-1$ déroulements standards on-policy. Pour la $N$ -ième séquence, un préfixe $y^*_{<L}$ est échantillonné à partir de la démonstration. La politique génère ensuite une continuation $y_{\ge L}$ , créant une trajectoire hybride $y^{(N)} = (y^*_{<L}, y_{\ge L})$ .
Mise à Jour Unifiée du Gradient : La trajectoire hybride est traitée aux côtés des déroulements standards. La mise à jour du gradient combine l'apprentissage par exploration (tokens on-policy) et l'imitation (tokens de préfixe).
- Tokens de Préfixe ( $t < L$ ) : Traités comme de l'"imitation" mais pondérés par l'avantage $\hat{A}_t$ estimé à partir de la trajectoire hybride entière. Si la trajectoire hybride génère une récompense élevée, le préfixe est renforcé ; sinon, son influence est atténuée.
- Tokens de Continuation ( $t \ge L$ ) : Traités comme des tokens d'"exploration" standards.
Recadrage Basé sur l'Entropie : Pour empêcher les tokens de démonstration hors politique de dominer le gradient (en raison de décalages distributionnels causant de grands gradients de vraisemblance logarithmique), la méthode ne met à jour que les $k\%$ supérieurs (par exemple, 20 %) des tokens de préfixe ayant l'entropie la plus élevée. Les tokens à faible entropie sont soit déjà correspondants par le modèle, soit représentent des discordances sûres qui pourraient causer des écrasements aigus et déstabilisants.
Planificateur de Décroissance Cosinus : Pour atténuer le biais positionnel (où les modèles voient rarement la fin des séquences) et implémenter l'apprentissage par curriculum, la longueur du préfixe $L$ est contrôlée par un planificateur. La longueur du préfixe commence longue (forte guidance) et décroît vers courte (plus d'autonomie) tout au long de l'entraînement, mimant une transition du SFT vers le RFT.

3. Contributions Clés

Cadre Unifié : L'article fournit une unification théorique du SFT et du RFT, démontrant qu'ils peuvent être fusionnés via un objectif hybride plutôt que traités comme des étapes consécutives.
Algorithme Prefix-RFT : Introduit une méthode simple mais efficace pour injecter des démonstrations hors ligne dans le RFT sans contraindre rigidement le modèle, lui permettant d'explorer des continuations supérieures tout en étant guidé par des préfixes experts.
Pondération Dynamique et Recadrage : Propose d'utiliser les avantages au niveau de la trajectoire pour pondérer dynamiquement les mises à jour de préfixe et emploie un recadrage basé sur l'entropie pour stabiliser l'entraînement contre les décalages distributionnels hors politique.
Validation Empirique : Démontre que Prefix-RFT surpasse les SFT autonomes, les RFT autonomes et les approches séquentielles SFT puis RFT, ainsi que les récentes méthodes hybrides parallèles (par exemple, UFT, LUFFY, ReLIFT).

4. Résultats Expérimentaux

Les expériences ont été menées principalement sur des tâches de raisonnement mathématique (AIME, AMC, MATH-500, etc.) utilisant des modèles tels que Qwen2.5-Math (1.5B, 7B) et LLaMA-3.1-8B.

Performance : Prefix-RFT a constamment surpassé tous les points de référence sur six benchmarks de raisonnement mathématique et trois tâches de raisonnement de domaine général. Par exemple, sur Qwen2.5-Math-7B, il a obtenu un score Pass@1 de 31,8 sur AIME 2024 et 26,4 sur AIME 2025, dépassant le meilleur point de référence (LUFFY) et l'approche séquentielle SFT+RFT.
Frontières de Raisonnement (Pass@k) : Crucialement, Prefix-RFT a été la seule méthode à élever significativement la borne supérieure de performance du modèle. Sur AIME 2025, il a atteint un Pass@2048 de 76,7 %, contre 70,0 % pour le modèle de base et le RFT, indiquant qu'il étend les capacités de raisonnement du modèle plutôt que d'augmenter simplement la probabilité de solutions connues.
Robustesse : La méthode a montré une forte robustesse à travers différentes échelles de modèles et a été efficace même avec des quantités de démonstrations réduites (jusqu'à 1 % des données) et une qualité variable des générateurs de démonstrations (de modèles 1.5B à 32B).
Généralisation : Des résultats préliminaires sur la génération de code (MBPP+, HumanEval+) ont confirmé l'applicabilité de la méthode au-delà du raisonnement mathématique.

5. Analyse et Signification

L'analyse de l'article met en lumière la nature complémentaire du SFT et du RFT :

Combler le Fossé : Prefix-RFT synthétise efficacement les paradigmes d'entraînement distincts. Il permet au modèle d'apprendre à partir de démonstrations (style SFT) tout en maintenant l'objectif orienté vers un but du RFT.
Transition Dynamique : La méthode induit une transition dynamique où le modèle s'appuie fortement sur les préfixes au début de l'entraînement (avantage élevé, préfixes longs) et bascule progressivement vers une exploration autonome à mesure que ses capacités s'améliorent (avantage diminuant, préfixes plus courts).
Apprentissage Ciblé : Le modèle apprend plus intensément à partir des démonstrations sur des problèmes difficiles (où il lutte) et s'appuie davantage sur l'auto-exploration pour des problèmes plus faciles, validant la nature adaptative de l'approche.

Signification :
Les auteurs affirment que Prefix-RFT offre un "juste milieu" entre la stabilité du SFT et le pouvoir exploratoire du RFT. En intégrant formellement ces paradigmes, la méthode adresse les limitations du clonage comportemental (SFT) et l'instabilité de l'apprentissage par renforcement pur (RFT). Le travail suggère que traiter le SFT et le RFT comme des étapes distinctes et consécutives est sous-optimal, et qu'une approche intégrée peut efficacement les harmoniser pour repousser les frontières des capacités de raisonnement des LLM.

Limitations :
Les auteurs notent que leurs expériences se concentrent sur des contextes de raisonnement vérifiables avec des récompenses de résultat fiables. Bien que les résultats de génération de code suggèrent une transférabilité, la génération ouverte plus large et les contextes de récompense bruyants restent à étudier. De plus, la méthode repose sur des démonstrations externes, et la sélection systématique de multiples démonstrations candidates est laissée pour une étude future.