🤖 AI

RL Squeezes, SFT Expands: A Comparative Study of Reasoning LLMs

Ce papier présente un cadre novateur analysant les trajectoires de raisonnement aux niveaux de la trajectoire et de l'étape pour révéler que l'apprentissage par renforcement avec récompenses vérifiables (RLVR) comprime les trajectoires incorrectes et concentre le raisonnement en moins d'étapes, tandis que l'affinement supervisé (SFT) étend les trajectoires correctes et distribue le raisonnement sur de nombreuses étapes, expliquant ainsi le succès complémentaire du paradigme actuel d'entraînement en deux étapes.

Auteurs originaux : Kohsei Matsutani, Shota Takashiro, Gouki Minegishi, Takeshi Kojima, Yusuke Iwasawa, Yutaka Matsuo

Publié 2026-05-28

📖 7 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Kohsei Matsutani, Shota Takashiro, Gouki Minegishi, Takeshi Kojima, Yusuke Iwasawa, Yutaka Matsuo

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

La Grande Image : Deux Façons d'Enseigner à un Robot de Penser

Imaginez que vous avez un robot qui est bon pour parler mais pas excellent pour résoudre des énigmes complexes de mathématiques ou de programmation. Pour le rendre plus intelligent, les chercheurs utilisent deux méthodes principales d'entraînement :

SFT (Affinement Supervisé) : C'est comme l'imitation. Vous montrez au robot un exemple parfait de la façon dont un expert humain résout un problème, étape par étape, et vous dites : « Faites exactement cela. »
RL (Apprentissage par Renforcement) : C'est comme l'essai et l'erreur avec un tableau de scores. Vous laissez le robot essayer de résoudre le problème par lui-même. S'il trouve la bonne réponse, il reçoit une « étoile d'or » (récompense). S'il se trompe, il ne reçoit rien. Avec le temps, il apprend à éviter les chemins qui mènent à l'échec.

Le papier se demande : Que se passe-t-il réellement à l'intérieur du cerveau du robot lorsque nous utilisons ces deux méthodes différentes ? Modifient-elles comment le robot pense, ou seulement ce qu'il répond ?

Les auteurs ont découvert que ces deux méthodes font des choses opposées au « processus de pensée » du robot.

Analogie 1 : La « Piste de Raisonnement » (Niveau Trajectoire)

Imaginez le processus de pensée du robot comme un randonneur traversant une immense forêt brumeuse pour trouver un trésor caché (la bonne réponse). Il existe de nombreux chemins : certains mènent au trésor, et beaucoup mènent à des impasses ou à des falaises.

SFT (L'Imitateur) « Étend » les Bons Chemins :
Lorsque vous montrez au robot la carte d'un expert (SFT), il apprend à marcher sur le bon chemin. Mais voici le hic : il commence aussi à marcher sur de nombreuses variations différentes de ce bon chemin. Il devient très créatif et diversifié dans la façon dont il trouve le trésor.
- Le Hic : Il ne cesse pas de marcher sur les mauvais chemins. Si le robot vagabondait déjà dans un marais (commettant des erreurs), le SFT lui apprend de nouvelles façons de marcher, mais il pourrait encore vagabonder dans le marais occasionnellement. Il « étend » le nombre de routes correctes mais ne nettoie pas nécessairement les mauvaises.
RL (Le Juge) « Écrase » les Mauvais Chemins :
Lorsque vous laissez le robot jouer au jeu avec des récompenses (RL), il réalise rapidement que les chemins du marais mènent à zéro point. Alors, il arrête d'y aller. Il « écrase » tous les chemins incorrects, confus ou en impasse hors de l'existence.
- Le Hic : Il a aussi tendance à « écraser » les bons chemins. Il pourrait arrêter d'explorer les variations créatives de la bonne réponse et s'en tenir uniquement au chemin qu'il sait fonctionner le mieux. Il devient très concentré, mais moins diversifié.
La Combinaison Gagnante (SFT + RL) :
Le papier explique pourquoi la meilleure pratique actuelle est de faire d'abord du SFT, puis du RL.
1. D'abord, utilisez SFT pour enseigner au robot de nouvelles façons de trouver le trésor (en étendant les bons chemins).
2. Ensuite, utilisez RL pour punir le robot de vagabonder dans le marais (en écrasant les chemins incorrects).
- Résultat : Vous obtenez un robot qui connaît de nombreuses façons de résoudre le problème mais qui est très discipliné pour éviter les erreurs.

Analogie 2 : La « Ville des Pensées » (Niveau Étape)

Maintenant, examinons la pensée du robot non pas comme un chemin unique, mais comme une carte de ville. Chaque « étape » du raisonnement (comme « calculer la surface » ou « vérifier la formule ») est un bâtiment dans cette ville. Les connexions entre les étapes sont les routes.

RL Crée une Ville « Hub et Rayons » :
Après l'entraînement RL, la ville change. Le robot commence à dépendre fortement de quelques bâtiments spécifiques, ultra-importants (les hubs). Il visite ces étapes clés encore et encore.
- L'Effet : La ville devient très efficace mais encombrée autour de ces quelques points. Le robot concentre sa « puissance de pensée » dans un petit nombre d'étapes critiques. C'est comme un navetteur qui n'utilise que trois ponts spécifiques pour traverser la rivière, en ignorant tous les autres.
SFT Crée une Ville « Distribuée » :
Après l'entraînement SFT, la ville a une apparence différente. Le robot répartit sa pensée. Il visite de nombreux bâtiments différents, et aucun bâtiment unique n'est visité de manière aussi écrasante que dans la ville RL.
- L'Effet : La pensée est « homogénéisée » ou répartie uniformément. C'est comme une ville où tout le monde utilise une grande variété de rues, et où aucune rue unique n'est embouteillée.

La Découverte Clé :

RL rend la pensée du robot intense et concentrée sur quelques étapes clés (Écrasement).
SFT rend la pensée du robot large et distribuée sur de nombreuses étapes (Extension).

La Forme de la Ville (Topologie)

Les chercheurs ont également examiné la « forme » de ces villes de pensée en utilisant la géométrie.

Le Modèle de Base (Avant l'entraînement) : La ville est divisée en quartiers isolés (communautés). Il est difficile de passer d'un quartier à un autre. Le robot reste coincé dans des boucles locales.
RL : Il démolit les murs entre les quartiers. Il crée une ville dominée par quelques « hubs » massifs qui relient tout. Cela rend le robot très rapide pour trouver la réponse si il touche le bon hub, mais il dépend de ces hubs spécifiques.
SFT : Il démolit aussi les murs, mais au lieu de créer des hubs, il construit un réseau où tout est connecté à tout le reste. Cela rend la ville très robuste et facile à naviguer d'un point à un autre.

Résumé des Affirmations du Papier

RL est un « Écraseur » : Il écrase les chemins de pensée incorrects et concentre le raisonnement du robot en quelques étapes très efficaces et à fort trafic. Il rend le robot très bon pour obtenir la bonne réponse du premier coup (Pass@1) en éliminant les mauvaises options.
SFT est un « Étendeur » : Il enseigne au robot de nouvelles façons correctes de penser et répartit la charge de raisonnement sur de nombreuses étapes. Cependant, il ne se débarrasse pas automatiquement des mauvais chemins que le robot aurait pu utiliser auparavant.
Pourquoi SFT + RL Fonctionne : Les meilleurs résultats proviennent de l'utilisation de SFT pour enseigner au robot comment penser correctement (en étendant les bons chemins) puis de l'utilisation de RL pour le forcer à arrêter de faire des erreurs (en écrasant les mauvais chemins).
La Structure Compte : RL crée une structure de raisonnement « lourde en hubs », tandis que SFT crée une structure « distribuée ». Toutes deux sont différentes de la structure « fragmentée » d'un modèle non entraîné.

Le papier conclut que comprendre ces différences mécaniques aide à expliquer pourquoi la recette d'entraînement « en deux étapes » actuelle (SFT puis RL) est si réussie pour créer une IA de raisonnement intelligente.

Résumé Technique : RL RÉTRÉCIT, SFT ÉTEND : UNE ÉTUDE COMPARATIVE DES LLM DE RAISONNEMENT

Énoncé du Problème

Bien que l'apprentissage par renforcement avec récompenses vérifiables (RLVR) et le fine-tuning supervisé (SFT) soient les paradigmes dominants pour le post-entraînement des grands modèles de langage (LLM) afin d'améliorer leurs capacités de raisonnement, les mécanismes spécifiques par lesquels ces méthodes façonnent les processus de raisonnement sous-jacents restent insaisissables. Les études précédentes se sont largement concentrées sur des métriques basées sur le résultat (par exemple, Pass@k), concluant souvent que le RL ne fait qu'exploiter des capacités de base préexistantes ou que le SFT conduit à la mémorisation tandis que le RL favorise la généralisation. Cependant, ces études manquent d'une compréhension granulaire de la manière dont le RL et le SFT modifient fondamentalement la structure des chemins de raisonnement et la topologie de l'espace de raisonnement. Cet article aborde la question suivante : Comment le RL et le SFT façonnent-ils le processus de raisonnement au-delà des mesures de précision ?

Méthodologie

Les auteurs introduisent un cadre d'analyse novateur qui quantifie les chemins de raisonnement et capture leurs changements qualitatifs sous différents régimes d'entraînement. L'étude utilise des modèles de tailles variées (1,5 milliard, 7 milliards et 14 milliards de paramètres) dans les domaines des mathématiques (AIME24, AIME25, AMC23) et du code (HumanEval). L'analyse est menée à deux niveaux de granularité :

Analyse au niveau des trajectoires :
- Méthode : Plusieurs sorties (M=256) sont échantillonnées à partir des modèles de base, RL, SFT et SFT+RL. Les trajectoires de raisonnement uniques sont identifiées en appliquant un clustering hiérarchique (UPGMA) aux sorties basées sur la similarité des n-grammes au niveau des caractères (chrF).
- Objectif : Compter et comparer le nombre de trajectoires correctes et incorrectes uniques avant et après l'entraînement.
Analyse au niveau des étapes (Graphes de raisonnement) :
- Construction : Les sorties des modèles sont segmentées en phrases, intégrées dans un espace vectoriel (en utilisant BGE-large-en-v1.5) et regroupées (K-means) pour définir des nœuds. Les transitions entre les phrases forment des arêtes dirigées, créant un « graphe de raisonnement » pour chaque problème.
- Métriques : L'étude analyse les propriétés topologiques globales et locales, notamment :
  - Taux de décroissance exponentielle : Ajustement des graphes de rang de la fréquence de visite des nœuds, du degré et de la centralité d'intermédiarité à une loi exponentielle ( $X(R) \propto e^{-\lambda R}$ ) pour déterminer le taux de décroissance $\beta$ .
  - Topologie globale : Densité des arêtes, coefficient de clustering, assortativité, modularité, centralisation de Freeman, longueur moyenne des chemins, efficacité globale et connectivité algébrique.
  - Structure locale : Analyse des graphlets (comptage des sous-graphes à 4 nœuds) pour détecter les structures cycliques par rapport aux structures acycliques.

Contributions Clés

L'article établit une « perspective de chemin de raisonnement » qui explique les rôles complémentaires du SFT et du RL :

Dynamique au niveau des trajectoires :
- Le RL rétrécit : L'entraînement par RL comprime considérablement le nombre de trajectoires incorrectes uniques, élaguant efficacement l'espace de recherche des erreurs. Cependant, il réduit également le nombre de trajectoires correctes uniques, concentrant la masse de probabilité sur un nombre réduit de chemins.
- Le SFT étend : L'entraînement par SFT augmente le nombre de trajectoires correctes uniques, introduisant de nouvelles stratégies de résolution absentes dans le modèle de base. Crucialement, le SFT seul tend à préserver les trajectoires incorrectes, ne garantissant pas d'améliorations de Pass@1.
- Synergie : Le succès de l'approche en deux étapes SFT+RL est attribué au fait que le SFT étend l'espace des solutions correctes, suivi par le RL qui comprime l'espace des solutions incorrectes.
Changements structurels au niveau des étapes :
- Taux de décroissance : Le RL accentue les taux de décroissance ( $\beta$ ) des distributions de fréquence de visite, de degré et de centralité d'intermédiarité. Cela indique que le RL consolide les fonctionnalités de raisonnement (par exemple, les hubs, les nœuds centraux) dans un petit sous-ensemble d'étapes. À l'inverse, le SFT aplatit ces taux de décroissance, homogénéisant la fonctionnalité à travers de nombreuses étapes diverses.
- Topologie globale :
  - Modèles de base : Présentent une modularité élevée et une faible efficacité globale, indiquant que le raisonnement est piégé dans des communautés distinctes et faiblement connectées.
  - Modèles RL : Transforment les graphes en structures centralisées autour de hubs, avec une forte densité d'arêtes et une faible modularité, permettant une traversal efficace à travers quelques nœuds centraux.
  - Modèles SFT : Affaiblissent les frontières communautaires pour former des graphes globalement connectés avec une haute robustesse et une efficacité de reachabilité, bien qu'ils puissent conserver certains chemins incorrects.
- Structure locale : Tanto le RL que le SFT augmentent la proportion de sous-graphes cycliques (reflétant le retour en arrière et la vérification), suggérant que les structures cycliques locales seules ne peuvent expliquer les différences de performance ; la topologie globale est le facteur différenciant.

Résultats

Domaines mathématiques et du code : Les résultats sont cohérents à travers les ensembles de données mathématiques (AIME, AMC) et la génération de code (HumanEval).
Pass@k vs Pass@1 : La réduction des trajectoires correctes uniques par le RL explique pourquoi les modèles de base peuvent parfois surpasser les modèles RL en Pass@k (pour de grands $k$ ) en raison de la couverture plus large de la distribution du modèle de base, tandis que le RL excelle en Pass@1 en concentrant la masse sur le chemin correct le plus probable.
Corrélations topologiques : L'efficacité globale et la connectivité algébrique sont positivement corrélées avec les ratios Pass@1/Pass@k, tandis que la modularité est négativement corrélée. Cela suggère que les graphes de raisonnement facilitant une traversal efficace à travers l'ensemble de l'espace de solutions sont essentiels pour une haute performance.
Études d'ablation : Les résultats concernant les taux de décroissance et les décalages topologiques restent robustes à travers différents nombres de clusters ( $K$ ), métriques de distance (Euclidienne vs Cosinus) et encodeurs de phrases.

Signification et Revendications

L'article prétend fournir un soutien empirique à l'hypothèse « le RL rétrécit, le SFT étend », offrant une explication mécaniste de la réussite de la pratique actuelle d'entraînement en deux étapes (SFT suivi de RL).

Interprétation de l'entraînement : Il postule que le SFT agit comme un « extenseur » de l'espace de raisonnement (apprentissage de nouvelles stratégies), tandis que le RL agit comme un « compresseur » (optimisation de la distribution pour supprimer les erreurs et se concentrer sur les chemins corrects les plus probables).
Curation des données : Les résultats suggèrent que la construction de données pour le raisonnement devrait prendre en compte les métriques de graphe (par exemple, assurer une faible modularité et une haute efficacité globale) plutôt que simplement la précision.
Perspectives futures : Les auteurs suggèrent que l'application du RL uniquement aux étapes fonctionnelles (hubs) pourrait améliorer l'efficacité et que l'exploration de la question de savoir si les bonus d'exploration dans le RL empêchent un « rétrécissement excessif » est une direction précieuse.

Le travail ne prétend pas inventer de nouveaux algorithmes d'entraînement mais offre plutôt un cadre diagnostique pour comprendre les existants, interprétant pourquoi les recettes actuelles de post-entraînement fonctionnent et suggérant des directions pour des approches d'apprentissage plus efficaces et une curation des données.