🤖 AI

Base Models Know How to Reason, Thinking Models Learn When

Cet article révèle que si les modèles de base possèdent déjà les mécanismes sous-jacents de raisonnement, les modèles de « réflexion » entraînés par apprentissage par renforcement apprennent principalement les heuristiques pour orchestrer ces capacités préexistantes, tandis que ceux entraînés via la distillation par SFT acquièrent des mécanismes de raisonnement entièrement nouveaux.

Auteurs originaux : Constantin Venhoff, Iván Arcuschin, Philip Torr, Arthur Conmy, Neel Nanda

Publié 2026-07-08

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Constantin Venhoff, Iván Arcuschin, Philip Torr, Arthur Conmy, Neel Nanda

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

La Grande Question

Imaginez que vous avez un étudiant très intelligent et cultivé (le Modèle de Base) qui connaît beaucoup de faits et peut faire des mathématiques de base. Ensuite, vous entraînez cet étudiant pour qu'il devienne un « Modèle de Pensée » (comme les nouveaux modèles d'IA qui prennent du temps supplémentaire pour résoudre des problèmes difficiles).

Le grand mystère que cet article tente de résoudre est : Qu'est-ce que l'étudiant a exactement appris durant cet entraînement ?

A-t-il appris de nouvelles façons de penser qu'il n'avait pas auparavant ?
Ou a-t-il simplement appris quand utiliser les capacités de réflexion intelligente qu'il possédait déjà ?

Le Travail de Détective : Le « Constructive Model Diffing »

Pour répondre à cela, les chercheurs ont construit un outil de détective spécial appelé Constructive Model Diffing. Considérez cela comme le fait de démonter une machine complexe pour voir comment elle fonctionne, puis d'essayer de la reconstruire en utilisant seulement deux parties spécifiques :

Le « Comment » (Mécanismes de Raisonnement) : Ce sont les compétences réelles, comme « faire une division longue », « vérifier son travail » ou « revenir en arrière lorsqu'on fait une erreur ». Les chercheurs ont découvert cela en examinant le cerveau du Modèle de Base et en identifiant des « interrupteurs » spécifiques (vecteurs) capables de le forcer à faire ces choses.
Le « Quand » (Heuristiques de Raisonnement) : C'est la partie prise de décision. C'est un petit gestionnaire interne qui dit : « D'accord, le problème est difficile, c'est le moment de vérifier ton travail » ou « Nous sommes bloqués, c'est le moment de revenir en arrière ».

Les chercheurs ont essayé de reconstruire le « Modèle de Pensée » en prenant le Modèle de Base (qui possède les compétences) et en lui donnant le Gestionnaire du Modèle de Pensée (qui sait quand utiliser les compétences).

Les Deux Types d'Entraînement

L'article a examiné deux manières différentes dont ces Modèles de Pensée ont été entraînés :

1. Le groupe « Apprentissage par Renforcement » (RL)

Ces modèles ont été entraînés en jouant à un jeu où ils gagnaient des points pour une bonne réponse et des pénalités pour une mauvaise. Ils devaient trouver la stratégie par eux-mêmes.

Le Résultat : Lorsque les chercheurs ont reconstruit ces modèles en utilisant la recette « Modèle de Base + Gestionnaire », cela a fonctionné incroyablement bien. Ils ont récupéré environ 76 % de l'écart de performance.
L'Analogie : Imaginez un pianiste talentueux qui sait déjà jouer chaque note parfaitement. L'entraînement par RL était comme embaucher un chef d'orchestre qui lui a appris quand jouer vite, quand ralentir et quand marquer une pause pour l'effet. Le pianiste n'avait pas besoin d'apprendre de nouvelles notes ; il avait juste besoin d'apprendre le timing.
Conclusion : Le RL apprend au modèle comment orchestrer les compétences de raisonnement qu'il possède déjà.

2. Le groupe « SFT-Distillation »

Ces modèles ont été entraînés en copiant un modèle « enseignant ». On leur montrait des exemples de la façon dont une IA intelligente résout un problème et on leur disait d'imiter ce processus.

Le Résultat : Lorsque les chercheurs ont essayé de reconstruire ces modèles en utilisant la même recette « Modéle de Base + Gestionnaire », cela a échoué. Ils n'ont récupéré qu'environ 11 % de l'écart de performance.
L'Analogie : Imaginez un étudiant à qui l'on apprend à copier l'écriture d'un professeur. Mais le professeur utilise un stylo que l'étudiant n'a jamais tenu auparavant. L'étudiant apprend à copier la forme des lettres, mais il n'a pas réellement appris comment tenir le stylo ou acquérir la mémoire musculaire nécessaire pour écrire. Le « Gestionnaire » (le timing) est là, mais le « Modèle de Base » (la main de l'étudiant) ne sait pas réellement exécuter les mouvements spécifiques que fait le professeur.
Conclusion : La distillation SFT force le modèle à apprendre de nouveaux mécanismes de raisonnement (de nouvelles façons de penser) que le modèle de base ne possédait pas. Vous ne pouvez pas simplement dire au modèle de base quand les faire ; vous devez d'abord lui apprendre comment les faire.

Le Moment « Eurêka ! »

L'article a trouvé une différence frappante :

Les modèles RL sont comme un chef cuisinier expert qui sait déjà hacher, sauter et cuire. L'entraînement lui a simplement appris quand utiliser quelle technique pour préparer un plat parfait.
Les modèles de Distillation sont comme un chef qui a regardé une vidéo d'un grand chef préparant un plat en utilisant une épice secrète que le premier chef ne connaissait pas. L'étudiant a appris à copier les gestes d'utilisation de l'épice, mais il a dû fondamentalement changer son style de cuisine pour inclure ce nouvel ingrédient.

Pourquoi est-ce important ?

L'article conclut que l'Apprentissage par Renforcement (RL) est un moyen très efficace d'extraire le raisonnement d'un modèle car il débloque ce qui est déjà présent. Il apprend au modèle à être un meilleur chef d'orchestre pour sa propre symphonie.

En revanche, la Distillation (copier un enseignant) tente souvent d'enseigner de nouvelles compétences entièrement nouvelles. Si l'enseignant utilise un style de raisonnement que le modèle de base n'a pas naturellement, le modèle de base a du mal à l'apprendre par simple observation, ce qui mène à un taux de réussite beaucoup plus faible lorsqu'on essaie de le « diriger » vers son état d'origine.

Résumé en une phrase

Les modèles de base savent déjà comment raisonner ; l'Apprentissage par Renforcement leur apprend quand utiliser ces compétences, tandis que la Distillation tente de leur enseigner de nouvelles compétences que le modèle de base ne savait pas qu'il pouvait accomplir.

Résumé Technique : Les modèles de base savent raisonner, les modèles de pensée apprennent quand le faire

Énoncé du problème

Les grands modèles de langage (LLM) ont démontré des améliorations significatives de leurs capacités de raisonnement lorsqu'ils sont entraînés à « réfléchir » (par exemple, via la Chaîne de Pensée ou Chain-of-Thought) avant de répondre. Cependant, une question fondamentale demeure : qu'apprennent exactement ces « modèles de pensée » que leurs homologues de base ne possèdent pas ? Des hypothèses suggères qu'ils pourraient acquérir des capacités entièrement nouvelles, apprendre à structurer plus efficacement le raisonnement, détourner des représentations existantes, ou simplement bénéficier d'une augmentation du calcul au moment de l'inférence. Ce document cherche à déterminer empiriquement la nature de l'écart de connaissances entre les modèles de base et leurs versions affinées par « pensée », en comparant spécifiquement les modèles entraînés par apprentissage par renforcement (RL) et ceux entraînés par distillation de réglage fin supervisé (SFT).

Méthodologie

Les auteurs introduisent une méthodologie en deux parties pour analyser et reconstruire les différences entre les modèles de base et les modèles de pensée :

1. Découverte non supervisée de taxonomies de raisonnement

Pour éviter l'inspection manuelle subjective, les auteurs utilisent des Autoencodeurs Creux (SAEs) entraînés sur des activations au niveau de la phrase extraites de traces de raisonnement.

Architecture : Ils utilisent des SAE Top-K avec un dictionnaire de taille délibérément réduite (5 à 50 catégories) et une faible parcimonie ( $k=3$ ) pour forcer le modèle à apprendre des axes fondamentaux de variation du raisonnement plutôt que des détails linguistiques incidents.
Entraînement : Les SAE sont entraînés sur des activations moyennes au niveau de la phrase provenant de déroulements de pensée générés par des modèles de pensée sur des prompts MMLU-Pro.
Interprétation : Une pipeline d'interprétabilité basée sur un LLM génère des titres et des descriptions compréhensibles par l'humain pour chaque groupe (mécanisme de raisonnement) basé sur les phrases exemples les plus actives.
Évaluation : Les taxonomies sont évaluées selon la Cohérence (score F1 de classification), la Complétude (confiance dans l'assignation) et l'Indépendance (orthogonalité sémantique entre les catégories).

2. Différenciation constructive de modèles (Constructive Model Diffing)

La contribution centrale est un cadre pour reconstruire explicitement l'écart de performance entre un modèle de base et un modèle de pensée en utilisant deux composants interprétables :

Mécanismes de raisonnement (Le « Quoi ») : Des vecteurs de catégorie (vecteurs de pilotage ou steering vectors) optimisés au sein du modèle de base pour induire des comportements de raisonnement spécifiques identifiés par la taxonomie du SAE. Ils représentent les opérations cognitives (ex: retour en arrière/backtracking, calcul arithmétique).
Heuristiques de raisonnement (Le « Quand ») : Un classificateur extrait du modèle de pensée qui détermine quand activer un mécanisme spécifique. Il est dérivé des activations du SAE et des points de désaccord entre les prédictions de jetons du modèle de base et du modèle de pensée.

Le Modèle Hybride : Les auteurs construisent un « modèle hybride » qui combine les capacités de génération du modèle de base avec les heuristiques du modèle de pensée et les vecteurs de catégorie optimisés du modèle de base. Si ce modèle hybride récupère la performance du modèle de pensée, cela implique que le modèle de pensée a principalement appris des heuristiques pour orchestrer les capacités préexistantes du modèle de base. S'il échoue à récupérer la performance, cela suggère que le modèle de pensée a appris de nouveaux mécanismes absents du modèle de base.

Contributions Clés

Taxonomie de raisonnement non supervisée : Une méthode pour découvrir des mécanismes de raisonnement interprétables et compréhensibles par l'humain (ex : « Retour en arrière », « Calcul arithmétique », « Auto-prompts métacognitifs ») sans étiquetage manuel, validée sur neuf configurations de modèles différentes.
Cadre de différenciation constructive de modèles : Une approche novatrice pour décomposer la différence entre le modèle de base et le modèle affiné en « mécanismes » (vecteurs) et « heuristiques » (classificateurs de timing), permettant une reconstruction causale du comportement du modèle affiné.
Distinction empirique entre les paradigmes d'entraînement : L'application de ce cadre révèle une divergence fondamentale dans ce que les modèles entraînés par RL et par distillation SFT apprennent.

Résultats

L'étude a évalué neuf paires de modèles de base/pensée (quatre entraînées par RL, quatre par distillation SFT, une mixte) sur GSM8K, MATH500 et un ensemble Hendrycks-MATH non utilisé pour le test.

Modèles entraînés par RL (Open-Reasoner-Zero) : Les modèles hybrides construits à partir de paires entraînées par RL ont récupéré environ 76 % de l'écart de performance entre le modèle de base et le modèle de pensée en moyenne. Dans certains cas (ex : ORZ-0.5B), la récupération a dépassé 100 % de l'écart.
Modèles distillés par SFT (DeepSeek-R1-Distill) : Les modèles hybrides ont récupéré nettement moins, avec une moyenne de seulement 11 % de l'écart. La récupération était proche de zéro pour les petits modèles et s'est améliorée pour atteindre environ 15 à 30 % pour les modèles plus grands (14B/32B), mais restait bien en dessous de la performance du RL.
Modèles Mixtes (QwQ-32B) : Les modèles entraînés avec un SFT suivi d'un RL ont récupéré environ 20 % de l'écart, se comportant de manière plus similaire aux modèles distillés par SFT qu'aux modèles de pur RL.
Convergence des vecteurs de catégorie : Les vecteurs de catégorie entraînés sur des paires RL ont convergé vers une perte de cross-entropie nettement plus faible que ceux entraînés sur des paires SFT, indiquant que les modèles RL utilisent des comportements de raisonnement qui existent déjà (ou sont facilement accessibles) dans l'espace d'activation du modèle de base.
Parcimonie du pilotage (Steering Sparsity) : Les hybrides RL réussis nécessitaient de piloter seulement 5 à 12 % des jetons, tandis que les hybrides SFT nécessitaient souvent des taux d'intervention plus élevés, tout en échouant à récupérer la performance.

Signification et Revendications

Le papier affirme que la différence de récupération de performance provient de la nature du paradigme d'entraînement :

Le RL enseigne les heuristiques : L'apprentissage par renforcement enseigne principalement au modèle quand déployer les mécanismes de raisonnement que le modèle de base possède déjà. Le modèle de base « sait comment raisonner », et le RL optimise l'orchestration de ces capacités préexistantes. C'est pourquoi la différenciation constructive (mécanismes de base + heuristiques de pensée) parvient à reconstruire le comportement du modèle RL.
Le SFT distille de nouveaux mécanismes : Le réglage fin supervisé (distillation) force souvent le modèle étudiant à adopter des comportements ou des mécanismes de raisonnement que le modèle de base ne possède pas naturellement ou ne peut pas facilement accéder. Par conséquent, le simple pilotage du modèle de base avec les heuristiques du modèle de pensée est insuffisant pour reproduire la performance du modèle SFT, car les « mécanismes » sous-jacents (vecteurs) sont fondamentalement différents ou absents.
Dépendance à l'échelle : Le document note que les modèles de base plus grands (ex : 32B) récupèrent davantage l'écart SFT que les plus petits, suggérant que les modèles plus grands contiennent intrinsèquement un répertoire plus large de mécanismes de raisonnement latents que le SFT peut activer, alors que les modèles plus petits manquent totalement de ces mécanismes.

Limites : Les auteurs reconnaissent que leurs taxonomies sont actuellement biaisées en faveur du raisonnement mathématique en raison des données d'entraînement (MMLU-Pro) et que la faible récupération pour les modèles SFT pourrait refléter des limitations dans l'optimisation de leurs vecteurs de catégorie plutôt qu'un manque fondamental de mécanismes dans le modèle de base.

Conclusion : Ce travail offre un nouveau regard sur les paradigmes d'entraînement, suggérant que le développement de modèles de raisonnement efficaces peut bénéficier d'approches basées sur le RL qui orchestrent les capacités latentes du modèle de base, plutôt que des approches SFT qui tentent d'installer de nouveaux schémas de raisonnement.