💬 NLP

Where Did This Sentence Come From? Tracing Provenance in LLM Reasoning Distillation

Ce papier présente un cadre de traçage de la provenance pour analyser l'origine des capacités d'un modèle étudiant distillé, démontrant que ses performances en test dépendent de la génération d'actions d'origine enseignante et proposant une méthode de sélection de données guidée par l'enseignant pour améliorer ce processus.

Auteurs originaux : Kaiyuan Liu, Shaotian Yan, Rui Miao, Bing Wang, Chen Shen, Jun Zhang, Jieping Ye

Publié 2026-02-24

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Kaiyuan Liu, Shaotian Yan, Rui Miao, Bing Wang, Chen Shen, Jun Zhang, Jieping Ye

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

🕵️‍♂️ Le Détective des Idées : Qui a vraiment écrit cette phrase ?

Imaginez que vous avez un Grand Maître (un super-intelligence artificielle très puissante) et un Petit Apprenti (une intelligence artificielle plus petite et moins chère).

L'objectif habituel est d'enseigner au Petit Apprenti à raisonner comme le Grand Maître. C'est ce qu'on appelle la "distillation". Le Maître résout des problèmes complexes, et l'Apprenti copie ses réponses pour apprendre.

Mais une question reste sans réponse : Quand l'Apprenti travaille tout seul sur un nouveau problème, est-ce qu'il utilise vraiment la logique du Maître, ou est-ce qu'il retombe dans ses vieux travers ?

C'est exactement ce que cette équipe de chercheurs a voulu découvrir. Ils ont créé un outil appelé "Traceur de Provenance" (comme un détective qui suit les empreintes digitales).

🍎 L'Analogie du Menu de Restaurant

Pour comprendre leur méthode, imaginez un restaurant :

Le Grand Maître est le Chef étoilé.
Le Petit Apprenti est le commis de cuisine.
Le Plat est la réponse de l'IA à une question.

Le Chef écrit un menu (la solution). Le commis copie le menu. Mais quand le commis sert le plat au client (en situation réelle), d'où vient vraiment chaque ingrédient ?

L'ingrédient du Chef (Teacher Sentence) : Le commis a utilisé exactement la technique du Chef. C'est le meilleur ingrédient.
L'ingrédient du commis (Student Sentence) : Le commis a utilisé sa propre vieille recette, celle qu'il connaissait avant d'apprendre.
L'ingrédient amélioré (Boosted Sentence) : Le commis connaissait déjà cet ingrédient, mais le Chef lui a appris à le cuisiner encore mieux.
L'ingrédient commun (Shared Sentence) : C'est un ingrédient basique que tout le monde utilise (comme du sel ou de l'eau).

La découverte clé : Les chercheurs ont regardé des centaines de réponses et ont vu que :

Quand l'Apprenti donne la bonne réponse, il utilise beaucoup d'ingrédients du Chef (surtout au début de la réflexion).
Quand il se trompe, il a tendance à utiliser ses vieux ingrédients ou des ingrédients "améliorés" qui ne fonctionnent pas toujours.

En gros, le succès de l'Apprenti dépend de sa capacité à rester fidèle au Chef quand la situation devient difficile.

🎯 La Nouvelle Stratégie : Choisir les bons exercices

Avant, pour entraîner l'Apprenti, on lui donnait des exercices au hasard ou on choisissait ceux qui ressemblaient le plus à ce qu'il savait déjà faire (pour qu'il soit à l'aise).

Les chercheurs disent : "Non ! Choisissons les exercices où le Chef et l'Apprenti sont le plus différents !"

C'est comme un coach sportif :

Si vous choisissez des exercices que l'athlète maîtrise déjà, il ne progresse pas.
Si vous choisissez des exercices où l'athlète hésite et où le coach a une solution brillante, c'est là que l'apprentissage est le plus puissant.

Leur méthode consiste donc à filtrer les données d'entraînement pour ne garder que celles où le "Chef" apporte quelque chose de nouveau et de précieux que l'"Apprenti" ne possédait pas.

🚀 Les Résultats

Ils ont testé cette idée avec plusieurs modèles d'IA (comme DeepSeek, Qwen, etc.) sur des tests de mathématiques et de logique très difficiles.

Le résultat ?
En utilisant leur méthode de sélection "guidée par le Chef", les petits modèles sont devenus plus intelligents et plus fiables que s'ils avaient été entraînés de la manière habituelle. Ils ont mieux généralisé, c'est-à-dire qu'ils réussissent mieux sur des problèmes qu'ils n'ont jamais vus auparavant.

En résumé

Ce papier nous dit deux choses importantes :

On peut maintenant voir "qui a écrit quoi" dans la tête d'une IA. On sait si elle réfléchit comme un expert ou comme un débutant.
Pour apprendre à une IA, il ne faut pas lui donner ce qu'elle aime déjà, mais ce qui la fait progresser. En ciblant les moments où l'expert apporte une vraie valeur ajoutée, on obtient des modèles plus performants.

C'est une avancée majeure pour rendre les intelligences artificielles plus petites, moins chères, mais tout aussi brillantes que les géants actuels.

1. Problématique

Le distillation de raisonnement (Reasoning Distillation) est une approche rentable pour améliorer les performances de modèles étudiants (plus petits) en les entraînant à imiter les chemins de raisonnement générés par un modèle enseignant (plus grand et plus performant). Cependant, une question fondamentale reste sans réponse : le modèle étudiant conserve-t-il réellement les capacités de raisonnement du modèle enseignant dans des contextes de test inédits, ou régresse-t-il vers ses propres schémas de sortie initiaux ?

Les méthodes actuelles se concentrent principalement sur les performances globales et le filtrage des données d'entraînement, mais manquent d'une analyse explicative de l'origine des sorties du modèle distillé. Il est crucial de déterminer si les améliorations observées proviennent d'un transfert de connaissances du professeur ou simplement du renforcement de motifs préexistants chez l'étudiant.

2. Méthodologie : Le Cadre de Traçage de Provenance

Les auteurs proposent un cadre novateur appelé Reasoning Distillation Provenance Tracing (RDPT). Au lieu de comparer simplement les réponses finales, cette méthode analyse chaque action (phrase) produite par le modèle distillé en comparant les probabilités d'assignation de trois modèles sous le même contexte :

Le modèle Enseignant ( $M_T$ ).
Le modèle Étudiant original ( $M_S$ ).
Le modèle Distillé ( $M_D$ ).

Pour chaque phrase $a_{i,j}$ d'une trajectoire de réponse, le cadre calcule la probabilité géométrique moyenne des tokens. En comparant ces probabilités ( $p_T, p_S, p_D$ ), chaque action est classée dans l'une des quatre catégories suivantes :

Phrases Partagées (Shared Sentences) : Probabilités similaires pour les trois modèles. Ce sont des motifs préexistants chez l'enseignant et l'étudiant, non renforcés par la distillation.
Phrases Boostées (Boosted Sentences) : Probabilités élevées pour l'enseignant et l'étudiant, mais significativement plus élevées pour le modèle distillé. Cela indique que la distillation a activé ou amplifié des motifs internes latents de l'étudiant.
Phrases d'Origine Étudiante (Student Sentences) : L'action est fortement probable pour l'étudiant original mais peu probable pour l'enseignant. Le modèle distillé suit ici ses propres tendances.
Phrases d'Origine Enseignant (Teacher Sentences) : L'action est fortement probable pour l'enseignant mais peu probable pour l'étudiant original. C'est la preuve directe d'un transfert de connaissances du professeur vers l'étudiant.

3. Contributions Clés

Cadre d'Analyse de Provenance : Introduction d'une méthode systématique pour dissocier l'origine de chaque action dans un modèle de raisonnement, passant d'une analyse "boîte noire" à une analyse granulaire des sources de capacité.
Découverte Empirique : L'analyse sur des benchmarks (AIME24, GPQA-D) révèle que :
- Les modèles distillés génèrent effectivement des Teacher Sentences, particulièrement dans les phases précoces du raisonnement.
- Ces phrases d'origine enseignante sont fortement corrélées avec la justesse de la réponse.
- La distillation active aussi des motifs internes de l'étudiant (Boosted Sentences), mais leur impact varie selon la taille du modèle et la phase de raisonnement (parfois bénéfique, parfois non).
Stratégie de Sélection de Données Guidée par l'Enseignant : Basée sur l'analyse de provenance, les auteurs proposent une nouvelle méthode de sélection de données d'entraînement. Au lieu de choisir des données alignées avec la distribution de l'étudiant (comme le fait la méthode GRAPE), cette méthode priorise les échantillons contenant un maximum de "Teacher Sentences" (c'est-à-dire où l'enseignant et l'étudiant divergent le plus).

4. Résultats Expérimentaux

Les auteurs ont validé leur approche sur plusieurs paires enseignant-étudiant (enseigneurs : DeepSeek-R1, QwQ-32B, GPT-OSS-120B ; étudiants : Qwen2.5/3 de différentes tailles).

Performance : La méthode de sélection de données guidée par l'enseignant ("Ours") surpasse systématiquement les méthodes de base ("Vanilla") et la méthode de sélection basée sur l'alignement étudiant ("GRAPE").
- Gain moyen observé : 1,7 % à 2,5 % sur les benchmarks de raisonnement (AIME24, AIME25, MATH500, OlympiadBench).
- Par exemple, sur DeepSeek-R1 + Qwen3-4B-Base, la précision moyenne passe de 56,2 % (Vanilla) à 58,7 % avec leur méthode.
Robustesse : L'analyse montre que l'augmentation de la probabilité de sortie des "Teacher Sentences" dans le modèle entraîné correspond directement à l'amélioration des performances.
Généralisation : La méthode s'avère efficace même lorsque les données d'entraînement proviennent d'un domaine différent (ex: entraînement sur des données scientifiques pour améliorer les performances en mathématiques), suggérant que les motifs de raisonnement de l'enseignant sont transférables.

5. Signification et Impact

Ce travail apporte une explication causale aux gains de performance observés dans la distillation de raisonnement. Il démontre que la distillation ne se contente pas de "copier" des réponses, mais transfère activement des schémas de raisonnement spécifiques (les "Teacher Sentences") qui sont cruciaux pour la résolution de problèmes complexes.

L'apport principal réside dans le changement de paradigme pour la sélection de données : au lieu de chercher à minimiser la divergence entre l'étudiant et ses propres données (pour éviter le "catastrophic forgetting" ou pour faciliter l'apprentissage), il est plus efficace de maximiser la divergence avec l'enseignant pour forcer l'étudiant à apprendre de nouveaux comportements. Cette approche ouvre la voie à des protocoles de distillation plus fiables et à une meilleure compréhension de la "lignée" des capacités des modèles de langage.