Résumé Technique : Meilleures Précisions, Raisonnement Dégradé

Énoncé du Problème

La distillation de la chaîne de pensée (CoT) est une technique standard pour entraîner des modèles « élèves » plus petits à imiter les traces de raisonnement de modèles « enseignants » plus grands. Traditionnellement, le succès de cette distillation est évalué à l'aide de métriques de réponse finale (par exemple, la précision sur des benchmarks à choix multiples) et de scores d'étalonnage de la confiance. Cet article remet en question l'hypothèse selon laquelle les améliorations de la qualité des réponses sont nécessairement corrélées à des améliorations de la fiabilité factuelle des étapes intermédiaires de raisonnement.

Les auteurs soutiennent que dans les domaines médicaux, la réponse finale est une cible à faible bande passante (une étiquette unique), tandis que la justification est un objet à haute bande passante contenant des symptômes, des mécanismes, des exclusions et des diagnostics différentiels. Si un modèle distillé améliore sa sélection de réponses mais dégrade la précision factuelle de sa justification écrite, cela pose un risque significatif : le modèle peut sembler plus compétent tout en générant un raisonnement médical peu fiable susceptible d'induire en erreur les lecteurs, les superviseurs de sécurité ou les futurs ensembles de données d'entraînement.

Méthodologie

L'étude emploie un cadre d'audit contrôlé au niveau des étapes pour comparer un modèle élève avant et après la distillation CoT.

• Modèles et Données :

  • Enseignant : Modèle API de la famille DeepSeek-V3 (DeepSeek-V3.2).
  • Élève : Qwen3-8B, affiné par LoRA sur des données d'entraînement MedQA-USMLE.
  • Contrôles : Les variations incluent différentes échelles d'élèves (Qwen3-14B, 32B ; Llama-3.1-8B), un enseignant plus faible (Qwen3-14B) et un élève de base faible (Mistral-7B).
  • Benchmarks : Évaluation principale sur MedQA-USMLE ; vérifications de transfert sur MedMCQA et MedBullets5 ; diagnostics de limites sur GSM8K, MATH et ARC-Challenge.

• Protocole d'Audit :

  • Segmentation : Les chaînes CoT générées sont segmentées en étapes individuelles basées sur des énumérateurs ou des sauts de paragraphe.
  • Évaluation Aveugle au Style : Chaque étape est jugée isolément par un juge LLM (principal : Kimi-K2.6). Le juge reçoit l'instruction explicite d'ignorer le ton, la fluidité et les marqueurs de confiance, évaluant uniquement la correction factuelle compte tenu de la question et de la clé de réponse correcte.
  • Métriques : La métrique principale est le « taux d'erreur d'étape engagée » (erreurs / (erreurs + corrects)), excluant les jugements incertains.
  • Validation : Les résultats sont recroisés avec d'autres juges LLM (GLM-4-32B, Hunyuan-A13B) et un audit en aveugle par un expert clinique (150 étapes).

• Analyse Diagnostique :

  • Décomposition du Gain de Précision : Les auteurs analysent si les gains de précision proviennent du « sauvetage » de questions difficiles ou d'un déplacement de la masse de probabilité sur des questions où la réponse correcte était déjà accessible.
  • Audit par Rôle : Les étapes sont classées par fonction (par exemple, génération d'hypothèses, élimination d'options, affirmation factuelle) pour identifier où la dégradation se produit.
  • Vérifications des Mécanismes Internes : L'article examine la « rationalisation réponse-d'abord » (choisir une réponse puis la justifier) et les « canaux de prudence » (comportement d'atténuation) via le sondage d'activation et l'intervention.

Résultats Clés

1. La Séparation Précision-Raisonnement

La découverte centrale est une divergence entre la performance au niveau de la réponse et la qualité de la trace de raisonnement :

• Les Métriques de Réponse S'Améliorent : Après distillation, la précision gloutonne de l'élève est passée de 72,9 % à 76,3 %, et la précision de la cohérence autonome (SC@64) est passée de 74,7 % à 84,4 %. Les métriques d'étalonnage (ECE et score de Brier) se sont également considérablement améliorées.
• La Trace de Raisonnement se Dégrade : Selon l'audit aveugle au style, le taux d'erreur au niveau des étapes pour les étapes non abstentionnées a augmenté de manière spectaculaire, passant de 30,6 % (BASE) à 50,3 % (DISTILLÉ).
• Significativité Statistique : Cette dégradation est hautement significative ($p < 10^{-65}$) et persiste à travers différents juges, règles de segmentation et conditionnement de réponse (même lorsque la réponse finale est correcte, la justification distillée est plus bruitée).

2. Généralisabilité et Limites

• Échelle et Famille : La séparation persiste dans les modèles Qwen plus grands (14B, 32B) et Llama-3.1-8B, bien que l'ampleur de l'augmentation des erreurs soit plus faible que dans le modèle 8B.
• Force de l'Enseignant : Un enseignant plus faible (Qwen3-14B) produit une inflation d'erreur plus faible (30,6 % $\to$ 41,1 %), suggérant que l'effet est piloté par la capacité de l'élève à imiter la forme d'un enseignant fort sans en posséder la substance.
• Spécificité du Domaine :
  • Médical (Risque Élevé) : L'effet est prononcé dans MedQA, MedMCQA et MedBullets5, où les réponses courtes sous-contraignent les justifications cliniques riches.
  • Non-Médical (Risque Faible/Nul) : Dans GSM8K et MATH, les traces de l'enseignant étaient déjà plus bruitées que la base, et la séparation ne s'est pas manifestée comme une dégradation. Dans ARC-Challenge (sciences), où les réponses contraignent étroitement la justification, aucune dégradation significative n'a été observée.
  • Base Faible : Mistral-7B, partant d'une base de précision plus faible, a en fait amélioré à la fois la précision et l'erreur d'étape, indiquant que le régime de risque nécessite un élève capable capable d'imiter la forme experte.

3. Mécanisme de Dégradation

• Source du Gain de Précision : L'amélioration de la précision provient principalement d'un déplacement de la masse de probabilité sur des questions « proches de la limite » (où la réponse correcte était le deuxième choix du modèle de base) plutôt que de la résolution de questions précédemment impossibles.
• Impact par Rôle : La dégradation est la plus sévère dans les étapes de génération d'hypothèses et de diagnostic différentiel (le taux d'erreur a bondi de 31,1 % à 61,8 %), précisément les étapes où le jugement clinique est le plus critique.
• Signaux Cachés : Les signaux standards tels que les taux d'atténuation agrégés et les sondages internes de « vérité » n'ont pas réussi à détecter le changement. Le modèle continue d'utiliser les mots d'atténuation de manière appropriée, mais la fiabilité de base des affirmations qu'ils modifient a diminué.
• Pas de Réponse-D'Abord : L'article rejette l'hypothèse selon laquelle le modèle choisit simplement une réponse puis fabrique une justification ; les probabilités de réponse pré-CoT ont en fait diminué après la distillation.

Signification et Affirmations

L'article affirme identifier un mode de défaillance spécifique dans la distillation médicale CoT où les métriques au niveau de la réponse et la factualité au niveau de la trace évoluent dans des directions opposées.

• Diagnostic au Niveau du Processus : Les auteurs fournissent des preuves que les recettes de distillation standard peuvent apprendre à un élève à « ressembler » à un expert (produisant une étiquette finale correcte et une trace fluide et structurée) tout en échouant à ancrer les affirmations factuelles locales au sein de cette trace.
• Limites de l'Évaluation Actuelle : L'étude démontre que les métriques au niveau de la réponse (précision, étalonnage) et les taux d'atténuation agrégés sont insuffisants pour évaluer les modèles de raisonnement distillés dans des domaines à haut risque comme la médecine.
• Risque des Données d'Entraînement : Les auteurs soulignent une implication critique pour la distillation récursive : si les traces distillées sont utilisées comme données d'entraînement pour des modèles futurs, le « bruit » dans les étapes de raisonnement peut être propagé, même si les réponses finales sont correctes.
• Conditions Limites : Le risque est conditionnel. Il survient lorsqu'une réponse concise contraint faiblement une justification riche, et que l'élève est suffisamment capable pour imiter les schémas de discours de l'enseignant sans posséder les connaissances du domaine pour vérifier chaque affirmation locale.

L'article conclut que pour les modèles de raisonnement médical, un petit audit de processus parallèlement aux métriques de réponse est nécessaire pour s'assurer que le « processus écrit » reste un objet fiable pour la lecture, la surveillance et la réutilisation.