🤖 machine learning

Final Checkpoints Are Not Enough: Analyzing Latent Reasoning Faithfulness Along Training Trajectories

Cet article révèle que la fidélité des méthodes de raisonnement latent n'est pas statique mais évolue dynamiquement au cours de l'entraînement, avec des contributions causales aux réponses finales qui décroissent au fil du temps et varient considérablement selon le format de la réponse, soulignant que les évaluations de points de contrôle finaux sont insuffisantes pour évaluer la fiabilité du raisonnement.

Auteurs originaux : Hengyu Jin, Shu Yang, Di Wang

Publié 2026-07-09

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Hengyu Jin, Shu Yang, Di Wang

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous avez un étudiant brillant passant un examen de mathématiques très difficile. Il existe deux façons pour cet étudiant de résoudre les problèmes :

La méthode du « Travail Détaillé » (Chaîne de pensée) : L'étudiant écrit chaque étape sur une feuille de papier. Vous pouvez lire ses notes pour voir exactement comment il est arrivé à la réponse.
La méthode de la « Réflexion Silencieuse » (Raisonnement latent) : L'étudiant résout le problème entièrement dans sa tête. Il n'écrit rien ; il se contente de murmurer la réponse finale. C'est plus rapide et plus compact, mais vous ne pouvez pas voir comment il a fait.

Ce document traite de cette seconde méthode. La grande inquiétude est la suivante : l'étudiant est-il réellement en train de réfléchir, ou est-il simplement en train de deviner ? Peut-être a-t-il mémorisé le corrigé, ou utilise-t-il un raccourci qui saute les étapes de réflexion réelles. Si vous « piquez » son cerveau (ou le code informatique derrière lui) pour voir si les étapes de réflexion silencieuse sont réellement nécessaires, parvient-il toujours à la bonne réponse ?

Les chercheurs appellent cela la « fidélité » (faithfulness). Si les étapes silencieuses sont fidèles, elles sont la cause de la réponse. Si elles ne le sont pas, l'étudiant fait simplement semblant de réfléchir alors que la véritable réponse provient d'ailleurs.

La grande erreur que tout le monde a commise auparavant

Les études précédentes ont examiné ces « penseurs silencieux » uniquement après qu'ils ont terminé leur entraînement (l'examen final). Elles ont découvert que beaucoup de ces modèles étaient « infidèles » — vous pouviez perturber leurs étapes de réflexion silencieuse, et ils trouveraient toujours la bonne réponse.

Les auteurs de ce document disent : « Attendez une minute ! Nous n'avons regardé que la ligne d'arrivée. Qu'en est-il de la course ? »

Ils ont décidé de regarder les modèles s'entraîner du Jour 1 jusqu'à la fin, comme si l'on regardait un match de sport au lieu de simplement consulter le score final. Ils ont utilisé deux outils spéciaux pour tester les modèles :

Le truc du « Et si ? » : Ils ont changé un petit détail dans la question (comme changer une route sur une carte) pour voir si le modèle changeait sa réponse. Si le modèle est fidèle, il devrait changer sa réponse.
Le test du « Brouillard Cérébral » : Ils ont temporairement « embrumé » les étapes de réflexion silencieuse du modèle avec du bruit aléatoire pour voir si le modèle pouvait toujours résoudre le problème.

Ce qu'ils ont découvert (Les trois grandes surprises)

1. Deux routes différentes vers la même impasse

Ils ont étudié deux types différents de « penseurs silencieux » (appelons-les Méthode A et Méthode B).

Le résultat : À la toute fin, les deux méthodes semblaient terribles. Toutes deux ont échoué au truc du « Et si ? » et au test du « Brouillard Cérébral ». Elles semblaient également infidèles.
Le rebondissement : Le voyage vers cet échec était complètement différent.
- La Méthode A a commencé par être très fidèle. Elle était capable de changer sa réponse quand la question changeait. Mais ensuite, à mi-chemin de l'entraînement, elle a soudainement cessé de s'en soucier. Elle est devenue paresseuse et a commencé à ignorer les étapes de réflexion, même si son score final continuait de grimper.
- La Méthode B ne s'est jamais souciée des étapes de réflexion dès le départ. Elle était infidèle dès le Jour 1 et l'est restée.
La leçon : Si vous ne regardez que l'examen final, vous pensez qu'ils sont identiques. Mais si vous les regardez s'entraîner, vous voyez que l'un était un « talent tardif » qui a abandonné, et l'autre un « tricheur » dès le début.

2. Les étapes de « Réflexion » sont en train de s'effacer

Ils ont vérifié l'activité cérébrale interne (les états cachés) du modèle pendant la réflexion silencieuse.

Le résultat : À mesure que les modèles s'entraînaient, l'importance réelle de ces étapes de réflexion silencieuse diminuait.
L'analogie : Imaginez un chef cuisinier préparant une soupe. Au début, le chef goûte la soupe et ajoute du sel (l'étape de réflexion). Mais à mesure que le chef gagne en expérience, il arrête de goûter et jette juste une pincée de sel au hasard parce qu'il pense que c'est la bonne chose à faire. Le document a trouvé que la partie « goûter » du processus est devenue inutile au fil du temps. Le modèle n'avait plus besoin des étapes de réflexion pour obtenir la bonne réponse ; il a commencé à deviner la réponse directement.
La connexion : Les questions spécifiques où le modèle a cessé de changer sa réponse (le truc du « Et si ? ») étaient exactement les mêmes questions où les « étapes de réflexion » ont cessé d'avoir de l'importance.

3. Le format de la réponse change tout

C'est la partie la plus surprenante. Ils ont testé les modèles sur deux types de questions :

Type A : « La réponse est-elle X ou Y ? » (Choix binaire)
Type B : « Quelle est la réponse ? » (Question ouverte)

L'interrupteur magique :

Lorsque le modèle devait choisir entre deux options (A ou B), les « étapes de réflexion » devenaient inutiles au fil de l'entraînement (tout comme dans les tests précédents).
Mais quand le modèle devait rédiger la réponse (Question ouverte), les « étapes de réflexion » devenaient en fait plus importantes au fil de l'entraînement !

L'analogie : C'est comme un étudiant qui apprend à deviner la bonne réponse à un QCM en regardant les motifs sur la feuille (en ignorant les mathématiques). Mais si vous lui demandez d'écrire la réponse sur une page blanche, il doit faire les calculs. La façon dont vous posez la question change si le modèle est réellement en train de réfléchir ou de simplement deviner.

La conclusion

Le document conclut que vous ne pouvez pas juger si une IA « penseuse silencieuse » est honnête ou fidèle simplement en regardant son score final à l'examen.

Le timing compte : Un modèle peut paraître fidèle au début et perdre cette capacité, ou inversement.
Le format compte : Un modèle peut être fidèle lorsqu'il rédige un essai, mais infidèle lorsqu'il choisit une réponse à choix multiples.

La « fidélité » de ces modèles d'IA n'est pas un trait fixe de la machine ; c'est une cible mouvante qui dépend de la façon dont ils ont été entraînés et de la façon dont vous posez la question.

Résumé Technique : Les points de contrôle finaux ne suffisent pas : Analyse de la fidélité du raisonnement latent le long des trajectoires d'entraînement

Énoncé du problème
Les méthodes de raisonnement latent effectuent un raisonnement multi-étapes entièrement au sein des états cachés continus d'un modèle, offrant une alternative plus compacte et efficace au raisonnement explicite par Chaîne de Pensée (Chain-of-Thought ou CoT), qui repose sur des jetons de langage naturel discrets. Cependant, l'opacité de ces états cachés soulève une question critique de fidélité : les étapes de raisonnement latent pilotent-elles causalement la réponse finale, ou sont-elles simplement corrélées à la sortie ?

Les travaux antérieurs ont investigué cette question uniquement aux points de contrôle convergés, rapportant que les étapes de raisonnement latent sont souvent infidèles — ce qui signifie qu'elles peuvent être remplacées, perturbées ou effacées sans modifier la prédiction finale. Une lacune importante subsiste dans la compréhension de la manière dont ces comportements infidèles se forment durant l'entraînement. De plus, traiter un modèle entraîné comme un point final fixe occulte le fait que différents paradigmes d'entraînement peuvent atteindre des conclusions infidèles similaires via des trajectoires qualitativement différentes.

Méthodologie
Les auteurs suivent l'évolution de la fidélité à travers les points de contrôle sauvegardés pour deux paradigmes distincts de raisonnement latent, COCONUT (curriculum étagé) et CODI (auto-distillation), en utilisant un squelette commun GPT-2. L'analyse emploie deux interventions principales :

Édition Contrefactuelle Vérifiée (Niveau Entrée) : En utilisant le benchmark ProsQA (une tâche de joignabilité de graphe résoluble par un oracle BFS déterministe), les auteurs construisent 405 entrées appariées. Ils modifient de manière minimale une seule arête dans le graphe sous-jacent pour faire basculer la réponse de l'oracle d'une cible $A$ vers une alternative $B$ . La fidélité est mesurée par la capacité du modèle à suivre cette édition (Cohérence Contrefactuelle et Taux de Basculement Conditionnel).
Patching d'Activation par Bruit-Ablation (Niveau Activation) : Adapté des analyses de médiation causale, les auteurs appliquent un "patch" à toutes les étapes de raisonnement latent avec des valeurs d'effacement de contenu (zéro, moyenne du jeu de données, ou bruit gaussien ajusté sur la norme). Ils mesurent le Taux de Changement de Sortie (OCR) et le taux Préservé-Quand-Correct (PWC) pour déterminer si les étapes latentes contribuent causalement à la prédiction.

L'étude aborde trois Questions de Recherche (RQ) :

RQ1 : Les différents paradigmes présentent-ils des trajectoires de fidélité au niveau de la sortie qualitativement différentes, même si leurs points de contrôle finaux semblent similaires ?
RQ2 : La contribution causale des étapes latentes décroît-elle au cours de l'entraînement, et cela s'aligne-t-il sur les transitions au niveau de la sortie ?
RQ3 : Ces trajectoires dépendent-elles du format de la réponse (choix binaire vs décodage ouvert) ?

Résultats Clés

Trajectoires Divergentes vers des Points Finaux Similaires (RQ1) : Bien que COCONUT et CODI convergent tous deux vers des points finaux de faible fidélité (faible Cohérence Contactuelle et Faible Taux de Basculement Conditionnel), leurs trajectoires d'entraînement diffèrent considérablement.
- COCONUT présente initialement une haute fidélité contrefactuelle (suit les éditions) mais subit un basculement abrupt à la frontière du curriculum (époque 15–16), où la fidélité s'effondre et le modèle commence à conserver la réponse originale malgré les éditions.
- CODI entre dans un régime de "rétention" (faible fidélité) presque immédiatement dès les premiers points de contrôle et y reste, ne visitant jamais la phase de suivi contrefactuel.
- Implication : Un instantané unique à la convergence masque ces dynamiques d'apprentissage fondamentalement différentes.
Décroissance de la Contribution Causale (RQ2) : Au niveau de l'activation, la contribution causale des étapes de raisonnement latent décroît au cours de l'entraînement pour les deux paradigmes.
- L'Output Change Rate (OCR) tend vers zéro, et le PWC tend vers un, indiquant que l'ablation par bruit sur les étapes latentes n'affecte plus la sortie.
- L'analyse de cohorte révèle que les exemples spécifiques qui basculent du suivi contrefactuel à la rétention dans la sortie (la cohorte de "dérive") sont précisément les exemples où la contribution causale des étapes latentes décroît.
Dépendance au Format (RQ3) : La trajectoire au niveau de l'activation n'est pas intrinsèque à l'architecture du modèle mais dépend fortement du format de la réponse.
- Sur les tâches à choix binaire (ProsQA et GSM-Choice), la contribution causale des étapes latentes décroît au cours de l'entraînement (l'OCR diminue).
- Sur les tâches de décodage à texte ouvert (GSM-open), la contribution causale des étapes latentes augmente au cours de l'entraînement (l'OCR augmente).
- De plus, le classement de la performance du modèle (COCONUT vs CoT) s'inverse selon que la tâche est formulée comme un texte ouvert ou un choix binaire, suggérant que le format de réponse altère à la fois la performance apparente et la fidélité mesurée.

Signification et Revendications
L'article soutient que la fidélité du raisonnement latent est une propriété de l'étape d'entraînement et du format de la réponse, et non simplement un attribut statique de l'architecture finale ou du point de contrôle.

Contribution Méthodologique : Ce travail démontre qu'évaluer le raisonnement latent uniquement à la convergence est insuffisant. Il révèle que des dynamiques d'entraînement qualitativement différentes peuvent mener à des points finaux infidèles similaires, et que les métriques de fidélité peuvent inverser leur direction selon le format de sortie.
Interprétation de l'Infidélité : Les résultats suggèrent que dans les contextes de choix binaire, les étapes de raisonnement latent peuvent développer un "biais de réponse supprimable" plutôt que d'effectuer un calcul nécessaire, tandis que dans les contextes de texte ouvert, elles peuvent conserver ou augmenter leur rôle causal.
Limites : Les auteurs notent que leurs éditions contrefactuelles vérifiées reposent sur des oracles déterministes (comme les solveurs BFS), ce qui limite l'application immédiate à des tâches sans une telle vérification de vérité terrain. L'étude est également limitée au squelette GPT-2 small pour garantir une reproduction traçable des trajectoires d'entraînement complètes.

En conclusion, l'article pose que comprendre le raisonnement latent nécessite d'analyser la trajectoire de l'apprentissage et le format de la sortie, plutôt que de se fier aux évaluations du point de contrôle final qui peuvent occulter des changements critiques dans le comportement du modèle.