💬 NLP

Tracing Uncertainty in Language Model "Reasoning"

Cet article présente une méthode pour quantifier et analyser les profils d'incertitude des traces de raisonnement des modèles de langage, démontrant que des motifs distincts dans ces profils peuvent prédire la justesse des réponses avec une grande précision et permettre une détection précoce des erreurs.

Auteurs originaux : Nils Grünefeld, Bertram Højer, Philipp Mondorf, Barbara Plank, Anna Rogers, Christian Hardmeier, Stefan Heinrich, Jes Frellsen

Publié 2026-05-11

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Nils Grünefeld, Bertram Højer, Philipp Mondorf, Barbara Plank, Anna Rogers, Christian Hardmeier, Stefan Heinrich, Jes Frellsen

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez un grand modèle de langage (LM) comme un étudiant passant un test de mathématiques ou de logique très long et complexe. Au lieu de simplement écrire la réponse finale, l'étudiant est invité à « montrer son travail » en écrivant d'abord un long processus de pensée étape par étape. C'est ce que les chercheurs appellent « Chain-of-Thought » ou « raisonnement ».

La grande question que pose cet article est la suivante : Pouvons-nous dire si l'étudiant va trouver la bonne réponse pendant qu'il écrit encore, simplement en observant à quel point il semble « confiant » à chaque étape ?

Voici la décomposition de leur découverte, utilisant des analogies simples :

1. Le « compteur de confiance »

Habituellement, lorsqu'un modèle génère du texte, il choisit le mot suivant en fonction de la probabilité. Les auteurs ont décidé de traiter ce processus comme un compteur de confiance qui fluctue au fur et à mesure que l'étudiant écrit.

La trace : La longue chaîne de mots que le modèle écrit avant la réponse finale est la « trace ».
L'incertitude : À chaque mot, le modèle possède un niveau d'« incertitude » (à quel point il est incertain de ce qui vient ensuite).
Le profil : Au lieu de se contenter d'examiner le résultat final, les auteurs ont cartographié la forme de cette incertitude au fil du temps. Ils ont appelé cela un « profil de trace d'incertitude ».

2. Deux types de « confusion »

L'article distingue deux types de confusion différents que le modèle pourrait ressentir, en utilisant une analogie avec un lancer de pièce :

L'incertitude aléatoire (la confusion de la « Randomness ») : C'est comme lancer une pièce équilibrée. Même si vous connaissez tout de la pièce, vous ne pouvez pas prédire le prochain lancer. C'est intrinsèquement aléatoire. Dans le modèle, cela se produit lorsque le modèle est véritablement tiraillé entre deux ou plusieurs options.
L'incertitude épistémique (la confusion de la « Knowledge ») : C'est comme lancer une pièce que vous n'avez jamais vue auparavant. Vous ne savez pas si elle est équilibrée ou truquée. Vous êtes confus parce que vous manquez d'informations ou de données d'entraînement sur cette situation spécifique.

3. La « forme » du succès versus de l'échec

Les chercheurs ont examiné des milliers d'exemples de réponses correctes et incorrectes. Ils ont constaté que la forme du compteur de confiance raconte une histoire très claire :

Le « bon » étudiant (réponse correcte) : Au fur et à mesure que l'étudiant écrit son raisonnement, sa confiance croît régulièrement. Le « compteur d'incertitude » chute brutalement et régulièrement, comme un skieur descendant une pente raide et droite. Il devient de plus en plus sûr de lui à mesure qu'il se rapproche de la ligne d'arrivée.
L'étudiant « en difficulté » (réponse incorrecte) : Son compteur de confiance est chaotique. Il ne chute pas aussi vite, et le chemin est vacillant et irrégulier. Il semble « éliminer » les mauvaises options une par une plutôt que de se « concentrer » naturellement sur la bonne.

La découverte clé : En examinant uniquement les 300 premiers mots de la « réflexion » d'un étudiant (avant même qu'il n'ait terminé le problème), les auteurs pouvaient prédire avec 80 % de précision si la réponse finale serait juste ou fausse. C'est bien mieux que les méthodes précédentes qui tentaient de deviner en se basant uniquement sur la réponse finale ou en comptant le nombre de fois où le modèle se répétait.

4. Le « piège » de la fausse confiance

L'une des découvertes les plus surprenantes était un « piège » dans la façon dont les modèles échouent.

Lorsqu'un modèle donne une réponse fausse, les étapes qu'il a suivies pour y parvenir semblent souvent très confuses (forte randomité/incertitude aléatoire).
Cependant, la mauvaise réponse finale sur laquelle il atterrit semble souvent étonnamment confiante et familière (faible incertitude épistémique basée sur la connaissance).
L'analogie : Imaginez un randonneur qui erre sans but dans les bois (forte confusion pendant la marche) mais finit par trébucher dans un parking familier (faible confusion à la fin). Le randonneur pense : « Ah, je suis en lieu sûr ! » parce que le parking ressemble à celui qu'il a déjà vu, même s'il a suivi un chemin terrible pour y arriver. Le modèle est confiant dans la mauvaise réponse parce qu'elle ressemble à quelque chose qu'il a vu dans ses données d'entraînement, même si la logique utilisée pour y parvenir était fragile.

5. Pourquoi cela compte (selon l'article)

L'article affirme qu'en traitant le processus de « raisonnement » comme une série temporelle de niveaux de confiance, nous pouvons :

Repérer les erreurs tôt : Nous n'avons pas à attendre que le modèle finisse d'écrire pour savoir qu'il a probablement tort.
Comprendre le « Pourquoi » : Nous pouvons voir comment le modèle échoue. Ce n'est pas seulement que la réponse est fausse ; c'est que le chemin vers la réponse était « vacillant » et que le modèle était incertain de ses étapes, même s'il se sentait sûr de la destination.

En bref, les auteurs ont construit un « détecteur de mensonges » pour le raisonnement de l'IA. Il ne lit pas les mots pour vérifier s'ils ont du sens ; il observe le « battement de cœur » de l'IA (l'incertitude) pour voir si le voyage était fluide et confiant (probablement correct) ou vacillant et confus (probablement incorrect).

Résumé technique : Traçage de l'incertitude dans le « raisonnement » des modèles de langage

Énoncé du problème

Les modèles de langage (ML) génèrent de plus en plus de longues séquences de tokens intermédiaires, appelées traces de « raisonnement » (par exemple, Chain-of-Thought ou mise à l'échelle au moment du test), qui améliorent les performances sur des tâches vérifiables comme le raisonnement mathématique et logique. Cependant, les dynamiques sous-jacentes à ce processus génératif restent mal comprises. Bien que la corrélation entre la longueur de la trace et les performances soit établie, les mécanismes distinguant le raisonnement correct du raisonnement incorrect demeurent opaques. Les approches existantes pour vérifier ou améliorer ces traces agrègent souvent l'information (en rejetant la structure temporelle) ou s'appuient sur le contenu sémantique, ce qui s'est avéré peu fiable. De plus, la définition du « raisonnement » en IA reste contestée, des preuves suggérant que les modèles peuvent générer des traces sémantiquement invalides qui donnent néanmoins des réponses correctes, ou des traces apparemment valides qui échouent.

Ce papier comble le manque de compréhension du processus génératif en traitant la trace de « raisonnement » non pas comme un objet sémantique statique, mais comme un état de modèle évolutif caractérisé par l'incertitude. Les auteurs postulent que les dynamiques de l'incertitude au cours de la génération contiennent des signaux prédictifs concernant la justesse de la réponse finale, indépendamment du contenu sémantique de la trace.

Méthodologie

Cadre de quantification de l'incertitude

Les auteurs appliquent la quantification de l'incertitude (UQ) pour modéliser le processus génératif comme une série temporelle. Ils décomposent l'incertitude en deux catégories principales, subdivisées pour une analyse granulaire :

Incertitude épistémique ( $U_E$ ) : Reflète le manque de connaissances du modèle concernant une prédiction basé sur ses données d'entraînement. Elle est estimée en utilisant la norme $L_2$ au carré du gradient de la probabilité prédite par rapport aux paramètres du modèle, dérivée via une expansion de la méthode delta du premier ordre.
Incertitude aléatoire : Reflète l'aléatoire inhérent à la tâche. Les auteurs distinguent deux sous-types :
- Incertitude aléatoire de l'engagement ( $U_C$ ) : La variance de Bernoulli de la probabilité prédite du token sélectionné. Elle mesure à quel point le modèle est « engagé » envers un token spécifique (concentration) par rapport au choix d'un token par élimination parmi de nombreuses alternatives improbables.
- Incertitude aléatoire distributionnelle ( $U_D$ ) : L'entropie conditionnelle attendue de la distribution prédictive sur l'ensemble du vocabulaire. Elle capture la forme de toute la distribution, et non seulement le mode.

Canaux de trace et de réponse

Pour chaque position de token $t$ dans une trace générée, les auteurs calculent ces trois types d'incertitude sur deux canaux :

Incertitude de trace ( $U_{Tr}$ ) : La cible $y$ est le token suivant $v_t$ . Cela caractérise l'état du modèle concernant l'étape de génération immédiate.
Incertitude de réponse ( $U_A$ ) : La cible $y$ est la réponse finale éventuelle $\hat{y}$ . Cela caractérise l'état du modèle concernant la sortie finale, nécessitant un passage avant/arrière conditionné par le préfixe de la trace mais appliqué à l'intervalle de la réponse finale.

Cela résulte en six séries temporelles par génération ( $U_{Tr}^D, U_{Tr}^C, U_{Tr}^E, U_{A}^D, U_{A}^C, U_{A}^E$ ).

Ingénierie des caractéristiques et prédiction

Pour résumer ces séries temporelles, les auteurs extraient un ensemble de caractéristiques pour chaque trace d'incertitude, appelé profil de trace d'incertitude :

Caractéristiques statiques : Incertitude moyenne dans les segments précoce ( $\mu_{early}$ ), médian ( $\mu_{mid}$ ) et tardif ( $\mu_{late}$ ) de la trace.
Caractéristiques dynamiques : La pente linéaire ( $m$ ) de la trajectoire d'incertitude et la qualité de l'ajustement ( $r^2$ ) de cette tendance linéaire.

Ces caractéristiques sont utilisées pour entraîner des classificateurs binaires (Régression logistique et Gradient Boosting) afin de prédire si une trace produit une réponse finale correcte. L'étude évalue cinq modèles (Llama-3.1, Llama-3.2, Qwen-2.5, DeepSeek R1, Qwen-3) allant des ML standards aux modèles de « raisonnement » (RM) entraînés par apprentissage par renforcement, sur deux jeux de données : GSM8K (mathématiques) et ProntoQA (logique).

Résultats clés

Performance prédictive

Le profil de trace d'incertitude est un prédicteur fort de la justesse, surpassant significativement les références existantes :

Scores AUROC : La méthode atteint des scores AUROC allant jusqu'à 0,807 (Qwen-2.5 sur GSM8K), améliorant la Vérification du Raisonnement par Circuits (CRV) de l'état de l'art de 11,5 % et l'Auto-certitude de jusqu'à 59 %.
Détection précoce : La justesse peut être prédite avec une grande précision en utilisant uniquement les premiers centaines de tokens. Sur GSM8K, le modèle atteint un AUROC de 0,801 au 300e token, suggérant que les erreurs peuvent être détectées tôt dans le processus de génération.
Robustesse : Le pouvoir prédictif se maintient à travers différentes architectures de modèles et régimes d'entraînement (ML standards vs RM), alors que les méthodes précédentes comme l'Auto-certitude montraient des performances variables selon le type de modèle.

Différences qualitatives dans les dynamiques d'incertitude

Une analyse détaillée des traces correctes versus incorrectes révèle des motifs distincts :

Incertitude aléatoire : Les traces incorrectes exhibent généralement des niveaux plus élevés d'incertitude aléatoire de l'engagement et distributionnelle tout au long de la génération par rapport aux traces correctes.
Incertitude épistémique : Le comportement est contre-intuitif. Les traces incorrectes montrent souvent une plus faible incertitude épistémique au niveau de la trace ( $U_{Tr}^E$ ) dans les modèles de raisonnement, indiquant que les étapes d'une trace incorrecte sont étonnamment bien soutenues par les données d'entraînement, même si elles mènent à une conclusion erronée. Inversement, la mauvaise réponse finale a souvent une incertitude épistémique au niveau de la réponse plus faible que la réponse correcte.
Dynamiques temporelles : Les traces correctes tendent à montrer un déclin plus raide et plus linéaire de l'incertitude (plus haut $r^2$ ) à mesure que la génération progresse. Les traces incorrectes affichent souvent des trajectoires plus plates et moins linéaires, ou dans le cas des RM, un déclin plus raide qui converge vers une réponse erronée mais bien soutenue.

Signification et affirmations

Le papier affirme fournir une lentille principielle pour étudier le processus génératif du « raisonnement » des ML ancrée dans la prise de décision sous incertitude. Ses contributions principales sont :

Caractérisation temporelle : Contrairement aux travaux antérieurs qui agrègent l'incertitude ou s'appuient sur des états cachés, cette approche traite la trace comme une série temporelle évolutive, capturant comment et où la qualité du raisonnement change.
Signaux diagnostiques : L'étude démontre que l'incertitude aléatoire et épistémique portent des signaux diagnostiques dans des directions opposées. Un mode de défaillance se caractérise par une incertitude aléatoire élevée (indiquant une difficulté ou un manque d'engagement) couplée à une incertitude épistémique déprimée (indiquant que le mauvais chemin est familier au modèle). Aucune de ces mesures seule ne révèle ce mode de défaillance.
Utilité pratique : Le pouvoir prédictif élevé des dynamiques de trace précoces suggère une application pratique pour la génération sélective et la mise à l'échelle au moment du test, où les traces pourraient être rééchantillonnées ou terminées prématurément sur la base de profils d'incertitude avant que la génération complète ne soit terminée.
Complémentarité à l'analyse sémantique : Les auteurs soutiennent que l'analyse basée sur l'incertitude peut identifier des défaillances que l'inspection sémantique manque, comme en témoignent des études de cas où le modèle s'engage dans une mauvaise interprétation (par exemple, rapport vs différence) avec un pic d'incertitude distinct que l'analyse sémantique pourrait négliger.

Les auteurs adoptent une stance modeste, reconnaissant que leur méthode repose sur des approximations de l'incertitude (spécifiquement l'approximation isotrope pour l'incertitude épistémique) et que les résultats peuvent varier entre les jeux de données (par exemple, GSM8K vs ProntoQA) en raison de décalages de distribution. Ils positionnent ce travail comme une preuve de concept de l'informativité des mesures d'incertitude à travers les traces de raisonnement, invitant les travaux futurs à s'étendre à d'autres tâches et architectures.