🤖 machine learning

Reading Calibrated Uncertainty from Language Model Trajectories

Ce papier propose une méthode pour améliorer la quantification de l'incertitude des modèles de langage en extrayant des caractéristiques géométriques invariantes d'échelle à partir des trajectoires de mise à jour des MLP par couche et en les alimentant dans une sonde linéaire parcimonieuse, qui surpasse l'approche standard de probabilité softmax maximale tout en fournissant des insights interprétables sur la manière et l'endroit où les erreurs se développent à travers la profondeur du modèle.

Auteurs originaux : Aliai Eusebi, Alexander Herzog, Xiaoyu Liang, Marie Vasek, Enrico Mariconti, Lorenzo Cavallaro

Publié 2026-05-25

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Aliai Eusebi, Alexander Herzog, Xiaoyu Liang, Marie Vasek, Enrico Mariconti, Lorenzo Cavallaro

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez un grand modèle de langage (LLM) comme un étudiant très intelligent, mais parfois trop confiant, passant un test à choix multiples. Lorsque l'étudiant termine une question, il vous fournit généralement un « score de confiance » (comme dire : « Je suis sûr à 95 % que c'est la bonne réponse »). C'est la méthode standard pour vérifier si le modèle a raison ou tort.

Cependant, l'article soutient que ce score de confiance est souvent un mensonge. Le modèle peut affirmer « sûr à 95 % » même lorsqu'il a complètement tort. C'est comme un étudiant qui devine au hasard mais se sent très confiant dans sa supposition.

Le Problème : Regarder la Destination, Pas le Voyage

La plupart des méthodes pour vérifier si une IA est confiante ne regardent que la réponse finale (la destination). Elles traitent le processus de réflexion du modèle comme une simple photo prise à la toute fin.

Les auteurs de cet article disent : « Attendez une minute ! Pour comprendre si quelqu'un est vraiment sûr, vous ne devriez pas seulement regarder sa réponse finale. Vous devriez observer comment il y est arrivé ».

Ils comparent la réflexion interne du modèle à un randonneur grimpant une montagne :

La Méthode Standard (MSP) : Ne regarde le randonneur que lorsqu'il atteint le sommet. S'il a l'air heureux au sommet, nous supposons qu'il a fait une randonnée facile et directe.
La Nouvelle Méthode (Trajectoire) : Observe tout le parcours du randonneur. A-t-il marché en ligne droite ? S'est-il égaré au bord d'une falaise et a-t-il dû faire demi-tour ? A-t-il zigzagué frénétiquement avant de trébucher enfin sur le pic ?

L'article affirme que même si deux randonneurs atteignent le même sommet avec la même expression heureuse, leurs parcours peuvent nous raconter des histoires très différentes. L'un a peut-être fait une ascension fluide et confiante (probablement correcte), tandis que l'autre a peut-être été perdu, confus et luttant contre le vent tout au long du chemin (probablement faux), même s'ils finissent tous deux par sourire au sommet.

La Solution : Le « Détecteur de Mouvement »

Les chercheurs ont créé un outil qui agit comme un détecteur de mouvement pour la réflexion interne du modèle.

Suivre les Étapes : Alors que le modèle traite une question, il traverse de nombreuses couches de « neurones » (comme des étages dans un immeuble). À chaque étage, le modèle effectue un petit ajustement à sa réponse.
Dessiner la Carte : Au lieu de regarder uniquement le résultat final, l'outil dessine une carte du parcours que le modèle a suivi à travers ces étages.
Mesurer la Forme : L'outil mesure 11 aspects spécifiques de ce parcours, tels que :
- Lissage : Le modèle a-t-il changé d'avis soudainement ?
- Direction : Le modèle a-t-il continué à pousser dans la même direction, ou a-t-il lutté contre ses propres pensées précédentes ?
- Efficacité : Le modèle a-t-il pris un itinéraire direct, ou a-t-il erré en cercles ?

Le Résultat : Un Bouton « Stop » Plus Intelligent

En utilisant cette « carte de mouvement », les chercheurs ont entraîné un système simple et transparent (une « sonde linéaire parcimonieuse ») pour prédire les erreurs.

Mieux que la Norme : Ce nouveau système est bien meilleur pour repérer quand le modèle ment sur sa confiance. Lors des tests, il a considérablement réduit le nombre d'« erreurs à haute confiance » par rapport à la méthode standard.
L'« Astuce de l'Abstention Sélective » : Parce que ce système est si bon pour repérer les problèmes, il peut dire au modèle : « Hé, tu penses être sûr à 95 %, mais ton parcours interne était chaotique. Je vais te dire de t'arrêter et de ne pas donner de réponse. » Cela empêche le modèle de donner confidemment de mauvaises réponses.
Le Facteur « Pourquoi » : La partie la plus cool est que, comme l'outil utilise des mesures géométriques simples (comme « de combien le parcours a-t-il courbé ? »), nous pouvons réellement voir pourquoi il a signalé une erreur. Il peut nous dire : « Le modèle a commencé confiant, puis a soudainement changé d'avis au milieu des couches, avant d'essayer de forcer la réponse pour revenir à l'idée originale ». C'est comme un médecin capable de dire : « Le patient n'est pas seulement malade ; son rythme cardiaque a augmenté à 14 h et sa température a chuté à 15 h », plutôt que de simplement dire : « Le patient est malade ».

Résumé

En bref, cet article nous apprend à arrêter de faire confiance à la déclaration finale du modèle du genre « Je suis sûr ! ». Au lieu de cela, nous devrons regarder le film de la façon dont le modèle a réfléchi au problème. En observant le « mouvement » et la « forme » de ses étapes internes, nous pouvons attraper des erreurs confiantes qui, autrement, passeraient entre les mailles du filet, rendant l'IA plus sûre et plus fiable sans avoir besoin de systèmes nouveaux, coûteux ou complexes.

Résumé technique : Lecture de l'incertitude calibrée à partir des trajectoires des modèles de langage

1. Énoncé du problème

Les approches actuelles de quantification de l'incertitude (UQ) pour les grands modèles de langage (LLM) produisant des sorties structurées font face à un compromis entre efficacité computationnelle et calibration. La méthode par défaut, la probabilité softmax maximale (MSP), est computationnellement gratuite mais souvent mal calibrée, attribuant une haute confiance à des prédictions incorrectes. À l'inverse, les méthodes existantes qui sondent les activations internes traitent généralement les états cachés comme des instantanés statiques (soit d'une seule couche, soit moyennés), jetant ainsi la trajectoire couche par couche selon laquelle une représentation est formée. Cette vision statique ignore comment les preuves s'accumulent, se renforcent ou se renversent à travers la profondeur du réseau, risquant d'occulter des signaux d'incertitude présents dans le chemin computationnel mais absents de la distribution de sortie finale.

2. Méthodologie

Les auteurs proposent une méthode qui traite les activations du modèle non pas comme des états statiques, mais comme des trajectoires représentatives. L'approche comporte trois composantes principales :

2.1. Le substrat : vecteurs d'écriture des MLP

Au lieu d'analyser les états cachés bruts, la méthode se concentre sur les vecteurs d'écriture des MLP ( $m_\ell$ ) contribuant par le Perceptron Multicouche (MLP) de chaque bloc transformateur au flux résiduel. Des travaux antérieurs en interprétabilité mécaniste suggèrent que les MLP sont des sites critiques pour le stockage des connaissances factuelles.

La méthode capture la séquence de ces vecteurs à la position finale de l'invite (position de lecture) lors d'un seul passage avant.
Elle construit une trajectoire discrète dans l'espace des représentations en calculant la somme cumulative de ces vecteurs : $s_\ell = \sum_{k \le \ell} m_k$ .
La trajectoire est définie de l'état initial ( $s_0 = 0$ ) au point final ( $s_L$ ).

2.2. Extraction de caractéristiques géométriques

La trajectoire est résumée à l'aide de onze caractéristiques géométriques invariantes d'échelle par couche, regroupées en quatre catégories :

Distribution de la profondeur : Mesure comment l'effort computationnel (magnitude de la mise à jour) est distribué à travers les couches (par exemple, charge en amont vs charge en aval).
Forme locale de la trajectoire : Capture la cohérence directionnelle (cosinus consécutif), les changements brusques (courbure), et si les mises à jour renforcent ou contredisent l'état précédent (alignement mise à jour-état).
Relation avec le point final : Mesure comment les couches se rapportent à la direction finale, incluant la convergence (direction vers le final), l'alignement des mises à jour individuelles (mise à jour vers final), et l'identification des couches qui s'opposent activement au point final (soutien contradictoire).
Efficacité : Mesure le rapport entre le déplacement net et la longueur totale du chemin (cohérence cumulative), indiquant à quel point la trajectoire atteint son point final de manière directe.

2.3. Sondage linéaire parcimonieux

Ces caractéristiques sont alimentées dans un sondage linéaire parcimonieux (régression logistique parcimonieuse) pour prédire la probabilité d'erreur.

Entrée : Le vecteur de 11 caractéristiques par couche ( $\phi(x)$ ) et le score MSP du modèle ( $p_{msp}$ ).
Interaction : Le modèle inclut des termes d'interaction entre les caractéristiques et le MSP, permettant au sondage de pondérer différemment les signaux géométriques en fonction de la confiance de base du modèle.
Entraînement : Le sondage est entraîné pour minimiser l'entropie croisée binaire équilibrée par classe contre un indicateur d'erreur, régularisé par une pénalité elastic-net pour imposer la parcimonie. Cela permet au modèle d'identifier directement les caractéristiques prédictives sans étape de sélection séparée.

3. Contributions clés

UQ basée sur la trajectoire : Les auteurs proposent un ensemble compact de caractéristiques géométriques décrivant l'évolution des représentations à travers la profondeur du réseau. Lorsqu'elles sont alimentées à un sondage linéaire parcimonieux, cette méthode surpasse le MSP sous abstention sélective, avec des gains de performance augmentant avec la mauvaise calibration de la base (jusqu'à 21 points d'amélioration AURC).
Interprétabilité de bout en bout : Contrairement aux sondages denses opaques sur les activations brutes, chaque caractéristique a une signification géométrique sous forme fermée. Les coefficients du sondage révèlent comment les erreurs se produisent : identifiant quelles couches commettent prématurément, lesquelles contredisent l'état en cours, et où les trajectoires dérivent de leur point final.
Évaluation empirique complète : La méthode a été évaluée sur 9 LLMs adaptés aux instructions (familles Qwen, Llama, DeepSeek, allant de 3B à 72B paramètres) sur cinq tâches NLP diverses (MMLU, CosmosQA, HellaSwag, HaluDial, HaluSum).

4. Résultats expérimentaux

Performance : Le sondage a amélioré le MSP sur 41 des 45 paires modèle-jeu de données. Les gains ont été les plus significatifs là où le MSP a le plus mal performé (mauvaise calibration élevée), réduisant l'AURC (aire sous la courbe risque-couverture) de 11,45 à 21,83 points dans les configurations les plus difficiles.
Comparaison avec les bases de référence : Le sondage a égalé ou surpassé un sondage « d'activation brute » haute capacité (entraîné sur les états cachés complets) sur 24 configurations et est resté dans les 2 points AURC sur 6 autres, malgré l'utilisation de seulement 11 caractéristiques scalaires.
Sélectivité : Le sondage produit des courbes risque-couverture lisses et monotones, évitant les pics d'incertitude à faible couverture souvent observés avec le MSP. Il sépare efficacement les prédictions correctes des incorrectes même lorsque les scores de confiance MSP sont identiques.
Résultats d'interprétabilité :
- Correct vs Incorrect : Les prédictions avec des scores MSP identiques présentent des signatures de trajectoire distinctes. Par exemple, les prédictions incorrectes montrent souvent un alignement prématuré avec la direction finale dans les premières couches, suivi d'un « double retour » ou d'une dérive.
- Spécificité de la tâche : Les signatures géométriques des erreurs varient selon la tâche. Sur HaluSum, les erreurs se manifestaient par un engagement prématuré suivi d'une correction tardive brisant l'état. Sur CosmosQA, les erreurs apparaissaient comme une dérive à mi-profondeur orthogonale à la direction de la réponse.
- Analyse des coefficients : Les coefficients du sondage localisent les mécanismes d'erreur. Par exemple, sur HaluSum, les signaux d'erreur se concentraient dans le dernier quart du réseau, tandis que sur CosmosQA, ils étaient répartis sur toute la profondeur.

5. Importance et affirmations

L'article affirme que traiter les activations comme un mouvement plutôt que comme des instantanés statiques offre une « voie médiane praticable » entre l'opacité des sondages denses et le signal limité du MSP.

Incertitude auditable : Parce que les caractéristiques sont interprétables par construction, le signal de confiance résultant permet aux praticiens d'inspecter non seulement si un modèle est incertain, mais où dans son calcul cette incertitude surgit (par exemple, couches spécifiques ou déviations géométriques).
Efficacité : La méthode ajoute un coût computationnel négligeable à l'inférence, ne nécessitant qu'un seul passage avant et des calculs géométriques simples, évitant le coût élevé des approches basées sur l'échantillonnage ou les ensembles.
Limites : Les auteurs notent que leur analyse est restreinte aux contextes de choix discrets (questions à choix multiples) et que le sondage est actuellement ajusté par (modèle, tâche), la transférabilité entre modèles et tâches restant une question ouverte.

En résumé, ce travail démontre que la géométrie de la manière dont un modèle de langage assemble une prédiction contient des signaux riches et interprétables sur l'incertitude qui sont invisibles pour la distribution de sortie finale, permettant une prédiction sélective plus fiable et auditable.