💬 NLP

Confidence and Calibration of Activation Oracles for Reliable Interpretation of Language Model Internals

Cet article examine la quantification de l'incertitude pour les oracles d'activation en évaluant six méthodes d'estimation de la confiance, révélant que la fréquence du mode bootstrap offre la meilleure calibration tandis que la probabilité logarithmique sert de signal de triage rentable.

Auteurs originaux : Federico Torrielli, Peter Schneider-Kamp, Lukas Galke Poech

Publié 2026-05-26

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Federico Torrielli, Peter Schneider-Kamp, Lukas Galke Poech

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous avez un robot super-intelligent (appelons-le "Cible") qui a un secret. Peut-être a-t-il été programmé pour garder un mot spécifique, comme « arbre », caché dans son cerveau. Vous ne pouvez pas voir le mot directement ; vous ne pouvez observer que les signaux électriques du robot (ses « activations ») lorsqu'il pense.

Maintenant, imaginez que vous avez un deuxième robot, l'« Oracle », dont le seul travail est d'examiner ces signaux électriques et de les traduire en anglais simple. Il dit : « Le mot secret est arbre ! »

Le Problème :
L'Oracle est excellent pour deviner le mot, mais il a un défaut majeur de personnalité : il ne sait jamais quand il a tort. Il dit « Le mot secret est arbre » avec exactement la même confiance, qu'il ait raison ou qu'il hallucine complètement. Si vous utilisez cet Oracle pour prendre des décisions importantes (comme « Cette IA est-elle sûre à publier ? »), vous devez savoir : À quel point l'Oracle est-il vraiment sûr ?

L'Expérience :
Les auteurs de cet article ont essayé d'enseigner à l'Oracle comment dire : « Je suis assez sûr » ou « Je devine simplement ». Ils ont testé six méthodes différentes pour mesurer la confiance de l'Oracle, un peu comme essayer six façons différentes de vérifier si une prévision météorologique est fiable.

Voici comment ils l'ont testé, en utilisant des analogies simples :

Les Six Méthodes de Confiance

Le « Pressentiment » (Log-Probabilité) :
- Fonctionnement : L'Oracle regarde le mot qu'il vient de dire et se demande : « Quelle était la probabilité que je choisisse ce mot précis ? »
- Résultat : C'est une estimation décente, mais souvent l'Oracle est trop confiant. Il pense être sûr à 90 % alors qu'il n'a en réalité raison que dans 60 % des cas.
Le « Vote de la Foule » (Fréquence du Mode Bootstrap) :
- Fonctionnement : Au lieu de demander à l'Oracle une seule fois, vous le lui demandez 20 fois de suite, en lui permettant d'être un peu aléatoire à chaque fois (comme lancer un dé). S'il dit « arbre » 18 fois et « voiture » 2 fois, vous savez qu'il est très confiant. S'il dit « arbre », « voiture », « nuage », « roche » et « arbre » de manière aléatoire, vous savez qu'il est confus.
- Résultat : C'était le gagnant. C'était la méthode la plus précise pour vous dire quand l'Oracle avait raison ou tort. C'est comme demander l'avis d'une foule de personnes ; si elles sont toutes d'accord, vous pouvez faire confiance à la réponse.
L'« Interview Honnête » (Auto-déclaration Directe) :
- Fonctionnement : Vous demandez simplement à l'Oracle : « Sur une échelle de 0 à 100, à quel point êtes-vous confiant ? »
- Résultat : C'était la pire méthode. L'Oracle est terrible dans l'introspection. Sur le modèle plus grand, il était en fait plus confiant quand il avait tort que quand il avait raison. C'est comme un élève qui est sûr à 100 % d'avoir raison sur un problème de mathématiques, même s'il s'est complètement trompé.
La « Chaîne MCMC » (Échantillonnage de Puissance) :
- Fonctionnement : C'est un tour de mathématiques complexe où l'Oracle essaie de « sauter » entre différentes réponses possibles pour voir s'il reste coincé sur l'une d'elles.
- Résultat : Cela n'a pas bien fonctionné. Parce que le cerveau de l'Oracle est tellement concentré sur une seule réponse, il ne « saute » jamais vraiment vers d'autres possibilités, donc cette méthode ne pouvait pas dire s'il était confiant ou simplement entêté.
Le « Tiroir » (Sensibilité au Guidage) :
- Fonctionnement : Vous poussez doucement le cerveau de l'Oracle dans différentes directions pour voir s'il change de réponse. S'il reste le même, il est confiant.
- Résultat : C'était trop grossier. C'était comme essayer de mesurer la température avec un thermomètre qui n'a que les réglages « Chaud » et « Froid ».
Le « Vote Multi-Chaîne » :
- Fonctionnement : Similaire au « Vote de la Foule », mais en utilisant une méthode mathématique plus complexe et coûteuse pour générer les 20 réponses.
- Résultat : Cela a fonctionné correctement, mais c'était beaucoup plus lent et cela n'a pas donné de meilleurs résultats que le simple « Vote de la Foule ».

Les Grandes Conclusions

Le Meilleur Outil : Le « Vote de la Foule » (demander au modèle 20 fois et voir à quelle fréquence il est d'accord avec lui-même) est le meilleur moyen de savoir si l'Oracle dit la vérité.
Le Piège : Ne faites jamais confiance à l'Oracle quand il dit simplement qu'il est confiant. L'article a montré que lorsque l'Oracle est invité à évaluer sa propre confiance, il ment souvent (ou plutôt, il hallucine de la confiance) tout autant qu'il ment sur la réponse.
Le Coût : Le « Vote de la Foule » demande plus de puissance informatique car vous devez exécuter le modèle 20 fois. La méthode du « Pressentiment » est plus rapide mais moins précise. Les auteurs suggèrent d'utiliser la méthode rapide uniquement comme un filtre rapide, mais de se fier au « Vote de la Foule » pour la décision finale.

Pourquoi Cela Compte

Si vous construisez un système de sécurité pour vérifier les modèles d'IA, vous ne pouvez pas simplement écouter ce que dit l'Oracle. Vous devez savoir dans quelle mesure faire confiance à ce qu'il dit. Cet article nous donne un manuel sur la façon de construire cette confiance, montrant que demander à l'Oracle de « réfléchir deux fois » (via le vote de la foule) est le moyen le plus fiable de le prendre en flagrant délit lorsqu'il invente des choses.

Résumé technique : Confiance et calibration des oracles d'activation pour une interprétation fiable des internals des modèles de langage

Énoncé du problème
Les oracles d'activation sont des modèles de langage affinés pour traduire les états cachés d'un modèle cible en descriptions en langage naturel, permettant ainsi l'interprétation de représentations internes telles que des faits mémorisés, des objectifs cachés ou des mots secrets. Bien que ces oracles aient démontré leur potentiel pour récupérer des informations qui n'apparaissent que dans les activations, leurs sorties manquent actuellement d'une notion de certitude. Cette absence de confiance calibrée est critique pour les décisions actionnables en aval, telles que l'audit d'alignement, la détection de la tromperie et l'élicitation d'objectifs cachés. Les techniques standard de quantification de l'incertitude (UQ), développées pour des modèles non orientés, n'ont pas été rigoureusement évaluées sur les oracles d'activation, qui fonctionnent comme des modèles « orientés » où le flux résiduel est écrasé au moment de l'inférence par des vecteurs provenant d'un modèle cible. Le problème central abordé consiste à identifier quelles méthodes d'estimation de la confiance restent valides et bien calibrées sous cette perturbation d'orientation spécifique.

Méthodologie
Les auteurs ont évalué six méthodes d'UQ distinctes sur deux oracles d'activation : un oracle Qwen3-8B publié et un nouvel oracle Qwen3.6-27B entraîné (adapté pour une architecture d'attention hybride linéaire et complète). L'évaluation a utilisé la tâche « mot secret interdit », où des modèles cibles sont affinés pour garder l'un de 20 mots spécifiques secret. Pour chacun des 6 000 échantillons par oracle (comprenant 20 mots cibles, 100 invites de contexte et 3 invites de verbalisation), l'oracle tente de décoder le mot secret à partir de l'état caché injecté.

Les six méthodes évaluées étaient :

Log-probabilité (Référence) : La log-probabilité conjointe des tokens du mot de réponse prédit.
Bootstrap par température : Échantillonnage de $k=20$ réponses à différentes températures ( $T \in \{0.3, \dots, 1.5\}$ ) et utilisation de la fréquence empirique de la réponse modale comme confiance.
Auto-déclaration numérique directe : Invitation de l'oracle à émettre un score de confiance numérique (0–100) après avoir généré la réponse.
Acceptation par échantillonnage de puissance MCMC : Utilisation d'une chaîne Metropolis-Hastings (MH) à bloc unique avec échantillonnage de puissance ( $\alpha > 1$ ) et mesure du taux d'acceptation empirique.
Accord par échantillonnage de puissance MCMC : Exécution de $k=10$ chaînes MH indépendantes et mesure de l'accord inter-chaînes (analogue à la cohérence interne).
Sensibilité à l'orientation : Balayage du coefficient d'orientation ( $c$ ) autour de la valeur par défaut et mesure de la stabilité de la réponse décodée.

La performance a été mesurée à l'aide de la Précision, de l'Erreur de Calibration Espérée (ECE), du Score de Brier, de la Vraisemblance Négative Logarithmique (NLL) et de l'AUC-ROC (capacité de classement).

Résultats clés

Meilleure méthode : La fréquence de la mode du bootstrap par température s'est révélée être la méthode la mieux calibrée sur les deux modèles. Sur Qwen3-8B, la température optimale était $T=1.0$ (ECE 5,7 %), et sur Qwen3.6-27B, elle était de $T=1.5$ (ECE 10,3 %). La température optimale corrèle avec la précision de la tâche ; à mesure que le modèle devient moins précis (tâche plus difficile), une température plus élevée (échantillonnage plus plat) produit une meilleure calibration.
Log-probabilité comme triage : Bien que la log-probabilité ait présenté un ECE plus élevé que la configuration de bootstrap optimale, elle a atteint une AUC-ROC élevée (capacité de classement) et sert de signal de triage rapide et peu coûteux, en particulier lorsqu'une calibration post-hoc (par exemple, recalage isotone) est appliquée.
Échec de l'auto-déclaration : L'auto-déclaration numérique libre était la méthode la moins bien calibrée. Sur l'oracle 27B, elle était « anti-calibrée », le modèle exprimant une confiance plus élevée dans les mauvaises réponses (moyenne 98,9 %) que dans les bonnes (97,6 %). Cela reproduit l'écart de confiance observé entre les sondes et la verbalisation dans les LLM standards, suggérant que le canal d'élicitation en langage naturel est dominé par les a priori d'entraînement plutôt que par le signal ancré dans les activations.
Échec de l'acceptation MCMC : Le ratio d'acceptation de la chaîne MCMC unique n'a pas réussi à distinguer les sorties correctes des incorrectes (AUC-ROC ~0,53–0,60). Les auteurs attribuent cela au fait que la distribution conditionnelle orientée est fortement picée autour de la réponse gloutonne ; par conséquent, la chaîne MH accepte les propositions indépendamment de leur justesse, saturant le taux d'acceptation.
Sensibilité à l'orientation : Cette méthode a produit des valeurs de confiance grossières et discrètes (0,2, 0,4, etc.) et une mauvaise calibration (ECE > 40 %), la rendant inadaptée en tant que signal probabiliste, bien qu'elle puisse servir de diagnostic binaire.

Contributions

Premier benchmark UQ pour les oracles d'activation : L'article établit la première évaluation systématique de la quantification de l'incertitude spécifiquement pour les oracles d'activation orientés, couvrant six méthodes sur deux modèles et quatre métriques de calibration.
Évaluation de méthodes novatrices : Il introduit et évalue trois méthodes conçues spécifiquement pour le contexte de l'oracle orienté (acceptation MCMC, accord MCMC et sensibilité à l'orientation), fournissant des explications mécanistiques sur les raisons pour lesquelles l'acceptation MCMC et la sensibilité à l'orientation produisent des résultats négatifs dans ce contexte.
Recette pratique : Les auteurs proposent une stratégie de réglage pratique : sélectionner la température de bootstrap de manière à ce que la fréquence modale moyenne sur une tranche de mots retenue corresponde à la précision empirique sur cette tranche.
Reproduction des écarts de confiance : L'étude confirme que l'écart entre les signaux d'activation internes et la confiance verbalisée existe dans les oracles d'activation, l'auto-déclaration libre échouant à capturer le signal d'incertitude présent dans les états cachés.
Nouvel oracle publié : L'article publie le premier oracle d'activation pour une architecture d'attention hybride linéaire et complète (Qwen3.6-27B), ainsi que les poids du formateur corrigé et du verbaliseur.

Signification et affirmations
L'article affirme que pour les praticiens construisant des systèmes sur des oracles d'activation, la fréquence de la mode du bootstrap par température est le signal de confiance prêt pour la production, avec une température réglée pour correspondre à la précision empirique. Bien que la log-probabilité soit moins calibrée, elle reste une alternative viable et peu coûteuse pour le triage si elle est combinée à un recalage post-hoc.

Les auteurs déclarent explicitement que les ratios d'acceptation MCMC ne sont pas des signaux de confiance adaptés à cette tâche en raison de la nature fortement picée de l'a posteriori orienté. De plus, ils mettent en garde contre le fait que l'auto-déclaration numérique libre est peu fiable et anti-calibrée dans ce contexte. L'étude suggère que si une UQ introspective est requise, un score de label contraint (contournant la génération de texte libre) peut récupérer le signal, comme démontré dans une petite étude pilote.

Le travail est modeste dans son ampleur, notant que les résultats sont basés sur deux modèles de la famille Qwen et une recette d'entraînement. Bien que la cohérence entre les modèles suggère une affirmation de niveau paradigme, les auteurs n'affirment pas la généralité sur toutes les architectures. Les résultats soulignent que l'interprétation fiable des internals des modèles de langage nécessite non seulement de décoder l'état caché, mais aussi de quantifier rigoureusement la confiance de ce décodage, pour quoi les méthodes de bootstrap offrent actuellement la solution la plus robuste.

Les Six Méthodes de Confiance

Les Grandes Conclusions

Pourquoi Cela Compte

Articles similaires