💬 NLP

CALIBER: Calibrating Confidence Before and After Reasoning in Language Models

Le document introduit CALIBER, une méthode qui améliore le calibrage des modèles de langage de raisonnement en distinguant les états de confiance pré-raisonnement et post-raisonnement et en supervisant chacun avec une cible alignée sur son contexte informationnel spécifique, réduisant ainsi considérablement l'erreur de calibrage à travers divers benchmarks et tailles de modèles.

Auteurs originaux : Conor Finlay, Joshua Kurien, Saurabh Dash, Marzieh Fadaee, Beyza Ermis

Publié 2026-06-24

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Conor Finlay, Joshua Kurien, Saurabh Dash, Marzieh Fadaee, Beyza Ermis

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous passiez un examen de mathématiques très difficile. Vous pourriez avoir envie de vous demander : « À quel point suis-je sûr de réussir cela ? » à deux moments précis.

Avant de commencer à réfléchir : Vous regardez la question et vous devinez : « Hmm, ça a l'air difficile. Je pourrais réussir, ou pas. »
Après avoir résolu le problème : Vous avez écrit votre réponse et vérifié votre travail. Maintenant, vous vous demandez : « D'accord, en regardant la réponse spécifique que je viens d'écrire, est-elle réellement correcte ? »

Le papier CALIBER soutient que la plupart des modèles d'IA actuels commettent une erreur en traitant ces deux moments comme étant la même chose. Ils essaient de donner un score de confiance unique censé remplir ces deux fonctions à la fois. Les auteurs affirment que c'est comme demander à un prévisionniste météo de prédire à la fois « Est-ce qu'il va pleuvoir aujourd'hui ? » (avant de regarder le ciel) et « Est-ce qu'il a plu cet après-midi ? » (après la tempête) en utilisant exactement le même chiffre unique. C'est déroutant et cela mène à de mauvaises suppositions.

Le Problème : Confondre le « Avant » et le « Après »

Considérez un modèle d'IA comme un détective résolvant un mystère.

La Confiance « Avant » : C'est le détective qui observe la scène de crime et dit : « Vu l'état de désordre, il y a 60 % de chances que je puisse résoudre cette affaire. » Il s'agit de la difficulté de l'énigme.
La Confiance « Après » : C'est le détective qui regarde sa conclusion finale et les indices qu'il a rassemblés et qui dit : « Sur la base des indices spécifiques que j'ai trouvés, je suis sûr à 95 % que ma conclusion est correcte. » Il s'agit de la qualité de la réponse spécifique.

Les méthodes existantes forcent souvent l'IA à donner un seul chiffre. Si l'IA dit « Je suis sûre à 80 % », est-ce parce que l'énigme était facile, ou parce que l'IA a trouvé de superbes indices ? Le papier soutient que l'on ne peut pas le savoir, et c'est pourquoi la confiance de l'IA est souvent « mal calibrée » (c'est-à-dire qu'elle dit être sûre quand elle a tort, ou incertaine quand elle a raison).

La Solution : CALIBER (Calibration avant et après le raisonnement)

Les auteurs ont créé un nouveau système appelé CALIBER. Au lieu de demander un seul pronostic, ils demandent à l'IA de faire deux pronostics à des moments différents :

Le Pronostic « Pré-Réflexion » : Avant que l'IA ne commence son processus de « réflexion », elle donne un score de confiance. Ce score est entraîné pour prédire : « Quelles sont les chances que je puisse résoudre ce type de problème du tout ? »
Le Pronostic « Post-Réflexion » : Après que l'IA a fini de réfléchir et a écrit une réponse, elle donne un second score de confiance. Ce score est entraîné pour prédire : « Cette réponse spécifique que je viens d'écrire est-elle réellement correcte ? »

La Recette Secrète : Le papier a découvert que ces deux pronostics doivent être « enseignés » différemment.

Le pronostic « Pré-Réflexion » est enseigné en observant un groupe de tentatives. Si l'IA obtient la bonne réponse 7 fois sur 10 sur des questions similaires, elle doit apprendre à dire « 70 % » avant même de commencer.
Le pronostic « Post-Réflexion » est enseigné en observant la réponse spécifique. Si l'IA a obtenu cette réponse spécifique correctement, elle doit apprendre à dire « 100 % de certitude ». Si elle s'est trompée, elle doit dire « 0 % de certitude ».

En séparant ces deux tâches et en les enseignant avec le bon « travail à la maison » (les données), l'IA devient bien meilleure pour savoir ce qu'elle sait.

Qu'est-ce qui s'est passé lors des tests ?

Les chercheurs ont testé cela sur des problèmes mathématiques et des questions de culture générale (comme des quiz). Ils ont comparé CALIBER aux autres méthodes qui ne demandent qu'un seul score de confiance.

Le Résultat : CALIBER était bien meilleur pour être honnête.
- Quand CALIBER disait qu'il était « sûr à 90 % », il avait effectivement raison 90 % du temps.
- Les autres méthodes disaient souvent qu'elles étaient « sûres à 90 % » mais n'avaient raison que 60 % du temps (surconfiance) ou disaient qu'elles étaient « sûres à 50 % » alors qu'elles avaient raison 90 % du temps (sous-confiance).
Le Test « Hors Distribution » : Ils ont également testé l'IA sur des questions qu'elle n'avait jamais vues auparavant (comme passer de puzzles mathématiques à des quiz de culture générale). Même sur ces nouvelles tâches complexes, CALIBER est resté beaucoup plus honnête sur sa confiance que les autres méthodes.

L'« Écart » est Utile

Une chose intéressante mentionnée par le papier est l'écart entre les deux chiffres.

Si l'IA commence avec une faible confiance (ex : « Je ne suis pas sûr de pouvoir résoudre ceci ») mais finit avec une confiance élevée (ex : « Mais maintenant que je l'ai résolu, j'en suis sûr ! »), cet écart indique que le processus de réflexion a été utile.
Si l'IA commence haut mais finit bas, cela signifie que le processus de réflexion a révélé une erreur.

Résumé

En termes simples, CALIBER corrige la confiance de l'IA en réalisant que « deviner si un problème est soluble » et « deviner si une réponse spécifique est correcte » sont deux compétences différentes. En apprenant à l'IA à faire ces deux choses séparément et correctement, l'IA devient un partenaire beaucoup plus fiable qui sait quand se faire confiance et quand être prudent.

Résumé Technique : CALIBER – Calibrer la confiance avant et après le raisonnement dans les modèles de langage

Énoncé du problème

Les modèles de langage de raisonnement sont de plus en plus chargés non seulement de résoudre des problèmes complexes, mais aussi d'estimer la probabilité de leur propre succès. Les méthodes de calibration existantes extraient généralement une estimation de confiance unique à un point spécifique du processus de génération : soit avant que le modèle ne commence à réfléchir (pré-réflexion), soit après qu'il a produit une réponse finale (post-réflexion).

Les auteurs soutiennent que la confiance dans les modèles de raisonnement est dépendante de l'état.

La confiance pré-réflexion est conditionnée uniquement par l'invite ( $x$ ). Elle doit estimer la probabilité que la politique actuelle du modèle puisse résoudre l'invite, indépendamment de la trace de raisonnement spécifique qui sera générée.
La confiance post-réflexion est conditionnée par l'invite, la trace de raisonnement réalisée ( $z$ ) et la réponse finale ( $\hat{y}$ ). Elle doit estimer la justesse de cette réponse spécifique réalisée.

Les méthodes actuelles confondent souvent ces états d'information distincts en appliquant une cible de supervision unique à une estimation unique, ou en utilisant une cible mal adaptée à l'état d'information (par exemple, entraîner une estimation de pré-réflexion avec une cible de justesse au niveau de l'instance). Ce décalage entre ce que le modèle est appelé à estimer et ce pour quoi il est entraîné mène à une calibration sous-optimale, particulièrement lors de changements de distribution.

Méthodologie : CALIBER

Les auteurs introduisent CALIBER (Calibration Before and After Reasoning), un cadre qui extrait deux estimations de confiance distinctes au sein d'une seule réponse et supervise chacune d'elles avec une cible adaptée à son état d'information.

1. Calibration dépendante de l'état

CALIBER structure la sortie du modèle pour inclure :

Confiance pré-réflexion ( $p_{pre}$ ) : Émise avant la trace de raisonnement. Elle est conditionnée uniquement par l'invite.
Trace de raisonnement et Réponse : Le processus de raisonnement standard.
Confiance post-réflexion ( $p_{post}$ ) : Émise après la trace de raisonnement et la réponse. Elle est conditionnée par la réponse complète réalisée.

2. Cibles de supervision

Le cadre assigne des cibles de calibration spécifiques basées sur la position de l'estimation :

Cible de pré-confiance (par groupe) : Supervisée par rapport au taux de succès empirique de la politique actuelle sur l'invite ( $\hat{p}(x)$ ), calculé comme la moyenne de la justesse de $N$ échantillonnages de rollouts pour cette invite. Cela reflète la résolubilité de l'invite.
Cible de post-confiance (par instance) : Supervisée par rapport à la justesse binaire du rollout spécifique ( $c_i$ ). Cela reflète la justesse de la réponse réalisée.

3. Objectif d'entraînement

L'entraînement utilise l'apprentissage par renforcement avec récompenses vérifiables (RLVR). La récompense totale pour un rollout $i$ est la somme de quatre composantes de poids égaux :

Récompense d'exactitude ( $R_{acc}$ ) : Justesse binaire de la réponse.
Récompense de format ( $R_{fmt}$ ) : Garantit que le modèle produit les balises requises et des valeurs de confiance valides.
Récompense de calibration de pré-confiance : $1 - (p_{pre} - \hat{p}(x))^2$ .
Récompense de calibration de post-confiance : $1 - (p_{post} - c_i)^2$ .

Pour remédier aux difficultés d'optimisation où la récompense de pré-confiance par groupe, à faible variance, est dominée par les récompenses par instance à haute variance, CALIBER emploie un programme d'entraînement en deux étapes :

Warmup (Préchauffage) : Optimise uniquement la récompense de pré-confiance par groupe pour établir des estimations diverses.
Entraînement conjoint : Optimise simultanément les récompenses de pré-confiance, de post-confiance et d'exactitude.

Contributions clés

Cadrage dépendant de l'état : L'article présente la confiance dans les modèles de raisonnement comme des quantités distinctes basées sur l'état d'information : la confiance pré-réflexion correspond à la résolubilité de la question (par groupe), tandis que la confiance post-réflexion correspond à la justesse de la réponse (par instance).
Cadre CALIBER : Un protocole unifié qui extrait les deux estimations et aligne chacune d'elles avec sa cible de supervision appropriée, évitant le décalage trouvé dans les méthodes de confiance unique précédentes.
Comparaison contrôlée : Les auteurs isolent la contribution de l'alignement position–cible en comparant CALIBER à un ensemble contrôlé de bases de référence (RLCR, COREA-lite, CoCA-lite, DCPO-lite) sous un protocole d'entraînement et d'évaluation partagé, éliminant ainsi les choix de conception confondants comme l'attribution de crédit segmentée.
Écart diagnostique : Le cadre permet l'analyse de l'écart entre la pré- et la post-confiance, servant de signal par exemple de la façon dont l'incertitude du modèle évolue pendant le raisonnement.

Résultats

Performance en domaine (BigMathDigits)

Modèle 7B : CALIBER réduit l'erreur de calibration attendue (ECE) de 52,5 % par rapport à la base de référence de confiance unique la plus forte (DCPO-lite). Il obtient le meilleur ECE, le meilleur score de Brier et l'AUROC le plus élevé tout en maintenant une exactitude à 2,1 points de pourcentage près de la meilleure exactitude.
Modèle 30B : CALIBER atteint le meilleur ECE (0,022) tout en conservant un AUROC compétitif (0,797), se distinguant de méthodes comme CoCA-lite qui obtiennent un ECE faible mais une faible discrimination (AUROC ~0,5).

Généralisation hors domaine (OOD)

Évalué sur GPQA, TriviaQA et SimpleQA :

Calibration : CALIBER atteint systématiquement le meilleur ECE et le meilleur score de Brier sur GPQA et TriviaQA pour les deux tailles de modèles.
SimpleQA : Sur ce changement de distribution extrême, CALIBER atteint le meilleur ECE et le meilleur score de Brier pour le modèle 7B. Pour le modèle 30B, bien que DCPO-lite atteigne un ECE légèrement inférieur, CALIBER atteint un AUROC sensiblement plus élevé, indiquant un meilleur compromis entre calibration et discrimination.
Fiabilité : Les diagrammes de fiabilité montrent que CALIBER évite une surconfiance sévère et s'aligne bien avec la diagonale dans les régions de haute confiance.

Études d'ablation

Une ablation inversant les cibles (entraîner la pré-confiance avec des cibles d'instance et la post-confiance avec des cibles de groupe) a révélé :

En domaine : Les résultats étaient mitigés ; le modèle 30B a bénéficié significativement de l'alignement correct, tandis que le modèle 7B a montré des métriques mixtes.
Hors domaine (OOD) : L'alignement position–cible s'est avéré crucial. CALIBER a systématiquement surpassé la base de référence inversée sur tous les jeux de données OOD et toutes les tailles de modèles, réduisant considérablement l'ECE. Cela suggère que faire correspondre la cible de supervision à l'état d'information est essentiel pour une calibration robuste sous changement de distribution.

Signification et affirmations

L'article affirme que CALIBER démontre que la calibration pour les modèles de raisonnement doit être traitée comme un problème dynamique plutôt que comme un scalaire statique attaché à une réponse.

L'alignement est la clé : La principale signification est la démonstration que l'« alignement position–cible » (faire correspondre la pré-réflexion au succès du groupe et la post-réflexion à la justesse de l'instance) est le facteur critique de l'amélioration de la calibration, surtout sous changement de distribution.
Utilité diagnostique : L'écart entre la pré- et la post-confiance fournit un diagnostic significatif de la façon dont l'incertitude du modèle change après le raisonnement, plutôt qu'un simple score de confiance statique.
Sécurité et Confiance : En améliorant la calibration sans sacrifier substantiellement l'exactitude de la tâche, CALIBER soutient le déploiement plus sûr des modèles de raisonnement dans des contextes où les réponses incorrectes sont coûteuses, car il permet aux utilisateurs de mieux faire confiance à l'auto-évaluation du modèle.

Les auteurs concluent que les travaux futurs devraient étendre cette approche dépendante de l'état au-delà de deux points, tester l'hypothèse de la résolubilité au niveau de l'invite de manière plus directe, et valider ces résultats sur d'autres familles de modèles et domaines de tâches.