💬 NLP

How Uncertainty Estimation Scales with Sampling in Reasoning Models

Cette étude démontre que, bien que l'auto-cohérence et la confiance verbalisée soient toutes deux efficaces pour l'estimation d'incertitude dans les modèles de raisonnement, leur combinaison hybride offre une amélioration significative et immédiate de la performance, particulièrement dans le domaine des mathématiques, avant que les gains ne diminuent avec l'augmentation du budget d'échantillonnage.

Auteurs originaux : Maksym Del, Markus Kängsepp, Marharyta Domnich, Ardi Tampuu, Lisa Yankovskaya, Meelis Kull, Mark Fishel

Publié 2026-03-20

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Maksym Del, Markus Kängsepp, Marharyta Domnich, Ardi Tampuu, Lisa Yankovskaya, Meelis Kull, Mark Fishel

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

🧠 Le Dilemme du Génie qui Doute

Imaginez que vous avez un génie des mathématiques (un modèle de langage de raisonnement) qui résout des problèmes complexes. Ce génie ne se contente pas de donner une réponse ; il réfléchit longuement, écrit des milliers de lignes de notes, explore des dizaines de chemins avant de se décider. C'est ce qu'on appelle le "raisonnement en chaîne".

Le problème ? Parfois, ce génie est très confiant alors qu'il a tort, et parfois il doute alors qu'il a raison. Pour l'utiliser en toute sécurité (par exemple, pour diagnostiquer une maladie ou gérer un portefeuille), il faut savoir quand il a raison et quand il se trompe. C'est ce qu'on appelle l'estimation de l'incertitude.

Les chercheurs de l'Université de Tartu se sont demandé : "Comment pouvons-nous savoir si ce génie a raison, sans avoir à le forcer à réfléchir encore plus ?"

🎲 L'Expérience : Le Comité de Sages vs. La Confession

Pour répondre à cette question, ils ont testé deux méthodes principales pour mesurer la "confiance" du modèle, en lui posant la même question plusieurs fois (comme si on interrogeait plusieurs versions du même génie).

1. La "Confession Verbale" (Verbalized Confidence)

C'est comme demander au génie : "Sur une échelle de 0 à 100, à quel point es-tu sûr de ta réponse ?".

L'analogie : C'est comme si un étudiant vous regardait dans les yeux et disait : "Je suis à 90% sûr que la réponse est 42".
Résultat : Ça marche plutôt bien dès la première fois. Le génie a souvent une bonne intuition de ses propres limites.

2. Le "Comité de Sages" (Self-Consistency)

C'est demander au génie de résoudre le problème 8 fois de suite (8 échantillons) et de voir si toutes les 8 versions arrivent à la même réponse.

L'analogie : C'est comme réunir 8 clones du génie dans une salle. Si 7 d'entre eux disent "42" et un seul dit "13", on suppose que "42" est probablement la bonne réponse.
Résultat : Dans les modèles de raisonnement, cette méthode est lente à démarrer. Même avec plusieurs clones, ils ne s'accordent pas toujours aussi vite que prévu, surtout si le problème est très difficile.

🚀 La Découverte Majeure : Le Duo Gagnant

C'est ici que l'étude devient fascinante. Les chercheurs ont découvert quelque chose de contre-intuitif :

Il ne faut pas choisir entre la "Confession" et le "Comité". Il faut les mélanger !

Imaginez que vous avez un détective (la confession) qui a une intuition forte, et un inspecteur (le comité) qui vérifie les faits.

Si vous utilisez seulement le détective, vous avez une bonne idée, mais vous pouvez vous tromper.
Si vous utilisez seulement l'inspecteur, vous devez attendre qu'il fasse 8 enquêtes complètes, ce qui coûte cher en temps et en argent.
La solution magique : Demandez au détective son avis ET faites faire une deuxième enquête rapide à l'inspecteur.

Le résultat ?
Avec seulement deux tentatives (un échantillon de confiance + un échantillon de vérification), le système hybride est plus performant que si vous aviez fait 8 tentatives avec une seule méthode !

C'est comme si, en croisant l'intuition et la vérification rapide, vous obteniez la précision d'un marathonien en courant seulement un sprint.

📉 Le Facteur "Domaine" : Les Maths sont le Terrain de Jeu Favori

L'étude montre aussi que cela dépend du sujet :

En Mathématiques : C'est là que le modèle est le plus entraîné (comme un athlète olympique). La combinaison des deux méthodes fonctionne à merveille et s'améliore très vite. Les signaux de confiance et d'accord se complètent parfaitement.
En Sciences (Biologie, Physique) et Humanités (Histoire, Droit) : C'est un peu plus difficile. Le modèle s'améliore, mais il atteint un "plafond" plus tôt. Les signaux se complètent moins bien que dans les maths.

💡 La Leçon pour la Vie Quotidienne

Si vous deviez retenir une seule chose de cette recherche pour utiliser l'IA demain :

Ne gaspillez pas votre argent (ou votre temps de calcul) à faire répéter la même chose 100 fois.

Au lieu de cela :

Demandez à l'IA sa réponse et son niveau de confiance.
Demandez-lui une seule fois de plus de vérifier son travail.
Croisez les deux informations.

C'est la méthode la plus efficace, la moins chère et la plus fiable pour savoir si l'IA a raison, surtout quand elle réfléchit longuement. C'est comme dire : "Mieux vaut deux regards avisés qu'un seul regard très long et coûteux."

1. Problématique et Contexte

L'estimation de l'incertitude est cruciale pour le déploiement fiable des modèles de langage de raisonnement (RLM - Reasoning Language Models), notamment pour la prédiction sélective et la prise de décision à risque. Cependant, la manière dont cette estimation fonctionne sous un raisonnement par chaîne de pensée étendue (extended chain-of-thought) reste mal comprise.

Les défis spécifiques aux RLMs par rapport aux LLMs standards sont :

Coût computationnel : Chaque échantillon supplémentaire implique une trace de raisonnement complète (CoT), rendant le "parallel sampling" (échantillonnage parallèle) très coûteux.
Nature de l'incertitude : Un seul échantillon dans un RLM explore déjà de nombreuses hypothèses internes, ce qui pourrait rendre l'apport marginal d'échantillons supplémentaires différent de celui observé dans les modèles standards.
Manque d'études : Les travaux précédents se sont concentrés sur des scénarios à un seul échantillon, laissant inexploré le comportement multi-échantillons et les interactions entre les signaux introspectifs et les signaux d'accord.

L'objectif de l'étude est de caractériser comment les signaux d'incertitude basés sur l'introspection et l'accord évoluent avec le nombre d'échantillons ( $K$ ) et comment ils interagissent dans différents domaines (Mathématiques, STEM, Sciences humaines).

2. Méthodologie

Les auteurs ont mené une étude empirique à grande échelle utilisant une approche "boîte noire".

Modèles et Tâches

Modèles : Trois modèles de raisonnement open-source de taille moyenne : gpt-oss-20b, Qwen3-30B-A3B et DeepSeek-R1-8B.
Tâches : 17 tâches couvrant trois domaines :
- Mathématiques : GSM8K, AIME 2024/2025, MMLU-Pro Math.
- STEM (hors maths) : Santé, Biologie, Chimie, Physique, etc., et GPQA Diamond.
- Sciences humaines : Psychologie, Droit, Histoire, Philosophie, etc.

Signaux d'Incertitude Évalués

Pour chaque entrée, $K$ échantillons indépendants sont générés. Trois types de signaux sont mesurés :

Confiance Verbalisée (VC - Verbalized Confidence) : Le modèle exprime explicitement un score de confiance (0-100) pour sa réponse finale. La valeur est moyennée sur les échantillons correspondant à la réponse majoritaire.
Auto-cohérence (SC - Self-Consistency) : Mesure l'accord entre les réponses des $K$ échantillons (proportion de réponses identiques à la réponse majoritaire).
Signal Hybride (SCVC) : Une combinaison linéaire simple : $SCVC = \lambda \cdot SC + (1-\lambda) \cdot VC$ .

Protocole d'Évaluation

Métrique : L'AUROC (Area Under the Receiver Operating Characteristic) est utilisé pour évaluer la capacité discriminative du signal (capacité à distinguer les réponses correctes des incorrectes), car les métriques de calibration (comme l'ECE) sont biaisées par le manque d'échelle probabiliste fiable des scores verbalisés.
Échantillonnage : Utilisation d'un protocole de bootstrap pour estimer l'AUROC à différents budgets d'échantillonnage ( $K=1, 2, 5, 8$ ) avec une variance réduite.
Variations de Prompt : Analyse de différentes méthodes d'élicitation (Vanilla, Vérification, Épistémique) et de méthodes de "Juge" (jugement postérieur de la trace).

3. Contributions et Résultats Clés

L'étude apporte trois découvertes majeures :

Découverte I : L'Auto-cohérence (SC) est moins efficace que la Confiance Verbalisée (VC) à faible budget

Performance initiale : La VC fournit une base forte dès le premier échantillon ( $K=1$ ), surpassant systématiquement la SC.
Évolutivité : La VC s'améliore significativement avec l'augmentation de $K$ (surtout en mathématiques, +10.1 points d'AUROC de $K=1$ à $K=8$ ). La SC commence à un niveau beaucoup plus bas et, bien qu'elle s'améliore, elle ne dépasse jamais la VC dans la plage testée ( $K \le 8$ ).
Conclusion : Dans les RLMs, l'introspection directe (VC) est un signal plus riche et plus rapide que l'accord entre échantillons (SC) pour les budgets limités.

Découverte II : La complémentarité des signaux domine l'échantillonnage profond

Gain majeur avec peu d'échantillons : Combiner VC et SC (SCVC) avec seulement deux échantillons ( $K=2$ $K = 2$ ) produit des gains bien supérieurs à l'augmentation du budget d'échantillonnage pour un signal seul.
- En mathématiques, SCVC ( $K=2$ ) améliore l'AUROC de +12.9 points par rapport à la VC seule ( $K=1$ ).
- Ce résultat dépasse déjà les performances maximales obtenues en augmentant $K$ jusqu'à 8 pour n'importe quel signal individuel.
Loi des rendements décroissants : Au-delà de $K=2$ ou $K=5$ , les gains supplémentaires sont faibles.
Implication pratique : Il est plus efficace de générer un deuxième échantillon et de combiner les signaux que de générer 8 échantillons pour un seul type de signal.

Découverte III : Dépendance forte au domaine (Mathématiques vs Autres)

Mathématiques : C'est le domaine où les signaux évoluent le plus vite et se combinent le mieux. Les modèles, souvent optimisés par RLVR (Reinforcement Learning with Verifiable Rewards) sur les maths, montrent une complémentarité forte et une amélioration continue jusqu'à $K=8$ .
STEM et Sciences humaines : Les gains initiaux sont plus faibles et la saturation est atteinte plus tôt (vers $K=2$ ou $K=5$ ). La corrélation entre VC et SC est plus élevée dans ces domaines, indiquant une moindre complémentarité.
Variants de prompts : Les méthodes complexes d'élicitation (vérification, épistémique) n'apportent pas de bénéfices significatifs par rapport à une élicitation simple ("Vanilla") dans les RLMs, contrairement à ce qui était observé dans les LLMs standards.

4. Signification et Recommandations

Cette étude fournit la première caractérisation systématique de l'estimation de l'incertitude dans les modèles de raisonnement avec échantillonnage parallèle.

Implications pratiques pour le déploiement de RLMs :

Éviter l'estimation mono-échantillon : Ne pas se fier uniquement à un seul passage.
Éviter la pure auto-cohérence : La SC seule est inefficace à faible coût.
Recette optimale : Pour un coût computationnel minimal, générer deux échantillons et combiner la confiance verbalisée et l'auto-cohérence (SCVC). Cette approche offre le meilleur rapport coût/performance, surpassant des stratégies d'échantillonnage beaucoup plus coûteuses.
Attention aux domaines : Les gains sont particulièrement élevés en mathématiques, mais la méthode reste robuste dans les autres domaines, bien que les gains marginaux soient plus faibles.

En résumé, l'article démontre que la complémentarité des signaux est le levier principal pour améliorer la fiabilité des RLMs, bien plus que l'augmentation brute du nombre d'échantillons, offrant une stratégie efficace pour l'intégration sécurisée de ces modèles dans des systèmes réels.