Let the Model Distribute Its Doubt: Confidence Estimation through Verbalized Probability Distribution

1. Problématique

L'adoption des Grands Modèles de Langage (LLM) dans des domaines à haut risque (santé, droit, finance) est entravée par leur incapacité à fournir des estimations de fiabilité fiables. Bien que les LLMs aient des capacités de génération impressionnantes, ils souffrent souvent de surconfiance (overconfidence), produisant des réponses incorrectes avec un haut niveau de certitude.

Les méthodes traditionnelles reposent sur les probabilités des tokens générés, mais ces scores sont souvent mal calibrés, en particulier pour les modèles affinés par apprentissage par renforcement à partir de retours humains (RLHF). Les approches récentes de confiance verbalisée (où le modèle exprime sa confiance en langage naturel) ont montré des résultats mitigés : elles peuvent encore souffrir de surconfiance ou dépendre fortement de la taille du modèle. De plus, l'impact des stratégies de raisonnement (Chain-of-Thought) sur la qualité de l'estimation de la confiance reste sous-étudié.

2. Méthodologie : Distribution de Probabilité Verbalisée

Les auteurs proposent une nouvelle méthode appelée Verbalized Probability Distribution (Distribution de Probabilité Verbalisée). Contrairement aux méthodes existantes qui demandent au modèle de prédire une seule réponse avec un score de confiance, ou un petit nombre de réponses (Top-k), cette méthode force le modèle à :

1. Identifier l'espace des réponses possibles : Le modèle doit énumérer plusieurs réponses candidates (ou un nombre limité, par exemple moins de cinq).
2. Intégrer une option de sécurité : Pour les tâches à espace de réponse ouvert (où l'énumération complète est impossible), une option « Aucune de ces réponses » (None of the above) est ajoutée pour agréger la probabilité des candidats peu probables.
3. Attribuer une distribution de probabilité : Le modèle doit assigner un score de confiance à chaque candidat de manière à ce que la somme des scores soit égale à 1.0.
4. Raisonnement explicite : Le modèle doit justifier pourquoi chaque option reçoit tel ou tel score, contextualisant ainsi sa prédiction principale par rapport aux alternatives.

Optimisation par Renforcement (RL) :
Les auteurs intègrent cette méthode dans un cadre d'apprentissage par renforcement (RL). La fonction de récompense est conçue pour :

• Maximiser la précision de la réponse finale.
• Minimiser le Brier Score (erreur quadratique moyenne entre la probabilité prédite et la vérité terrain).
• Imposer une pénalité stricte (récompense de -1) si la somme des probabilités prédites n'est pas égale à 1, forçant ainsi le modèle à respecter les contraintes d'une distribution de probabilité valide.

3. Contributions Clés

• Nouveau Paradigme de Raisonnement : L'article démontre que demander à un LLM de raisonner sur une distribution complète (plutôt qu'un seul score) l'incite à considérer toutes les alternatives, réduisant ainsi la surconfiance et améliorant la calibration.
• Comparaison Systématique : Une évaluation rigoureuse comparant la Confiance Verbalisée, le Top-k Verbalisé et la Distribution de Probabilité Verbalisée sur plusieurs modèles (Qwen, GPT-4.1, DeepSeek) et tâches (fermées et ouvertes).
• Efficacité à l'Inférence : La méthode est montrée comme étant plus efficace en termes de coût computationnel lors de l'augmentation de l'échelle d'inférence (inference-time scaling) par rapport aux méthodes de base.
• Analyse des Limites : Identification des cas où la méthode échoue (raisonnement mathématique strict) et proposition de solutions (RL, sélection automatique de prompts).

4. Résultats Expérimentaux

Les expériences ont été menées sur des jeux de données fermés (MedQA, MMLU-Pro, MedXpertQA) et ouverts (HotpotQA, MedCaseReasoning).

• Performance sans entraînement (Zero-shot) : La méthode de Distribution de Probabilité surpasse systématiquement les méthodes de base (Confiance seule, Top-k) sur toutes les métriques de calibration (ECE, Brier Score) et de discrimination (AUROC), y compris sur des modèles plus petits (ex: Qwen3-4B). Elle permet aux petits modèles de rivaliser avec des modèles plus grands en termes de fiabilité.
• Avec Apprentissage par Renforcement (RL) : La méthode converge plus rapidement et maintient une supériorité sur les tâches hors domaine (out-of-domain). Sur MMLU-Pro, elle atteint le meilleur Brier Score avec 6 fois moins de calculs que la meilleure méthode de base lors de l'augmentation de l'échelle d'inférence.
• Calibration : Les courbes de calibration montrent une alignement quasi parfait entre la confiance prédite et la précision empirique, contrairement aux méthodes traditionnelles qui restent trop confiantes.
• Ablation : L'ablation confirme que l'option « Aucune de ces réponses » et l'exigence de normalisation (somme = 1) sont cruciales pour la performance, en particulier sur les tâches à espace de réponse ouvert.

5. Signification et Implications

Ce travail apporte une contribution majeure à la fiabilité des LLMs en montrant que la structure du prompt (la manière dont on demande au modèle de raisonner) est aussi importante que l'entraînement lui-même.

• Fiabilité accrue : En forçant le modèle à « distribuer son doute », on obtient des estimations de confiance plus honnêtes, essentielles pour les applications critiques où un faux positif peut avoir des conséquences graves.
• Efficacité : La méthode offre un compromis optimal entre la précision de l'estimation de la confiance et le coût computationnel, rendant viable son déploiement dans des systèmes réels.
• Limites et Futur : L'article reconnaît que la méthode est moins efficace sur des tâches de raisonnement mathématique où les alternatives sont peu plausibles, suggérant que des stratégies de prompts adaptatives ou un entraînement RL spécifique sont nécessaires pour une applicabilité universelle.

En résumé, l'article prouve que faire verbaliser une distribution de probabilité complète est une stratégie simple mais puissante pour transformer l'intuition des LLMs en estimations de confiance calibrées et fiables.