Résumé Technique : Évaluation et Calibrage de la Confiance des LLM sur des Questions à Réponses Multiples

Énoncé du Problème

Le calibrage de la confiance est crucial pour la fiabilité des Grands Modèles de Langage (LLM), garantissant que la confiance exprimée par un modèle correspond à sa performance prédictive réelle. Bien que les méthodes de calibrage sans entraînement existantes aient été largement étudiées pour les questions à réponse unique (QA), cet article identifie un mode de défaillance critique lorsqu'elles sont appliquées à des questions possédant plusieurs réponses valides.

Le problème central est la division de la masse de probabilité (probability mass split). Dans les contextes à réponse unique, la cohérence des réponses (l'accord entre les sorties échantillonnées) est un indicateur fiable de la confiance ; si le modèle « connaît » la réponse, les sorties convergent. Cependant, dans les contextes à réponses multiples, un modèle peut générer plusieurs réponses également correctes mais textuellement distinctes (par exemple, « Ibuprofène » et « Acétaminophène » pour un médicament contre les maux de tête). Les méthodes de cohérence existantes interprètent cette diversité naturelle comme de l'incertitude ou un désaccord, entraînant une sous-estimation systématique de la confiance. Par conséquent, les modèles sont signalés comme peu fiables alors qu'ils sont factuellement corrects, provoquant un mauvais calibrage sévère. Ce phénomène est particulièrement aigu dans les modèles plus importants (ex. : 70B+ paramètres) qui possèdent une couverture de connaissances plus large et génèrent donc une plus grande variété de réponses correctes.

Méthodologie

1. Le Benchmark MACE

Pour étudier systématiquement ce phénomène, les auteurs introduisent MACE (Multi-Answer Confidence Estimation), un benchmark comprenant 12 000 questions factuelles réparties en six domaines : Prix Honorifique, Poste Politique, Affiliation Régionale, Concept Mathématique, Fleuve Naturel et Culture Linguistique.

• Construction : Les questions sont générées à partir de triplets Wikidata en utilisant des modèles contrôlés.
• Contrôle de la Cardinalité : Le benchmark catégorise explicitement les questions selon le nombre de réponses de référence : 1, 2, 4 ou 6 réponses correctes (notées 1a, 2a, 4a, 6a).
• Contrôle de Qualité : Un pipeline rigoureux impliquant un filtrage heuristique (popularité et validité) et une vérification manuelle par des experts du domaine garantit des ensembles de réponses de référence exhaustifs et corrects, répondant ainsi aux limites des benchmarks existants qui manquent de vérité de terrain exhaustive ou de cardinalité contrôlée.

2. Évaluation Expérimentale

Les auteurs ont évalué 15 méthodes de calibrage représentatives sur quatre familles de LLM (LLaMA, Qwen, DeepSeek et GPT) allant de 7B à 72B de paramètres.

• Méthodes Testées :
  • Simple tour (Single-turn) : Probabilités au niveau du jeton (Entropie, Perplexity), confiance verbalisée (Verb) et méthodes basées sur la cohérence (Consistency, Entropie Sémantique).
  • Double tour (Double-turn) : Méthodes d'auto-évaluation (PTrue, Self-Ask) où le modèle vérifie sa propre réponse lors d'un second passage.
• Métriques : Précision (Accuracy) et AUROC (Aire sous la courbe ROC) pour mesurer la qualité de l'estimation de la confiance.

3. Solution Proposée : Agrégation de Confiance Sémantique (SCA)

Pour remédier au mauvais calibrage causé par la division de la masse de probabilité, les auteurs proposent l'Agrégation de Confiance Sémantique (SCA).

• Idée Centrale : Au lieu de s'appuyer sur la réponse unique la plus confiante ou de pénaliser la diversité, la SCA agrège la confiance de toutes les réponses valides à haute probabilité.
• Mécanisme :
  1. Échantillonner plusieurs réponses ($N$) pour une question.
  2. Regrouper les réponses par similitude sémantique.
  3. Calculer la confiance de chaque groupe ($C_m$) en sommant les probabilités de génération de jetons de toutes les réponses au sein de ce groupe : $P(C_m) = \sum_{s \in C_m} p(s)$.
  4. Filtrer les groupes de faible probabilité (bruit) à l'aide d'un seuil $\tau$ (bien que les expériences montrent que $\tau=0$ suffit souvent).
  5. Le score de confiance final est la somme des probabilités des groupes valides restants : $Conf_{SCA} = \sum_{C_m \in C_{valid}} P(C_m)$.
• Avantage : Cette approche traite la diversité des réponses correctes comme une caractéristique plutôt que comme un défaut, préservant des scores de confiance élevés même lorsque le modèle distribue sa masse de probabilité sur plusieurs clusters sémantiques valides.

Résultats Clés

1. Le Paradoxe Confiance-Précision

Les expériences révèlent une tendance contre-intuitive : à mesure que le nombre de réponses correctes augmente (de 1a à 6a), la précision de la QA s'améliore (les questions deviennent empiriquement plus faciles), mais la confiance estimée diminue systématiquement pour presque toutes les méthodes existantes.

• Impact sur les Modèles Plus Grands : Les modèles plus grands (ex. : LLaMA-70B) souffrent d'une dégradation de confiance plus sévère que les modèles plus petits (ex. : LLaMA-8B). Cela est attribué à la « couverture de connaissances » : les modèles plus grands intériorisent plus de connaissances et génèrent donc un éventail plus large de réponses valides, provoquant une plus grande division de la masse de probabilité et des scores de cohérence plus faibles.

2. Échec des Méthodes Existantes

Dans les contextes de réponses mixtes (combinant des questions avec 1, 2, 4 et 6 réponses), les méthodes de calibrage de pointe (SOTA) s'effondrent.

• Les méthodes basées sur la cohérence (ex. : Entropie Sémantique, Cohérence) chutent considérablement en AUROC car elles interprètent mal la diversité des réponses comme de l'incertitude.
• Les méthodes à double tour (ex. : PTrue) font preuve d'une plus grande stabilité car elles séparent la vérification de la génération, mais échouent tout de même à surpasser la SCA proposée en termes de performance globale de calibrage.

3. Performance de la SCA

La SCA atteint une performance de calibrage de pointe (SOTA) dans les contextes de réponses mixtes, tout en maintenant une forte performance sur les questions à réponse unique.

• Sur le modèle LLaMA-3.1-70B-Instruct, la SCA (avec $\tau=0$) a obtenu un AUROC de 76,7 dans le cadre entièrement mixte ([1,2,4,6]), surpassant la meilleure méthode de référence suivante (Perplexity à 73,8).
• La SCA est robuste au seuil $\tau$ et ne nécessite pas de clustering ou de filtrage complexe pour être efficace ; la simple somme des probabilités de jetons à travers toutes les réponses échantillonnées donne souvent des résultats optimaux.
• La méthode se généralise à travers les échelles de modèles (7B à 72B) et les familles (Qwen, LLaMA).

Signification et Revendications

L'article affirme faire progresser le calibrage de la confiance du cadre restrictif de la QA à réponse unique vers un scénario plus général et réaliste impliquant des nombres mixtes de réponses de référence.

• Contribution du Benchmark : MACE comble une lacune critique dans la littérature en fournissant le premier benchmark avec une vérité de terrain exhaustive, des questions à réponses multiples et une cardinalité de réponse contrôlée, permettant de diagnostiquer la division de la masse de probabilité.
• Aperçu Méthodologique : Ce travail démontre que l'incohérence des réponses n'implique pas nécessairement une faible confiance ; dans les contextes multi-réponses, elle reflète souvent la capacité du modèle à accéder à un ensemble plus large de connaissances valides.
• Impact Pratique : En proposant la SCA, les auteurs fournissent une méthode sans entraînement et efficace sur le plan computationnel qui empêche la « crise de confiance » où les réponses correctes et diverses sont incorrectement pénalisées comme peu fiables. Cela est essentiel pour le déploiement des LLM dans des applications réelles où les questions ont souvent plusieurs solutions valides.

Les auteurs restent modestes quant aux limites, notant que leur benchmark utilise des modèles de prompts formulaires pour contrôler la difficulté, ce qui sacrifie la diversité naturaliste, et que l'évaluation actuelle est limitée à l'anglais pour les réponses factuelles courtes. Ils identifient l'extension aux contextes multilingues et à la génération de textes longs comme des travaux futurs nécessaires.