Résumé technique : Calibration Linguistique Augmentée par Récupération (RALC)

Énoncé du problème

Une estimation fiable de la confiance est cruciale pour le déploiement digne de confiance des grands modèles de langage (LLM) dans la prise de décision humaine. Bien que les méthodes existantes représentent la confiance sous forme de valeurs de probabilité scalaires (par exemple, des probabilités au niveau du token ou des scores verbalisés), les humains éprouvent des difficultés à raisonner avec précision à l'aide de probabilités numériques. Par conséquent, les marqueurs linguistiques (par exemple, « probablement », « peut-être ») sont préférés en tant qu'interfaces naturelles. Cependant, traiter ces marqueurs comme des scalaires élimine la subjectivité inhérente à l'interprétation linguistique : différents lecteurs associent la même expression à différentes valeurs de probabilité perçues. De plus, les indices linguistiques co-occurrents et les variations contextuelles posent des défis uniques que les représentations scalaires échouent à capturer. Les méthodes de calibration a posteriori actuelles opèrent entièrement dans l'espace numérique, sans mécanismes pour propager les signaux calibrés vers le langage naturel, tandis que les stratégies linguistiques existantes fonctionnent souvent comme des procédures boîte noire sans contrôle fondé sur des principes.

Méthodologie

1. Modélisation distributionnelle de la confiance linguistique

Les auteurs modélisent la confiance linguistique non pas comme un scalaire unique, mais comme une distribution sur les valeurs de probabilité perçues plausibles qu'une affirmation soit correcte.

• Formalisme : La confiance est représentée comme une distribution bêta, $S = \text{Beta}(\alpha, \beta)$.
  • La moyenne $\mu = \alpha/(\alpha+\beta)$ capture la tendance centrale de la confiance perçue parmi les lecteurs.
  • La concentration $\kappa = \alpha + \beta$ encode la force de l'accord (variance) parmi les lecteurs.
• Estimation : Un estimateur de confiance $g$ mappe une réponse $R$ vers une distribution bêta. Ceci est paramétré en ajustant une distribution bêta à des scores générés par un ensemble de LLM agissant comme un substitut d'auditoire humain, capturant l'interaction de multiples indices linguistiques et du contexte.

2. Divergence de Fidélité (FD)

Pour évaluer la confiance au-delà de la calibration au niveau de la population (Erreur de Calibration Attendue, ECE), l'article introduit la Fidélité en tant que dimension au niveau de l'instance.

• Définition : La Fidélité mesure la « surprise » induite dans les croyances de l'auditoire lors de la révélation de la vérité terrain.
• Métrique : La Divergence de Fidélité (FD) est définie comme un coût de mise à jour bayésienne pondéré par la concentration :
  $$FD_i := (\alpha_i + \beta_i) \cdot \text{KL}(S^*_i \parallel S_i)$$
  où $S_i$ est la distribution a priori et $S^*_i$ est la distribution a posteriori mise à jour avec l'étiquette de vérité terrain $y_i$.
• Raison d'être : La FD quantifie la surprise informationnelle, pondérant la divergence KL par la concentration (taille d'échantillon effective). Une croyance mal alignée à haute concentration entraîne une pénalité plus élevée (surprise) qu'un désalignement à faible concentration, reflétant l'intuition que des croyances incorrectes fermement tenues sont plus surprenantes.

3. Calibration Linguistique Augmentée par Récupération (RALC)

RALC est un pipeline léger, post-hoc, qui transforme les réponses brutes des LLM en sorties calibrées et fidèles directement dans l'espace linguistique. Le pipeline comprend trois étapes :

1. Calibration dans l'espace des signaux : La moyenne de la distribution de confiance estimée est calibrée à l'aide de l'échelle de Platt (régression logistique) par rapport aux étiquettes de justesse binaires. Le paramètre de concentration est préservé, car il représente la force de l'accord plutôt qu'une cible de calibration.
2. Construction de lexique : Un lexique préétabli mappe les expressions d'atténuation (par exemple, « tend à », « certainement ») vers leurs distributions bêta correspondantes de confiance perçue. Ces distributions sont dérivées en faisant évaluer par un ensemble de LLM des affirmations non vérifiables réécrites contenant des indices d'atténuation spécifiques.
3. Réécriture augmentée par récupération : La distribution calibrée sert de signal de récupération. Le système effectue une recherche en deux étapes des K plus proches voisins (KNN) :
   • Sélection préliminaire : Basée sur la distance absolue entre la moyenne calibrée et les moyennes des entrées du lexique.
   • Classement : Basée sur la distance de Wasserstein 1 pour correspondre à la fois à la tendance centrale et à la dispersion (concentration) de la distribution.
   • Réécriture : Les $k$ expressions d'atténuation récupérées en tête sont transmises à un éditeur LLM ainsi qu'à la réponse originale pour réécrire le texte, garantissant que la confiance perçue de la nouvelle réponse s'aligne sur le signal calibré.

Le pipeline est compatible avec divers signaux amont, notamment la confiance linguistique, la probabilité de token et l'incertitude sémantique (dérivée de l'échantillonnage de cohérence interne).

Contributions clés

1. Cadre distributionnel : Formaliser la confiance linguistique comme une distribution bêta pour capturer l'interaction des indices et la variabilité de l'interprétation des lecteurs, dépassant la cartographie discrète et la quantification scalaire.
2. Métrique de Fidélité : Introduire la Divergence de Fidélité (FD) comme une nouvelle dimension d'évaluation au niveau de l'instance qui quantifie la surprise informationnelle des croyances de confiance lors de la révélation de la vérité, comblant les limites des métriques scalaires comme le score Brier et la NLL dans des contextes distributionnels.
3. Pipeline RALC : Proposer un cadre généralisable, post-hoc, qui calibre la confiance dans l'espace linguistique via une réécriture augmentée par récupération, compatible avec divers signaux d'estimation de confiance.

Résultats expérimentaux

Le cadre a été évalué sur cinq familles de LLM (GPT-OSS-20B, Llama-3.1-8B, Qwen3-8B, Mistral-7B, Gemma-4-31B) et trois benchmarks (MMLU, SQuAD 2.0, TruthfulQA).

• Gains de performance : RALC a amélioré la fidélité intra-domaine jusqu'à 66 % et la calibration (ECE généralisée) jusqu'à 58 % par rapport aux bases de référence pré-calibrées.
• Comparaison : RALC a surpassé les bases de référence boîte noire (Hedged QA, qui sollicite l'atténuation sans signaux calibrés) et les bases de référence boîte grise (Direct Beta-Guided Rewrite, qui manque de récupération structurée de lexique).
• Robustesse du signal : L'incertitude sémantique s'est révélée être le signal de confiance le plus robuste, produisant les améliorations les plus fortes en matière de calibration et de fidélité dans tous les domaines.
• Transfert inter-domaines : Le pipeline a démontré une forte transférabilité ; dans certains cas, les calibrateurs inter-domaines ont surpassé les calibrateurs intra-domaines lorsque le domaine cible présentait un biais de mauvaise calibration faible, permettant à une source avec un biais plus fort d'apprendre une correction plus décisive.
• Validation de la métrique : Les expériences ont confirmé que la FD classe correctement les niveaux de surprise cohérents avec les profils distributionnels (pénalisant les désalignements à haute concentration), tandis que la divergence KL, le score Brier et la NLL ont échoué à retrouver cet ordre.

Importance

L'article soutient que la confiance linguistique est intrinsèquement distributionnelle en raison de la subjectivité de l'interprétation. En modélisant cette distribution et en introduisant la Fidélité en tant que dimension d'évaluation complémentaire, ce travail fournit une manière fondée sur des principes d'évaluer dans quelle mesure la confiance exprimée par un modèle s'aligne sur la réalité au niveau de l'instance. Le pipeline RALC démontre que les signaux de confiance calibrés peuvent être efficacement propagés vers le langage naturel par le biais d'une réécriture augmentée par récupération, offrant une solution évolutive et post-hoc qui améliore la fiabilité des LLM sans nécessiter l'accès aux internals du modèle ni un réentraînement. Les résultats suggèrent que la récupération structurée de lexique est supérieure à la génération non contrainte pour aligner la sortie linguistique sur la confiance calibrée.