Calibrating Semantic Uncertainty from Observable Language-Model Probabilities

Résumé Technique : Calibrer l'incertitude sémantique à partir des probabilités observables des modèles de langage

Énoncé du Problème
Les modèles de langage (LM) génèrent des distributions de probabilité conditionnelle sur des mots et des segments de phrases, pourtant la prise de décision professionnelle dans des domaines tels que la finance, la médecine ou le droit nécessite une quantification de l'incertitude sur des états dotés de valeurs finies et significatives (ex. : diagnostics, conditions de risque ou états opérationnels). Il existe un décalage critique : la sortie native d'un LM est une distribution sur des réponses verbales, laquelle est sensible à la formulation, à l'ordre et au format numérique du prompt. En revanche, le postérieur scientifique cible sur les états doit être invariant aux reformulations équivalentes sur le plan de l'information. Les approches actuelles confondent souvent la confiance numérique imprimée ou les probabilités de tokens avec des probabilités d'états calibrées, échouant ainsi à rendre compte de l'instabilité sémantique où des expressions synonymes reçoivent des probabilités disparates ou là où la « fluidité » du modèle masque l'incertitude. Le présent article traite le problème inverse : un processus de distribution de réponses verbales dépendante du prompt peut-il être mis en correspondance avec un postérieur stable et calibré sur des états déclarés ?

Méthodologie
L'article propose une carte sémantique, un pont statistique semi-paramétrique reliant la distribution de langage conditionnelle du LM à un postérieur cible sur un espace d'états fini. Le cadre traite le LM comme un processus générateur de données conditionnelles (un noyau de Markov) et sépare la conception statistique en couches distinctes :

1. Expérience Statistique Observable : Le LM est modélisé comme une loi de réponse conditionnelle $Q_u(\cdot | c)$ sur des continuations verbales complètes $\Omega$, étant donné un prompt $c$. Le prompt est une variable de conception explicite contrôlée par l'évaluateur.
2. Coarsissement Sémantique : Une carte mesurable présupposée $\phi_u$ regroupe les continuations verbales synonymes en états sémantiques $X$ (et une catégorie « non exprimée » $\perp$). Cela induit une mesure de poussée (composition lexicale) $p_u$ sur l'espace des états.
3. Calibration et Récupération Inverse : L'article formule la récupération du postérieur de référence $\pi^*(y)$ (dérivé d'un modèle probabiliste déclaré et indépendant) à partir de la composition lexicale $p_u$ comme un problème inverse. Il utilise des coordonnées de rapport logarithmique additif (alr) pour mapper les vecteurs de probabilité vers l'espace euclidien, permettant l'application de la théorie des problèmes inverses.
4. Garanties Théoriques :
   • Existence et Unicité : La composition lexicale existe et est unique sous condition de la carte sémantique et de la loi de langage fixées.
   • Décomposition de l'Erreur : Un théorème limite l'erreur du postérieur provenant de trois sources distinctes : l'inadéquation sémantique (erreur de regroupement), l'erreur de calcul de probabilité et la masse non exprimée (probabilité hors de la partition déclarée).
   • Stabilité : Des bornes théoriques caractérisent comment les perturbations dans la présentation du prompt (formulation, ordre) affectent la composition sémantique, distinguant les variations de nuisance des changements conséquents.
   • Récupération Inverse : Les conditions de récupération stable du postérieur sont définies via un module d'observabilité quantitative (borne inférieure sur la séparation de postérieurs distincts dans le canal de langage).
   • Filtrage Séquentiel : Un théorème de filtrage quantifie comment les erreurs de mesure se propagent ou sont atténuées lors des mises à jour bayésiennes séquentielles, distinguant l'erreur de mesure initiale des défauts de récursion accumulés.

Contributions Clés
La contribution principale de l'article est la formalisation de la carte sémantique comme un estimand statistique testable, dépassant l'ingénierie de prompt ad hoc. Plus précisément :

• Estimand Déclaré : Il définit un objectif clair : récupérer un postérieur de référence sur des états finis à partir d'une distribution de langage observable, plutôt que de traiter la « croyance » interne du LM comme la vérité de terrain.
• Cadre Semi-paramétrique : Il combine un modèle de langage sans restriction avec un modèle de calibration de faible dimension, évitant de devoir modéliser les paramètres internes du LM tout en rendant compte rigoureusement de la mise en correspondance du langage vers l'état.
• Décomposition de l'Incertitude : Il fournit une décomposition mathématique des sources d'erreur (sémantique, numérique et de couverture), permettant aux praticiens de diagnostiquer si les échecs proviennent d'un mauvais regroupement, d'un calcul de probabilité inexact ou d'une couverture verbale insuffisante.
• Analyse de Problème Inverse : Il applique la théorie des problèmes inverses pour établir les conditions sous lesquelles le canal de langage est suffisamment informatif pour permettre une inversion stable, distinguant l'observabilité de conception finie de l'identification uniforme.
• Protocole Empirique : Il établit un protocole inférentiel rigoureux qui sépare la découverte (regroupement sémantique, conception de prompt) de la confirmation (tests sur données non vues, couverture conforme), empênant le biais d'anticipation (look-ahead bias) et la recherche de spécification dépendante des données.

Résultats
La méthodologie a été évaluée dans deux contextes :

1. Texte de Marché Professionnel : Une comparaison entre les probabilités dérivées du langage (calculées à partir des probabilités de tokens de phrases) et les probabilités elicitées numériquement (où le modèle est invité à imprimer un nombre).
   • Résultat : Les probabilités dérivées du langage ont nettement surpassé les probabilités elicitées numériquement en termes de précision (McNemar $p=0.0243$) et de règles de score appropriées (log-loss et score de Brier). Cela suggère que forcer une sortie numérique déforme l'information sémantique présente dans la distribution de continuation.
2. Récupération de Postérieur Contrôlée : Une simulation utilisant un générateur bayésien connu pour fournir des postérieurs de référence exacts, testée à travers deux modèles ajustés (GPT-4.1-mini et GPT-4o-mini).
   • Récupération : Les estimations lexicales calibrées ont récupéré les postérieurs exacts de l'échantillon test (held-out) avec une faible divergence de Jensen–Shannon (environ 0,039 et 0,037) et ont atteint une couverture conforme nominale de 90 % (94 % et 90 %).
   • Stabilité : Les paraphrases ordinaires (réécritures préservant l'information) ont produit des estimations largement stables. Cependant, le réordonnancement des preuves ou l'omission d'informations pertinentes a provoqué des changements conséquents, confirmant que la mesure est sensible à l'ensemble d'information mais robuste aux nuances de formulation.
   • Conditionnement Inverse : L'analyse par bootstrap a confirmé que les cartes d'affinité ajustées conservaient toutes les directions de log-ratio sur le design échantillonné (valeurs singulières positives), soutenant l'observabilité de conception finie.
   • Entropie : L'entropie brute sur les mots candidats était décorrélée de l'entropie du postérieur, tandis que l'entropie du postérieur calibré était fortement corrélée, démontrant que l'incertitude au niveau des mots n'équivaut pas à l'incertitude au niveau des états.

Signification et Revendications
L'article affirme que l'incertitude des modèles de langage peut être transformée d'une déclaration de confiance non vérifiée en un estimateur de postérieur auditable sous des conditions explicites et testables.

• Portée Modeste : Les auteurs déclarent explicitement que la méthode ne prouve pas que le LM « sait » la vérité ou possède des croyances internes inaccessibles. Le postérieur cible est conditionnel au modèle générateur d'évidence déclaré et à la partition sémantique.
• Validation plutôt que Confiance : La contribution est un cadre de validation. Si la carte sémantique échoue (ex. : faible masse exprimée, faible conditionnement inverse ou échec de la couverture conforme), le résultat doit être rejeté ou réparé. Si elle réussit, l'estimation soutient des procédures conscientes de l'incertitude comme l'abstention, la revue humaine ou la mise à jour séquentielle.
• Principe Général : Le principe de la « carte sémantique » est présenté comme un modèle général pour auditer les classifications et les recommandations, garantissant que la signification pertinente à l'application est stable et n'est pas simplement une fonction de l'ingénierie de prompt.
• Limites : Les résultats sont conditionnés par le modèle ajusté spécifique, la famille de prompts et les définitions d'états. Ils n'établissent pas une observabilité uniforme sur des classes de fonctions non restreintes ou une couverture séquentielle uniforme dans le temps sans tests supplémentaires au niveau de la trajectoire. La méthode n'est pas un substitut à l'analyse de décision spécifique au domaine ou une garantie de performance de trading en temps réel.

En résumé, l'article remplace la dépendance à l'« ingénierie de prompt » pour la stabilité par un cadre statistique rigoureux qui traite le langage comme un canal de mesure bruité, fournissant les outils pour quantifier, borner et valider la récupération de probabilités d'états significatifs à partir de ce canal.