Résumé technique : Cohérent mais mal calibré : Évaluation des limites des LLM pour la communication des risques en langage naturel

1. Énoncé du problème

Les grands modèles de langage (LLM) sont de plus en plus déployés comme des expliqueurs post-hoc pour les sorties générées par l'IA dans des domaines à enjeux élevés tels que la santé, la finance et le droit. Bien qu'il existe des scores d'incertitude calibrés pour indiquer quand la prédiction d'un modèle doit être fiable, les utilisateurs finaux éprouvent souvent des difficultés à interpréter ces valeurs numériques en raison d'une divergence entre les définitions statistiques formelles et la compréhension intuitive de la probabilité.

Le problème central abordé est de savoir si les LLM peuvent traduire de manière fiable l'information probabiliste (spécifiquement la vraisemblance et l'incertitude prédictive) en Explications en Langage Naturel (ELN). Pour que ce rôle soit viable, les modèles doivent satisfaire deux critères :

1. Cohérence : Produire des descripteurs verbaux identiques pour des entrées identiques lors de requêtes répétées.
2. Calibration : Sélectionner des descripteurs qui reflètent fidèlement l'ampleur des quantités numériques sous-jacentes (par exemple, assigner « très probable » à des événements de haute probabilité et « peu probable » à des événements de faible probabilité).

La littérature actuelle suggère que les LLM peuvent privilégier l'utilité et la décisivité au détriment de l'expression de l'incertitude, ce qui conduit à des limitations systématiques dans la verbalisation probabiliste. Cependant, une évaluation contrôlée mesurant conjointement la calibration et la cohérence à travers plusieurs architectures, contextes de domaine et paramètres de génération faisait défaut.

2. Méthodologie

Conception expérimentale

L'étude formalise la communication des risques comme une tâche de sélection de descripteurs. Le pipeline expérimental comprend :

1. Simulation en amont : Les prédictions sont simulées en échantillonnant à partir de distributions Beta paramétrées par un mode ($m$, représentant la vraisemblance) et une taille d'échantillon préalable ($k$, représentant l'incertitude). Une grille de 100 combinaisons ($m \in [0,05, 0,95]$, $k \in [50, 950]$) a été utilisée pour générer des variations systématiques de la vraisemblance et de l'incertitude.
2. Formulation de la tâche : Les LLM ont été incités à sélectionner le meilleur descripteur verbal pour la vraisemblance et l'incertitude de ces scénarios simulés à partir d'un ensemble ordonné et fixe d'ELN (par exemple, de « virtuellement certain » à « exceptionnellement improbable »).
3. Variables :
   • Modèles : Neuf LLM ont été évalués, allant de petits modèles open-source (4B–8B de paramètres) à des modèles commerciaux et ouverts plus larges (jusqu'à 32B et GPT-5.4).
   • Contextes de domaine : Six contextes ont été utilisés pour tester la robustesse, variant selon le niveau d'enjeu (élevé, moyen, faible) et l'étendue de l'événement (individuel vs population) : prévision d'inondations, prédiction de cancer, anaphylaxie médicamenteuse, jeux de hasard, recommandations de restaurants et randonnées d'aurores boréales.
   • Température : Les expériences ont été répétées à travers dix réglages de température (0,0 à 0,9).
   • Répétitions : Chaque expérience a été répétée dix fois pour mesurer la cohérence.
4. Études d'ablation :
   • Statistiques précalculées : Une ablation a fourni le mode ($m$) et la taille de l'échantillon ($k$) directement dans le prompt pour déterminer si le goulot d'étranglement était l'inférence statistique ou la verbalisation.
   • Robustesse des métriques : Six ablations supplémentaires ont testé la sensibilité des métriques, incluant la validation externe par rapport à des plages élicitées par des experts, les variations de paramètres de pénalité et des mesures d'incertitude alternatives (variance, entropie).

Métriques d'évaluation

• Score de cohérence : Mesure la fréquence de sélection de descripteurs identiques sur dix répétitions pour des entrées identiques (plage [0, 1]).
• Score de calibration : Adapté du test de tendance de Jonckheere-Terpstra (JT). Il a évalué si les choix de descripteurs des modèles respectaient l'ordre numérique des distributions sous-jacentes. Une violation se produisait si un modèle assignait un descripteur « plus fort » à une valeur numérique inférieure qu'un descripteur « plus faible » ailleurs. Le score était pénalisé pour les modèles qui ne parvenaient pas à utiliser l'intégralité du vocabulaire de descripteurs disponibles.
• Exactitude de la tâche (pass@k) : Mesure la probabilité que le modèle produise une sortie correctement formatée dans $k=5$ tentatives, garantissant que les erreurs de formatage n'augmentent pas artificiellement les scores de calibration ou de cohérence.

3. Résultats clés

Cohérence vs Calibration

• Constat général : Les LLM ont été jugés généralement cohérents mais mal calibrés.
• Cohérence : La plupart des architectures ont obtenu des scores de cohérence élevés (moyenne > 0,8) pour les tâches de vraisemblance. GPT-5.4 a atteint un score de cohérence moyenne parfait de 1,0 pour la vraisemblance et l'incertitude. Cependant, la cohérence a considérablement diminué à mesure que la température augmentait.
• Calibration :
  • Vraisemblance : La plupart des modèles étaient mal calibrés. GPT-5.4 était l'exception, atteignant une moyenne de calibration de la vraisemblance de 0,96. Les autres modèles variaient de 0,07 à 0,78.
  • Incertitude : La calibration était nettement plus faible pour tous les modèles. Aucune architecture n'a dépassé un score de 0,40 pour les tâches d'incertitude (GPT-5.4 marquant 0,37 et les autres descendant jusqu'à 0,07).

Impact des variables

• Température : L'augmentation de la température a créé un compromis : elle a légèrement amélioré la calibration (en encourageant l'utilisation d'un vocabulaire plus large) mais a considérablement réduit la cohérence.
• Contexte de domaine : Le contexte a influencé les deux métriques, mais aucun domaine unique n'a uniformément amélioré ou dégradé la performance de tous les modèles. GPT-5.4 est resté largement insensible aux changements de contexte de domaine.
• Données précalculées : Fournir des résumés numériques explicites (mode et taille d'échantillon) n'a pas amélioré la calibration ou la cohérence pour aucun modèle. Cela suggère que le goulot d'étranglement réside dans l'étape de verbalisation (le passage des nombres aux mots) plutôt que dans l'inférence statistique des échantillons bruts.
• Utilisation du vocabulaire : La plupart des modèles ont échoué à sélectionner tous les descripteurs disponibles. Ils avaient tendance à adopter un ensemble restreint de descripteurs modérés (ex: « assez certain ») quel que soit l'incertitude mathématique sous-jacente, choisissant rarement des descripurs extrêmes.

Robustesse

Les études d'ablation ont confirmé que les résultats étaient robustes. La validation externe par rapport aux plages élicitées par des experts a montré que GPT-5.4 suivait étroitement le consensus des experts, tandis que les autres modèles présentaient des erreurs absolques importantes. L'utilisation de paramètres précalculés n'a pas modifié la malcalibration fondamentale, renforçant l'idée que le problème n'est pas l'incapacité à calculer des statistiques, mais l'incapacité à les verbaliser avec précision.

4. Contributions et importance

L'article fournit une évaluation systématique des LLM en tant qu'expliqueurs post-hoc pour les prédictions probabilistes, établissant que :

1. Limites actuelles : Les LLM actuels ne constituent pas des outils de communication des risques autonomes et fiables en mode zero-shot. Bien qu'ils soient cohérents, ils sont significativement mal calibrés, particulièrement concernant l'incertitude prédictive.
2. Le goulot d'étranglement de la verbalisation : L'incapacité à communiquer le risque avec précision ne provient pas d'un échec du raisonnement statistique (puisque la fourniture des paramètres réels n'a pas aidé), mais réside dans la mise en correspondance des quantités numériques connues avec des descripteurs verbaux calibrés.
3. Échelle et architecture : La performance élevée n'est pas apparue uniformément à travers les architectures. Si GPT-5.4 a démontré une quasi-perfection de calibration pour la vraisemblance, cette compétence ne s'est pas transférée aux tâches d'incertitude, suggérant que l'échelle seule peut ne pas suffire pour une compréhension émergente des concepts probabilistes.
4. Sensibilité contextuelle : Les modèles présentent une sensibilité au contexte de domaine, utilisant potentiellement un langage plus prudent dans les scénarios médicaux ou de catastrophes à enjeux élevés, ce qui complique la distinction entre une véritable malcalibration et une prudence socialement appropriée.

5. Conclusion

Les auteurs concluent que bien que les LLM restent prometteurs pour produire un langage fluide et accessible, ils manquent actuellement d'une cartographie interne suffisamment stable entre l'information probabiliste et les ELN. L'étude souligne que coupler les LLM avec des méthodes statistiques en amont ne résout pas les déficits de calibration, mettant en évidence la nécessité d'interventions ciblées spécifiquement sur l'étape de verbalisation. Les conclusions renforcent le fait que la communication des risques est une tâche spécialisée et difficile, et que les modèles actuels ne sont pas encore prêts à traduire de manière fiable les prédictions probabilistes en langage naturel pour une prise de décision éclairée.