Self-Reported Confidence of Large Language Models in Gastroenterology: Analysis of Commercial, Open-Source, and Quantized Models

1. Problématique

L'intégration des Grands Modèles de Langage (LLM) dans le secteur de la santé, notamment pour le soutien à la décision clinique, est entravée par leur tendance à produire des « hallucinations » : des informations incorrectes présentées avec un vocabulaire convaincant et une confiance excessive. En médecine, où la précision est critique, l'incapacité d'un modèle à quantifier correctement son incertitude constitue un risque majeur pour la sécurité des patients.

Le problème central abordé par cette étude est l'évaluation de la fiabilité de l'auto-évaluation de la confiance (confidence elicitation) des LLMs. Bien que les modèles puissent être interrogés pour déclarer leur niveau de certitude, il est crucial de déterminer si cette déclaration corrèle réellement avec la justesse de la réponse, en particulier dans un domaine spécialisé comme la gastroentérologie.

2. Méthodologie

Données et Évaluation :

• Jeu de données : L'étude a utilisé 300 questions à choix multiples (QCM) issues de l'examen d'auto-évaluation de l'American College of Gastroenterology (ACG) de 2022. Ces questions, rédigées par des experts, couvrent divers sous-domaines (foie, côlon, œsophage, etc.) et sont protégées par des droits d'auteur, réduisant ainsi le risque qu'elles aient été mémorisées lors de l'entraînement des modèles.
• Modèles testés : Une analyse comparative a été menée sur 48 LLMs distincts, incluant des modèles commerciaux (GPT, Claude, Gemini), open-source (Llama, Mistral, Phi, Qwen, Gemma) et des versions quantifiées (réduites en taille pour un déploiement local).
• Protocole : Les modèles ont été interrogés via des interfaces web, des API et des déploiements locaux. Un processus de « prompt engineering » optimisé (incluant l'imitation d'experts et le raisonnement en chaîne) a été utilisé pour maximiser la précision des réponses.

Extraction et Métriques :

• Échelle de confiance : Les modèles devaient fournir une réponse et un score de confiance auto-déclaré sur une échelle de 0 (aucune confiance) à 10 (confiance maximale).
• Extraction : Une pipeline semi-automatisée (combinaison de regex et d'un LLM) a extrait les scores de confiance avec une précision de vérification humaine de 99 %.
• Mesures de performance :
  • Discrimination : Mesurée par l'AUROC (Area Under the Receiver Operating Characteristic Curve), évaluant la capacité du modèle à distinguer les réponses correctes des incorrectes.
  • Calibration : Mesurée par le Score de Brier et l'ECE (Expected Calibration Error), évaluant l'alignement entre la confiance déclarée et la précision réelle.
  • Analyse de corrélation : Étude de la relation entre la difficulté des questions (pourcentage de réussite des candidats humains) et les scores de confiance des modèles.

3. Résultats Clés

Surconfiance Systématique :

• Tous les modèles, y compris les plus performants, ont démontré une surconfiance systématique. Les scores moyens de confiance (généralement entre 7,9 et 9,6 sur 10) dépassaient largement leurs taux de précision moyens (variant de 30 % à 81,5 %).
• Les modèles les plus récents et les plus grands (ex: GPT-o1 preview, Claude-3.5-Sonnet, GPT-4o) ont obtenu les meilleures performances globales, mais leur excès de confiance persiste.

Performance de Discrimination et Calibration :

• Discrimination (AUROC) : Le meilleur modèle, GPT-o1 mini, a atteint un AUROC de 0,626. Aucun modèle n'a dépassé le seuil de 0,7, indiquant une capacité limitée à discriminer efficacement ses erreurs de ses succès basés uniquement sur son auto-évaluation.
• Calibration (Brier Score) : Seuls cinq modèles ont obtenu un score de Brier supérieur au hasard (meilleur score : GPT-o1 preview à 0,157). La plupart des modèles affichent des scores de Brier élevés, signe d'une mauvaise calibration.
• Courbes de calibration : Les courbes montrent que pour un niveau de confiance donné, la précision réelle est toujours inférieure à ce qui est prédit.

Analyse par Difficulté et Longueur :

• La précision des modèles diminue à mesure que la difficulté des questions augmente, ce qui est attendu.
• Cependant, les scores de confiance restent stables quelle que soit la difficulté de la question ou sa longueur. Les modèles ne réduisent pas leur niveau de confiance déclaré face à des questions plus complexes ou lorsqu'ils échouent, ce qui confirme leur incapacité à moduler l'incertitude en fonction de la difficulté.

Comparaison des Familles de Modèles :

• Les modèles de la famille GPT (surtout o1 preview) et Claude (3.5 Sonnet) ont montré les meilleures performances de calibration parmi les grands modèles.
• Les modèles open-source plus petits et les versions quantifiées ont tendance à être encore plus mal calibrés et moins précis.

4. Contributions Principales

1. Évaluation Exhaustive : Première étude à comparer systématiquement la confiance auto-déclarée d'une large gamme de modèles (commerciaux, open-source, quantifiés) dans un domaine médical spécialisé.
2. Validation de l'Inadéquation Clinique : Démonstration empirique que l'auto-évaluation de la confiance, telle qu'elle est actuellement implémentée, est insuffisante pour des applications à haut risque en médecine, car elle ne reflète pas fidèlement la réalité de la performance du modèle.
3. Analyse des Tendances d'Évolution : Mise en évidence que, bien que les nouvelles générations de modèles (ex: o1, Claude 3.5) améliorent légèrement la calibration, elles ne résolvent pas le problème fondamental de la surconfiance.
4. Méthodologie de Benchmarking : Fourniture d'un cadre rigoureux utilisant des données paywallées (ACG) pour évaluer les limites de la connaissance des modèles sans risque de fuite de données d'entraînement.

5. Signification et Implications

Cette étude souligne un défi critique pour le déploiement des LLMs en santé : l'absence de fiabilité dans les signaux d'incertitude internes.

• Sécurité des Patients : L'utilisation de LLMs pour des tâches cliniques sans mécanismes externes de vérification de l'incertitude est dangereuse, car les modèles peuvent être convaincus d'erreurs factuelles.
• Limites de l'Apprentissage Actuel : Les résultats suggèrent que l'augmentation de la taille des modèles ou de la quantité de données d'entraînement ne suffit pas à acquérir une véritable compétence de quantification de l'incertitude.
• Voies Futures : Pour rendre les LLMs utilisables en clinique, il est nécessaire de développer des protocoles d'entraînement ciblés sur l'estimation de la confiance, d'utiliser des techniques d'apprentissage en contexte (few-shot learning) pour l'incertitude, ou de s'appuyer sur des méthodes d'évaluation d'incertitude externes (comme l'analyse des probabilités de tokens ou des modèles substituts) plutôt que sur la déclaration verbale du modèle.

En conclusion, bien que les LLMs progressent en précision, leur aveuglement à leur propre incertitude reste un obstacle majeur à leur adoption responsable dans la pratique médicale gastroentérologique.