🤖 AI

LLM Doesn't Know What It Doesn't Know: Detecting Epistemic Blind Spots via Cross-Model Attribution Divergence on Clinical Tabular Data

Cet article démontre que les grands modèles de langage manquent de véritable conscience épistémique sur les données tabulaires cliniques, car leur confiance verbalisée n'est pas informative et leur précision est inversement corrélée à la difficulté de la tâche, mais propose que l'analyse de la divergence d'attribution inter-modèles combinée au prompting à quelques exemples (few-shot) et aux preuves de caractéristiques peut efficacement détecter ces angles morts et améliorer significativement la précision ainsi que le calibrage sans réentraînement.

Auteurs originaux : Akshat Dasula, Prasanna Desikan, Jaideep Srivastava

Publié 2026-06-19

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Akshat Dasula, Prasanna Desikan, Jaideep Srivastava

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

L'idée principale : L'« stagiaire trop sûr de lui »

Imaginez que vous engagiez un étudiant brillant en médecine (l'LLM) qui a lu tous les manuels de médecine du monde mais qui n'a jamais travaillé dans un hôpital. Vous avez aussi une infirmière chevronnée, guidée par les données (le modèle XGBoost), qui a passé des années à suivre les constantes vitales des patients et sait exactement quels chiffres prédisent une maladie spécifique (l'insuffisance rénale aiguë).

Les chercheurs ont posé une question simple : L'étudiant sait-il quand il devine ?

Ils ont découvert que l'étudiant est dangereusement trop sûr de lui. Peu importe s'il se trompe, il dit : « Je suis sûr à 90 % ! ». Le document appelle cela des « angles morts épistémiques » — l'étudiant ne sait pas ce qu'il ne sait pas.

L'expérience : Quatre façons de poser la question

Les chercheurs ont testé l'étudiant en médecine (en utilisant un modèle appelé Qwen 2.5) sur 300 dossiers de patients. Ils ont essayé quatre manières différentes de demander un diagnostic :

La page blanche (Zero-Shot) : Donner simplement les données du patient et demander : « A-t-il une insuffisance rénale ? »
- Résultat : L'étudiant a deviné au hasard (49 % de précision) mais affirmait tout de même être sûr à 85 %.
La fiche de triche (Zero-Shot + SHAP) : Donner à l'étudiant les données plus une liste des 5 chiffres les plus importants selon l'infirmière.
- Résultat : L'étudiant a toujours mal deviné (52 % de précision) et affirmait toujours être sûr à 85 %. Il regardait les bons chiffres, mais ne comprenait pas comment les utiliser.
Les exemples (Few-Shot) : Donner à l'étudiant les données plus quatre exemples de patients passés avec leurs diagnostics corrects.
- Résultat : L'étudiant s'est beaucoup amélioré (68 % de précision) et a affirmé être sûr à 93 %.
Le combo super (Few-Shot + SHAP) : Donner à l'étudiant les exemples et la liste des chiffres importants de l'infirmière.
- Résultat : L'étudiant est devenu très bon (75 % de précision) et a affirmé être sûr à 93 %.

Les quatre grandes découvertes

1. Le « thermomètre cassé » (La confiance est inutile)

La découverte la plus choquante est que le « score de confiance » de l'étudiant est un thermomètre cassé.

L'analogie : Imaginez un thermomètre qui affiche toujours « 37 °C », que vous soyez en bonne santé ou que vous fassiez une fièvre à 40 °C.
La réalité : Que l'étudiant ait donné la bonne ou la mauvaise réponse, que ce soit facile ou difficile, il a toujours affirmé être sûr à environ 85 % ou 93 %. Sa confiance était entièrement déterminée par la façon dont la question était posée, et non par la qualité de la réponse. Cela ne dit rien sur la validité de la prédiction.

2. L'effet d'« inverse de la difficulté » (Ils échouent là où l'expert est sûr)

Les chercheurs ont remarqué un schéma étrange :

Quand l'Infirmière était sûre à 99 % (parce que les données étaient très claires et spécifiques), l'Étudiant n'était correct qu'à 65 %.
Quand l'Infirmière était incertaine (parce que les données étaient confuses), l'Étudiant s'en est sorti aussi bien que l'infirmière (environ 74 % de précision).
L'analogie : L'étudiant est excellent en théorie médicale générale, mais très mauvais pour les schémas spécifiques et étranges des données de cet hôpital précis. L'étudiant brille lorsque les données sont floues et que les connaissances générales aident, mais échoue lorsque les données nécessitent des schémas appris et spécifiques.

3. Le « Combo Magique » (1 + 1 = 3)

Les chercheurs ont découvert que donner des exemples (Few-Shot) et donner la liste des chiffres importants de l'infirmière (SHAP) fonctionnait mieux ensemble que la somme de leurs parties.

L'analogie : Imaginez essayer d'apprendre à conduire.
- Les exemples seuls sont comme regarder une vidéo de quelqu'un qui conduit. Vous comprenez l'objectif, mais vous ne savez pas quelles pédales presser.
- La Liste seule est comme quelqu'un qui pointe les pédales en disant « Appuie sur celle-ci ». Vous savez ce qu'il faut toucher, mais pas pourquoi ni quand.
- Ensemble, vous comprenez enfin toute la voiture. Les chercheurs ont trouvé qu'en combinant ces deux méthodes, ils amélioraient le raisonnement de l'étudiant bien plus que par la simple addition de ces deux améliorations.

4. Le « Traducteur » (Corriger la confiance)

Puisque la propre confiance de l'étudiant est inutile, les chercheurs ont construit un petit « Traducteur » (un calibrateur).

Comment ça marche : Ce Traducteur regarde la différence entre ce que l'Étudiant pense être important et ce que l'Infirmière pense être important.
Le résultat : Si l'Étudiant et l'Infirmière ne sont pas d'accord sur ce qui est important, le Traducteur dit : « Hé, cette prédiction est risquée ». S'ils sont d'accord, il dit : « Ceci est probablement sûr ».
L'impact : Cela a remplacé la fausse confiance de l'étudiant par un score de fiabilité réel et spécifique au patient. Il n'avait pas besoin de regarder à l'intérieur du cerveau de l'étudiant ou de passer le test deux fois ; il suffisait de comparer le raisonnement des deux modèles.

La conclusion : Le problème du « démarrage à froid »

Le document conclut que mettre un LLM sur des données structurées (comme des feuilles de calcul de constantes vitales de patients) est comme un « démarrage à froid » (Cold Start).

L'étudiant possède la connaissance (il connaît la médecine).
Mais il manque de direction (il ne sait pas quels chiffres regarder).
Et il manque d'auto-conscience (il ne sait pas quand il devine).

Le document suggère que nous n'avons pas besoin de remplacer l'infirmière (XGBoost) qui est guidée par les données. Au lieu de cela, nous devrions utiliser l'infirmière pour guider l'étudiant (en lui montant quelles caractéristiques comptent) et pour calibrer l'étudiant (en nous disant quand son raisonnement dévie). Cela crée un système où l'étudiant apprend à être véritablement conscient de ses propres limites.

Résumé Technique : Détection des angles morts épistémiques via la divergence d'attribution inter-modèles

Énoncé du Problème

Bien que les grands modèles de langage (LLM) soient prometteurs pour la réponse à des questions médicales et la synthèse de notes, leur application aux données tabulaires cliniques structurées (ex. : dossiers de santé électroniques) reste sous-explorée concernant l'auto-conscience épistémique. Des recherches antérieures ont établi que les modèles basés sur des arbres (ex. : XGBoost) surpassent systématiquement les LLM sur les tâches de prédiction tabulaire, mais cet écart de performance a largement été traité comme une métrique agrégée monolithique (ex. : un AUROC plus faible) sans examiner la structure épistémique sous-jacente.

Le problème central abordé est de savoir si les LLM peuvent reconnaître les limites de leur propre connaissance sur des tâches structurées. Plus précisément, l'article examine si les LLM peuvent distinguer les cas où ils sont probablement corrects de ceux où ils sont incorrects, et si leurs signaux de confiance verbalisés sont des indicateurs fiables de la qualité de la prédiction en milieu clinique. Les auteurs cadrent cela comme un problème de « démarrage à froid » (cold start) : les LLM possèdent des connaissances médicales pertinentes mais manquent de la direction (l'attention sur les caractéristiques) et des mécanismes d'auto-évaluation nécessaires pour appliquer ces connaissances à des données structurées.

Méthodologie

Données et Tâche

L'étude utilise la base de données clinique MIMIC-IV pour reproduire une tâche de prédiction de l'insuffisance rénale aiguë (AKI).

Jeu de données : Une cohorte équilibrée de 10 000 rencontres (5 000 par classe) dérivée d'environ 209 000 admissions.
Caractéristiques (Features) : 321 caractéristiques incluant des signes vitaux, des données démographiques, des codes de diagnostic CCS et des valeurs de laboratoire discrétisées.
Séparation : Un split train-test 80/20 pour XGBoost ; un sous-ensemble de 15 % (n=300) du test set a été utilisé pour l'évaluation du LLM.
Baseline : Un classifieur XGBoost entraîné sur les 50 variables les plus influentes, atteignant un AUROC d'environ 0,85 et une précision d'environ 0,823 sur le sous-ensemble d'évaluation.

Configuration Expérimentale

Les auteurs ont évalué Qwen 2.5 7B Instruct (hébergé localement) à travers quatre conditions de prompting :

Zero-Shot (ZS) : Caractéristiques du patient sérialisées avec un prompt de prédiction.
ZS + SHAP : Prompt ZS augmenté des 5 principales caractéristiques SHAP, de leurs scores d'importance et de leurs impacts directionnels issus du modèle XGBoost.
Few-Shot (FS) : Prompt ZS avec quatre exemples étiquetés et équilibrés par classe.
FS + SHAP : Combinaison d'exemples few-shot et d'injection de caractéristiques SHAP.

Exigences de sortie : Pour chaque cas, le LLM devait générer une prédiction binaire, un score de confiance verbalisé (0–1) et une liste classée des 5 principales caractéristiques avec leurs directions de risque. Les sorties étaient imposées via un format JSON structuré.

Métriques et Analyse

Score de Désaccord d'Attribution (ADS) : Quantifie l'alignement entre les attributions SHAP de XGBoost et les classements de caractéristiques auto-rapportés par le LLM en utilisant la corrélation de rang de Kendall ( $\tau$ ). $ADS = 1 - \tau$ .
Calibration : Mesurée via l'Erreur de Calibration Attendue (ECE) et l'AUROC pour distinguer les prédictions correctes des incorrectes.
Calibrateur Inter-Modèles : Un modèle léger (Régression Logistique ou XGBoost) entraîné pour prédire la probabilité de justesse du LLM ( $P(\text{LLM correct})$ ) en utilisant des caractéristiques croisées (ADS, chevauchement de Jaccard, accord directionnel, différences de confiance, etc.).

Principaux Résultats

1. La confiance verbalisée du LLM est épistémiquement vacante

L'étude conclut que la confiance verbalisée du LLM est entièrement déterminée par le template du prompt, et non par la qualité de la prédiction.

Observation : Les scores de confiance sont restés quasi constants (0,856 pour le Zero-Shot ; 0,937 pour le Few-Shot) indépendamment du fait que l'exactitude soit de 49 % ou de 75,3 %.
Implication : Sur des données cliniques tabulaires, la confiance verbalisée ne porte aucune information sur la justesse. Elle suit le format du prompt plutôt que l'état épistémique, ce qui la rend inutile pour la prise de décision en aval.

2. L'effet d'Inversion de Difficulté

Il existe une relation contre-intuitive entre la difficulté des données et la performance du LLM par rapport à XGBoost.

Observation : Lorsque XGBoost est très confiant (>0,85) et presque toujours correct (99 % de précision), l'exactitude du LLM chute à 64,8 %. À l'inverse, lorsque XGBoost est modérément incertain (confiance 0,70–0,85), le LLM égale sa performance (73,8 % contre 73,1 %).
Implication : Les modèles présentent des modes de défaillance complémentaires. Le LLM peine avec les motifs de distribution spécifiques aux données appris par XGBoost, mais apporte une valeur réelle dans la « zone d'incertitude » de XGBoost, là où les connaissances médicales générales suffisent. Cependant, le LLM ne peut pas identifier ces zones lui-même.

3. Alignement d'Attribution Super-Additif

Les exemples few-shot et les preuves de caractéristiques dérivées de SHAP agissent comme des interventions orthogonales et super-additives.

Observation :
- Few-Shot : Améliore la compréhension de la tâche (cartographie des caractéristiques vers les prédictions) mais change à peine l'attention sur les caractéristiques (le chevauchement de Jaccard n'augmente que légèrement).
- Injection SHAP : Réoriente efficacement l'attention sur les caractéristiques (le chevauchement de Jaccard bondit à 0,658) mais entraîne une « adoption superficielle » (le LLM copie les attributions verbalement sans ajuster significativement les prédictions).
- Combiné (FS + SHAP) : L'effet combiné sur la réduction de l'ADS (réduction de 1,158) dépasse la somme des effets individuels (0,796). Cette combinaison atteint 75,3 % de précision et 0,378 d'ADS.
Implication : Résoudre le « démarrage à froid » nécessite à la fois des démonstrations de tâches (direction) et des preuves de modèles structurées (orientation).

4. Calibration Inter-Modèles via la Divergence d'Attribution

Les signaux de divergence d'attribution peuvent alimenter un système de calibration externe efficace.

Observation : Un calibrateur inter-modèles utilisant des caractéristiques de divergence d'attribution a réduit l'Erreur de Calibration Attendue (ECE) de 0,254 (LLM brut) à 0,080. Le calibrateur a atteint un AUROC de 0,71 pour prédire si le LLM serait correct.
Implication : Des estimations de fiabilité spécifiques au patient peuvent être générées sans accéder aux internes du LLM ni nécessiter d'inférences répétées, remplaçant la confiance constante et non informative par un score de fiabilité significatif.

Signification et Revendications

L'article présente ces résultats comme caractérisant un problème de démarrage à froid pour les LLM sur des données structurées. Le LLM possède des connaissances médicales latentes mais manque de mécanisme pour s'orienter dans l'espace des caractéristiques ou évaluer sa propre fiabilité.

Fondation Diagnostique : Ce travail établit un cadre diagnostique pour identifier les angles morts épistémiques (attention désalignée, auto-évaluation absente) plutôt que de simplement mesurer les écarts de performance.
Utilité Pratique : Il démontre que les modèles structurés existants (comme XGBoost) peuvent servir un double rôle dans les flux de travail cliniques : fournir une direction (via l'injection d'attributions) et des signaux de calibration (via la divergence inter-modèles) aux LLM.
Auto-conscience Épistémique : Les auteurs soutiennent que les LLM actuels manquent de véritable auto-conscience épistémique sur les tâches structurées. La voie proposée consiste à utiliser les cibles de calibration inter-modèles comme signaux de récompense pour l'apprentissage par renforcement (RL), permettant potentiellement d'enseigner aux LLM d'internaliser une incertitude calibrée à l'avenir.

L'étude est de portée modeste, évaluant un seul modèle (Qwen 2.5 7B) sur une seule tâche (AKI) avec un échantillon limité (n=300). Elle reconnaît les limites de l'attribution de caractéristiques auto-rapportée et le caractère préliminaire du calibrateur, positionnant ce travail comme une étape fondamentale vers une recherche plus large sur l'intelligence épistémique pour les données structurées.