🤖 machine learning

Counterfactual Evaluation Reveals Hidden Capability Profiles in Clinical LLMs and Agents

Cet article introduit le Causal Sensitivity Score (CSS), une métrique interventionnelle qui révèle des écarts significatifs entre la performance des modèles d'IA clinique sur les bancs d'essai standard basés sur la couverture et leur réactivité réelle face aux changements critiques dans les données des patients, exposant ainsi des profils de capacités cachés et des angles morts de sécurité universels que les méthodes d'évaluation traditionnelles ne parviennent pas à détecter.

Auteurs originaux : Matt Turk

Publié 2026-06-01

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Matt Turk

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous engagiez une équipe de conseillers médicaux (des modèles d'IA) pour aider à décider du meilleur traitement pour les patients atteints de cancer. Traditionnellement, nous testions ces conseillers en leur donnant le dossier d'un patient et en vérifiant si leur recommandation finale correspondait à ce qu'un panel d'experts humains dirait. Si le conseil semble correct, ils reçoivent une bonne note.

Cet article soutient que ce système de notation traditionnel revient à juger un chef uniquement par le goût du plat final, sans jamais lui demander : « Avez-vous réellement goûté les ingrédients, ou avez-vous simplement mémorisé la recette et servi le même plat quoi qu'il arrive ? »

Voici la décomposition des conclusions de l'article en utilisant des analogies simples :

1. Le problème : Le piège du « Ressemble à l'original »

Les auteurs ont découvert que deux systèmes d'IA peuvent obtenir des scores presque identiques aux tests standards, et pourtant se comporter de manière complètement différente lorsque les faits changent.

Le scénario : Un patient possède un marqueur spécifique sur ses cellules cancéreuses. L'IA suggère un médicament.
Le rebondissement : Maintenant, imaginez que nous modifiions secrètement le dossier pour dire que le patient n'a plus ce marqueur.
Le résultat : Une IA « intelligente » devrait changer sa recommandation de médicament. Une IA « stupide » (mais chanceuse) pourrait simplement ignorer le changement et suggérer le même médicament quand même.
La faille : Les tests standards (appelés CMS dans l'article) ne vérifient que si la réponse finale correspond aux experts. Ils ne détectent pas l'IA qui est juste « bloquée » sur une seule réponse. C'est comme un étudiant qui a mémorisé le corrigé ; il obtient un « A » à l'examen, mais si vous modifiez légèrement la question, il échoue parce qu'il ne comprend pas la logique.

2. La solution : Le « Causal Sensitivity Score » (CSS)

Pour corriger cela, les auteurs ont créé un nouveau test appelé le Causal Sensitivity Score (CSS).

L'analogie : Considérez cela comme un jeu de « jeu des différences » pour les dossiers médicaux. Les chercheurs prennent un dossier de patient et effectuent de petits changements planifiés (comme basculer l'interrupteur de « chirurgie effectuée » à « chirurgie non effectuée », ou supprimer un antécédent médicamenteux spécifique).
Le test : Ils demandent à l'IA : « Maintenant que j'ai changé ce fait, avez-vous changé votre recommandation ? »
Le score :
- 1.0 : Vous avez changé d'avis correctement (Super !).
- 0.5 : Vous avez remarqué le changement mais n'avez pas changé d'avis (Correct).
- 0.0 : Vous avez ignoré le changement complètement (Mauvais).

3. La grande surprise : Le classement s'est inversé

Les auteurs ont testé six des modèles d'IA les plus intelligents disponibles. Lorsqu'ils ont utilisé l'ancien test (CMS), les modèles étaient classés dans un certain ordre. Lorsqu'ils ont utilisé le nouveau test (CSS), les classements se sont complètement inversés.

Le modèle qui était classé dernier par l'ancien test est devenu le gagnant par le nouveau test.
Le modèle qui était classé premier par l'ancien test est tombé à la quatrième place.
La leçon à retenir : L'IA considérée comme la « meilleure » selon les anciennes normes était en fait la pire pour réagir aux nouvelles informations.

4. L'angle mort universel : Le bug de la « Chirurgie »

L'article a découvert un type de changement spécifique auquel chaque modèle d'IA a échoué, peu importe son intelligence.

Le scénario : Changer si un patient a subi une chirurgie ou non.
L'échec : Quand le dossier indiquait « Le patient a subi une chirurgie », l'IA suggérait un traitement. Quand le fichier était modifié pour dire « Le patient n'a PAS subi de chirurgie », l'IA suggérait souvent le même traitement exact.
Pourquoi c'est important : En médecine réelle, savoir si un patient a subi une chirurgie est crucial. Si une IA ignore cela, c'est un risque pour la sécurité. L'ancien test (CMS) n'a jamais détecté cela car la réponse de l'IA semblait toujours être une opinion médicale « valide », même si elle ignorait un fait critique.

5. L'expérience de « l'utilisation d'outils »

Les chercheurs ont également testé ces IA lorsqu'elles étaient autorisées à utiliser des outils (comme un moteur de recherche pour consulter les dossiers des patients) au lieu de simplement lire un fichier statique.

Le résultat : Pour la plupart des modèles, l'utilisation d'outils les a aidés à obtenir de meilleurs scores. Ils pouvaient trouver la nouvelle information et mettre à jour leurs conseils.
L'exception : Un modèle spécifique (gpt-5.4) a utilisé les outils aussi bien que les autres — il a trouvé la bonne information — mais n'a quand même pas changé sa recommandation.
La métaphore : C'est comme un détective qui trouve l'arme du crime (la preuve) mais qui continue d'insister sur l'innocence du suspect. Cela suggère que le problème n'est pas que l'IA est incapable de trouver l'info ; c'est que son cerveau est structurellement incapable de mettre à jour sa conclusion basée sur cette info.

Résumé

Cet article introduit une nouvelle façon de tester les IA médicales qui vérifie si elles sont réellement en train de réfléchir ou simplement de répéter.

Ancienne méthode : Avez-vous donné la bonne réponse ? (Oui/Non)
Nouvelle méthode (CSS) : Si je change les faits, changez-vous votre réponse ? (Oui/Non)

L'étude montre que les modèles que nous pensions être les meilleurs pourraient en fait être les plus rigides, et que tous les modèles de haut niveau actuels présentent un angle mort dangereux concernant le statut de la chirurgie. Les auteurs suggèrent que nous avons besoin de ce nouveau test de « réactivité » pour garantir que les agents d'IA sont réellement sûrs et fiables avant de les laisser aider les médecins.

Résumé technique : L'évaluation contrefactuelle révèle des profils de capacités cachés dans les LLM et les agents cliniques

Énoncé du problème

Les paradigmes d'évaluation actuels pour les grands modèles de langage (LLM) et les agents cliniques reposent lourdement sur des métriques de couverture, telles que la similitude de chaînes ou les rubriques de type « LLM-en-tant que juge » qui comparent les sorties à des comportements de référence. Ces métriques demandent : « La sortie semble-t-elle correcte ? », mais ne parviennent pas à répondre à : « Le modèle met-il à jour sa sortie pour les bonnes raisons ? ».

Cette limitation est critique dans les contextes cliniques où deux systèmes peuvent obtenir des scores identiques sur les métriques de couverture tout en se comportant radicalement différemment sous des changements d'entrées patients. Par exemple, une IA en oncologie pourrait proposer un traitement standard (ex. : FOLFIRINOX) pour un cas de cancer du pancréas, qu'il s'agisse d'un patient naïf de tout traitement ou d'un patient en échec de thérapies antérieures. Bien que les métriques de couverture (comme le Consensus Match Score, CMS) puissent récompenser cette cohérence, elles ne peuvent pas détecter un manque de réactivité causale. Ce problème est exacerbé chez les agents utilisant des outils, qui peuvent récupérer des informations correctes via des appels d'outils mais générer des recommandations qui ignorent ces mêmes informations.

Méthodologie

Les auteurs introduisent le Causal Sensitivity Score (CSS), une métrique interventionnelle pré-enregistrée conçue pour mesurer la réactivité comportementale d'un modèle aux changements cliniquement significatifs des données d'entrée.

1. Catalogue d'interventions pré-enregistré

L'étude utilise un catalogue de 12 interventions réparties en cinq familles cliniquement motivées, spécifiées sous format YAML avant l'évaluation pour éviter le biais de sélection post-hoc :

Famille A (Inversion de biomarqueur) : Remplacement du statut pour HER2, ER ou PD-L1.
Famille B (Traitement antérieur) : Injection d'un historique de progression sur une thérapie de ligne antérieure.
Famille C (Suppression de biomarqueur) : Suppression des mentions de biomarqueurs spécifiques.
Famille D (Statut de la chirurgie) : Basculement de l'historique de résection (ex. : réséqué vs non réséqué).
Famille E (Perturbation du stade) : Changement du stade de la maladie.

2. Mécanisme de notation

Pour chaque tuple modèle/cas/intervention, le système génère une recommandation de base et une recommandation intervenue. Un LLM juge (par défaut gpt-5.4, avec claude-opus-4-7 utilisé lorsque gpt-5.4 est le sujet pour éviter le biais d'auto-préférence) évalue si la recommandation se met à jour dans la bonne direction pré-enregistrée.

Score : {0.0, 0.5, 1.0} correspondant à (aucun changement / reconnu mais inchangé / mis à jour correctement).
Métrique : Le CSS est la moyenne des scores sur tous les tuples, calculée de manière agrégée et par famille d'intervention.

3. Configuration expérimentale

Cohorte : 224 cas de comités de tumeurs oncologiques annotés par des experts avec des recommandations de traitement de vérité terrain.
Modèles : Six modèles de pointe provenant de trois laboratoires (OpenAI, Anthropic, xAI) évalués dans deux configurations :
1. Inférence LLM en un seul passage (single-shot) : Prompt direct et réponse.
2. Agent utilisant des outils : Un agent de type ReAct utilisant un outil read_chart_section pour récupérer des informations, où les interventions mutent les données sous-jacentes récupérées par l'outil.
Base de référence : Le Consensus Match Score (CMS), une métrique de rappel pondérée mesurant le chevauchement avec le consensus des experts.

Résultats clés

1. Inversion de rang entre les métriques

L'étude a trouvé un classement presque opposé des modèles entre le CMS (couverture) et le CSS (réactivité).

Corrélation : Spearman $\rho = -0.49$ (bien que sous-dimensionnée en raison de $n=6$ ).
Échanges de rangs : Les six modèles ont changé de rang. Le modèle classé dernier sur le CMS (grok-4.20-reasoning) a été classé premier sur le CSS. Inversement, le meilleur modèle du CMS (gpt-5) est tombé quatrième sur le CSS.
Échec spécifique : gpt-5.4 s'est classé 4e sur le CMS mais dernier (6e) sur le CSS.

2. Angle mort de sécurité universel (Famille D)

Une découverte critique a été un échec universel de tous les modèles de pointe concernant les interventions sur le statut de la chirurgie (Famille D).

Performance : Tous les modèles ont obtenu $\le 17.2\%$ sur le CSS pour cette famille. Le meilleur performeur (grok-4.20) a obtenu 17.2%, tandis que le pire (gpt-5.4) a obtenu 3.9%.
Implication : Aucun des modèles n'a mis à jour de manière fiable les recommandations de traitement lorsque le statut de résection du patient changeait, un signal de sécurité cliniquement critique que le CMS n'a pas réussi à exposer.

3. Transfert d'agent et réactivité structurelle

Lorsqu'ils sont évalués comme agents utilisant des outils sur un sous-ensemble de cas de la Famille D :

Amélioration : L'utilisation d'outils a augmenté le CSS pour cinq des six modèles (gains de +2.5 à +20.3 points de pourcentage).
L'anomalie gpt-5.4 : gpt-5.4 est resté inchangé (0.050 $\to$ 0.050) malgré la récupération des mêmes sections de dossier que les modèles réactifs. Cela suggère un déficit de réactivité structurelle plutôt qu'un échec d'accès à l'information ; le modèle récupère les données mais échoue à les intégrer dans le processus de raisonnement.

4. Validation

Réplication par juge croisé : L'utilisation de claude-opus-4-7 comme juge uniforme a préservé l'ordre des rangs ( $\rho = +1.00$ ), confirmant que les résultats n'étaient pas des artefacts du biais du juge.
Validation humaine : Trois professionnels de santé ont validé un sous-ensemble de 100 tuples. Bien que l'accord par cas soit modéré, les taux d'échec agrégés pour la Famille D étaient proches entre les juges LLM (0.10) et les humains (0.09).

Signification et affirmations

L'article affirme que le CSS sert de complément nécessaire à l'évaluation basée sur la couverture pour l'IA clinique. Ses principales contributions sont :

Révélation de profils cachés : Le CSS dévoile des profils de capacités (ex. : sensibilité au statut de la chirurgie vs inversions de biomarqueurs) que les métriques de couverture agrégées occultent.
Détection de la sécurité : Il identifie des angles morts de sécurité universels (spécifiquement concernant le statut de la chirurgie) que les métriques standards manquent car elles ne testent pas le changement de comportement sous des contrefactuels.
Évaluation des agents : Le CSS se transfère directement aux agents utilisant des outils, distinguant les modèles qui échouent par manque d'accès à l'information de ceux présentant une incapacité structurelle à mettre à jour leur raisonnement basé sur les données récupérées.
Utilité future : Les auteurs proposent le CSS comme un candidat potentiel de « signal de récompense dense » pour le futur apprentissage par renforcement (RL) agentique, allant au-delà de la simple correspondance de sortie statique vers une réactivité dynamique.

Les auteurs restent modestes quant à la généralisabilité des découvertes spécifiques à tous les domaines médicaux, notant que les résultats sont spécifiques aux cas de comités de tumeurs en oncologie et que la petite taille de l'échantillon ( $n=6$ modèles) limite la puissance statistique de leurs affirmations de corrélation de rang. Cependant, ils affirment que la méthodologie des métriques interventionnelles pré-enregistrées est robuste et essentielle pour évaluer les agents d'IA clinique.