MedCalc-Bench Doesn't Measure What You Think: A Benchmark Audit and the Case for Open-Book Evaluation

Cet article remet en cause la pertinence du benchmark MedCalc-Bench en révélant des erreurs dans ses implémentations, en démontrant que l'accès aux spécifications des calculateurs (« open-book ») permet d'atteindre des performances supérieures à celles des systèmes à apprentissage par renforcement, et en concluant que ce benchmark évalue principalement la mémorisation de formules et la précision arithmétique plutôt que le raisonnement clinique.

L'essentiel

🩺 Le Problème : Un Examen de Mémoire, pas de Médecine

Imaginez que vous voulez tester si un étudiant en médecine est doué pour calculer des risques. Vous lui donnez un dossier patient et vous lui demandez de calculer un score (par exemple, le risque de maladie rénale).

Le problème avec le test actuel (MedCalc-Bench), c'est que vous lui avez interdit d'utiliser sa calculatrice. Vous lui avez dit : "Tu dois réciter la formule exacte de mémoire, faire les calculs à la main, et si tu fais une erreur de virgule, c'est zéro."

C'est comme demander à un chef cuisinier de faire un gâteau en lui interdisant d'utiliser la recette écrite ou une balance, et en l'obligeant à deviner exactement combien de grammes de sucre il faut.

Le résultat ? Les meilleurs intelligences artificielles (IA) actuelles échouent lamentablement (autour de 35 %). On pensait que c'était parce qu'elles n'avaient pas assez de "raisonnement médical".

🔍 L'Enquête : Trois Révélations Choc

L'auteur de l'article, Artus, a décidé de vérifier ce qui se passait vraiment. Il a fait trois découvertes majeures :

1. Le manuel d'instructions était rempli de fautes 📝

En vérifiant les "formules officielles" utilisées pour le test, il a trouvé plus de 20 erreurs.

• L'analogie : C'est comme si le professeur avait distribué un livre de mathématiques où le signe "plus" (+) était remplacé par un "moins" (-) dans 20 exercices sur 55.
• Conséquence : Même si l'IA avait raison, elle était notée fausse parce que la "réponse correcte" dans le test était elle-même erronée à cause de bugs informatiques.

2. La solution magique : "L'Examen à Livre Ouvert" 📖

L'auteur s'est dit : "Attends, dans la vraie vie, les médecins ne mémorisent pas les formules. Ils utilisent un outil."
Il a donc changé les règles du jeu : au lieu de demander à l'IA de réciter la formule, il lui a donné la fiche technique (la formule, les unités, les règles) directement dans la question. C'est ce qu'on appelle le "Open-Book" (livre ouvert).

• Le résultat : Soudain, les performances de l'IA ont explosé !
  • Avant (sans la fiche) : ~36 % de réussite.
  • Après (avec la fiche) : 85 % de réussite.
• La leçon : L'IA n'était pas "bête" en médecine. Elle était juste bloquée par l'interdiction d'utiliser ses outils. Elle sait très bien utiliser un calculateur, elle n'a juste pas besoin de le construire dans sa tête.

3. Le plafond de verre est très haut 🏗️

L'auteur a ensuite utilisé une IA ultra-puissante (GPT-5.2) sur les quelques cas restants où même avec la fiche, ça coince.

• Il a découvert que la plupart des erreurs restantes venaient soit de la fiche elle-même (qui avait des bugs), soit de questions floues dans le dossier patient.
• En corrigeant tout ça, on arrive à une réussite théorique de 97 %.
• Conclusion : Le test actuel ne mesure pas le "raisonnement clinique" (comprendre le patient), mais plutôt la "mémoire de formule" et la "précision des calculs".

💡 La Grande Idée : Changer de Jeu

L'auteur conclut que MedCalc-Bench est mal nommé. Ce n'est pas un test de "médecine", c'est un test de "gestion d'outils".

• L'analogie finale :
  Imaginez que vous testez la capacité d'un pilote à atterrir un avion.
  • L'ancien test : On lui enlève le manuel de vol, on lui cache les instruments, et on lui demande de calculer la trajectoire de tête. S'il rate, on dit qu'il est un mauvais pilote.
  • Le nouveau test (proposé) : On lui donne le manuel, les instruments et l'ordinateur de bord. On lui demande de lire les données, de sélectionner le bon outil, et de suivre la procédure.

🚀 En résumé

Ce papier nous dit : "Arrêtez de punir les IA pour ne pas être des encyclopédies humaines. Donnez-leur les outils qu'ils ont besoin pour travailler, comme le font les vrais médecins."

Si on change le test pour qu'il ressemble à la réalité (livre ouvert + outils), les IA deviennent excellentes. Le vrai défi pour le futur n'est pas de faire mémoriser des formules aux IA, mais de leur apprendre à extraire les bonnes informations d'un dossier médical complexe.

Et le plus beau ? L'auteur a fait toute cette étude (vérification de 55 formules, correction de bugs, tests sur des milliers de cas) presque seul, en utilisant intelligemment différentes IA pour se faire aider, prouvant que la recherche peut devenir plus rapide et plus accessible grâce à ces nouveaux outils.

Résumé technique

1. Problématique et Contexte

MedCalc-Bench est un benchmark largement utilisé pour évaluer les performances des grands modèles de langage (LLM) sur des tâches de calculs cliniques (ex: scores CKD-EPI, APACHE-II, MELD). L'objectif est de fournir un scénario clinique, d'identifier le calculateur pertinent, d'extraire les paramètres et de calculer le résultat.

Cependant, les résultats actuels sont décevants :

• Les scores en « prompting direct » plafonnent autour de 35 % sur la version vérifiée (Verified split).
• Les approches les plus avancées (Reinforcement Learning avec récompenses vérifiables, frameworks d'agents) atteignent environ 74 %.

L'hypothèse centrale de l'article : La difficulté du benchmark ne réside pas dans le raisonnement clinique, mais dans une contrainte artificielle. En pratique médicale, les médecins n'apprennent pas les formules par cœur ; ils utilisent des outils de calcul. Le benchmark actuel force le modèle à mémoriser des formules complexes et à exécuter des calculs arithmétiques multi-étapes avec une précision décimale stricte (tolérance ±5 %), ce qui est un test de mémoire et d'arithmétique plutôt que de raisonnement clinique.

2. Méthodologie

Les auteurs ont adopté une approche en trois volets pour auditer et réévaluer le benchmark :

A. Audit Systématique du Benchmark

Une revue manuelle et assistée par IA des 55 implémentations de calculatrices du dépôt MedCalc-Bench a été réalisée.

• Action : Comparaison des implémentations avec les sources cliniques primaires (publications originales, documentation MDCalc).
• Résultat : Identification et correction de plus de 20 erreurs, incluant :
  • Des coefficients de formules incorrects (ex: CKD-EPI, MELD-Na).
  • Des critères de notation manquants (ex: SIRS, SOFA).
  • Des fautes de frappe dans les clés de données (ex: liver_diease au lieu de liver_disease) qui annulent silencieusement des points.
  • Des bugs d'exécution et des chemins de fichiers brisés.
  • Ces erreurs affectaient directement les « ground-truth » (références correctes) du jeu de données.

B. Intervention par « Open-Book Prompting »

Au lieu de demander au modèle de mémoriser la formule, les auteurs proposent d'ajouter la spécification complète du calculateur (formule, définitions des paramètres, règles de notation) directement dans le prompt.

• Configuration : Pas de fine-tuning, pas d'augmentation par récupération (RAG), et exécution de code optionnelle.
• Tâche du modèle : Identifier le bon calculateur, extraire les paramètres du scénario clinique, appliquer la formule fournie et retourner le résultat.

C. Analyse de la Limite Supérieure (Upper Bound)

Pour déterminer la part d'erreurs due au modèle versus celle due au jeu de données, les auteurs ont fait appel à GPT-5.2-Thinking (avec un effort de raisonnement élevé et des outils de recherche) sur les cas restants où un modèle intermédiaire (GLM-4.6V) échouait encore avec le prompt « open-book ».

3. Contributions Clés

1. Audit et Correction du Dataset : Documentation et correction de plus de 20 bugs critiques dans les implémentations officielles, affectant les étiquettes de vérité terrain.
2. Preuve de l'efficacité du « Open-Book » : Démonstration que fournir la spécification du calculateur élimine la barrière de la mémorisation, permettant à des modèles standards de surpasser les systèmes les plus avancés (RL, agents).
3. Redéfinition de la Métrique : Établissement d'une limite supérieure de performance (95–97 %) et argumentation selon laquelle le benchmark actuel mesure la mémorisation de formules et la précision arithmétique, et non le raisonnement clinique.

4. Résultats Expérimentaux

Les expériences ont été menées sur le jeu de données MedCalc-Bench Verified (1 100 lignes).

Modèle	Condition	Précision
GLM-4.6V	Baseline (Vanilla)	51,9 %
GLM-4.7	Baseline (Vanilla)	36,0 %
GLM-4.6V	Open-Book	81,5 %
GLM-4.7	Open-Book	85,5 %
GLM-4.7	Open-Book + Guidance	84,0 %

Comparaison avec l'état de l'art :

• L'approche « Open-Book » avec GLM-4.7 atteint 85,5 %, surpassant le meilleur résultat publié par RL (MedCalc-R1 à 74 %) et les systèmes d'agents avec exécution de code (Claude Opus 4.5 à 61,3 %).
• L'ajout de « guidance structurée » (chain-of-thought) n'apporte qu'un gain marginal (+0,5 %), prouvant que la spécification de la formule est le facteur déterminant.

Analyse des erreurs résiduelles (Upper Bound) :
Sur les 198 erreurs restantes après l'intervention « Open-Book » :

• GPT-5.2-Thinking a résolu 140 erreurs (70,7 %).
• L'audit manuel des erreurs restantes a attribué 19 erreurs à des problèmes de vérité terrain (mappage incorrect, conflits d'unités) et 10 à des ambiguïtés inhérentes au scénario.
• Estimation de la limite supérieure :
  • Conservatrice : 94,7 %
  • Optimiste : 97,4 %

5. Signification et Conclusion

Décomposition de la difficulté :
Les auteurs décomposent la difficulté du benchmark en trois composantes :

1. Rappel de la formule (~30 points) : Éliminé par le prompt « Open-Book ». C'est le facteur dominant actuel.
2. Précision arithmétique (~5-13 points) : Lié à la capacité du modèle à calculer des logarithmes/exponentielles.
3. Extraction de paramètres (~3-5 points) : Le cœur du raisonnement clinique (extraire les bonnes valeurs d'un texte complexe).

Recommandations :

• Le MedCalc-Bench actuel est un test de mémorisation de formules et d'arithmétique, pas de raisonnement clinique.
• Il devrait être repositionné comme un benchmark d'utilisation d'outils (Tool-Use).
• La configuration par défaut devrait être « Open-Book », évaluant séparément l'extraction des paramètres et le résultat final, reflétant ainsi la pratique médicale réelle où les médecins utilisent des calculateurs validés.

Impact sur la recherche :
L'article démontre également qu'un workflow de recherche assisté par IA (utilisant des modèles intermédiaires pour l'évaluation massive et des modèles de pointe pour l'audit et le raisonnement) permet à un seul chercheur de réaliser des audits de benchmark à grande échelle en quelques semaines, une tâche qui aurait pris des mois manuellement.

En résumé, la difficulté perçue de MedCalc-Bench est un artefact de sa conception. En fournissant les outils de calcul (formules) au modèle, les performances s'envolent, révélant que la véritable compétence clinique (l'extraction d'information) est beaucoup plus accessible que ne le suggèrent les scores actuels.