Measuring Competency, Not Performance: Item-Aware Evaluation Across Medical Benchmarks

1. Problématique : Les limites de l'évaluation par la précision (Accuracy)

Les auteurs identifient trois défis fondamentaux liés à l'évaluation actuelle des Grands Modèles de Langage (LLM) dans le domaine médical, basée sur la précision agrégée (pourcentage de bonnes réponses) :

1. Équivalence fausse des questions : La précision suppose que toutes les questions ont la même valeur informative. Or, un modèle répondant correctement à 20 questions difficiles n'a pas la même compétence qu'un modèle répondant à 20 questions faciles. La précision ne distingue pas ces cas.
2. Incomparabilité des scores : Sans échelle de mesure unifiée, un score de 70 % sur un benchmark (ex: MedQA) n'est pas comparable à un score de 70 % sur un autre (ex: MedXpertQA), car la difficulté des items varie.
3. Absence de validité de construit : La précision ne permet pas de vérifier si les questions regroupées sous un même thème mesurent réellement une seule compétence sous-jacente cohérente. Cela risque de mélanger des compétences distinctes dans un score unique.

L'objectif est de passer d'une mesure de performance (combien de questions sont justes ?) à une mesure de compétence (que sait réellement le modèle et où échoue-t-il ?).

---

2. Méthodologie : Le cadre MEDIRT

Pour résoudre ces problèmes, les auteurs introduisent MEDIRT, un cadre d'évaluation psychométrique fondé sur la Théorie de la Réponse à l'Élément (Item Response Theory - IRT). Le processus se déroule en trois étapes principales :

A. Construction du Benchmark (Aligné USMLE)

• Données : Intégration de 7 906 questions provenant de trois benchmarks existants (MedQA, MedMCQA, MedXpertQA).
• Stratification : Les questions sont classées en 11 thèmes médicaux alignés sur les spécifications de l'examen USMLE Step 1 (ex: Cardiologie, Neurologie, Sciences Sociales).
• Échantillonnage : Création d'un jeu de données équilibré de 1 100 items (100 questions par thème).

B. Validation de l'Intégrité du Benchmark (EFA)

Avant toute modélisation, une Analyse Factorielle Exploratoire (EFA) est réalisée pour chaque thème :

• Objectif : Vérifier l'unidimensionnalité. Chaque thème doit mesurer une seule compétence latente cohérente.
• Filtrage : Les items ayant une charge factorielle < 0,30 ou une charge négative sont éliminés.
• Résultat : Seuls 645 items (sur 1 100) sont conservés après filtrage, assurant que chaque score de thème reflète une construction latente valide et non un mélange hétérogène de compétences.

C. Modélisation IRT (2PL)

• Approche : Au lieu d'un modèle multidimensionnel complexe, le cadre utilise 11 modèles IRT à deux paramètres (2PL) indépendants (un par thème).
• Paramètres estimés :
  • $\theta$ (Capacité latente) : La compétence du modèle sur un thème donné.
  • $b$ (Difficulté) : La difficulté intrinsèque de la question.
  • $a$ (Discrimination) : La capacité de la question à distinguer les modèles forts des faibles.
• Avantage : Cela permet de découpler la compétence du modèle des caractéristiques des questions, offrant une échelle continue et comparable.

D. Cohorte d'Évaluation

• Modèles : 71 LLMs diversifiés (propriétaires et open-source, tailles variant de 3B à >400B paramètres) évalués via une API standardisée (OpenRouter).
• Protocole : Inférence en "zero-shot" sur des QCM, avec des paramètres stricts pour garantir l'équité.

---

3. Contributions Clés

1. Méthodologie MEDIRT : Introduction d'une méthode d'évaluation par thème basée sur l'IRT, intégrant une validation de l'intégrité du benchmark via l'EFA.
2. Données Prospectives : Collecte de données de réponse fraîches sur 71 modèles, évitant les biais des données archivistiques utilisées dans les travaux précédents.
3. Validation Rigoureuse :
   • Interne : Prédiction des réponses sur des items non vus avec une précision de 83,3 %.
   • Externe : Comparaison des classements IRT avec 10 benchmarks externes indépendants (préférences humaines, tâches cliniques holistiques, sécurité, etc.).
4. Découvertes Empiriques : Identification de profils de réponse hétérogènes et de "compétences en pointes" (spiky performance) masquées par les classements agrégés.

---

4. Résultats Principaux

A. Supériorité de l'IRT sur la Précision

• Validation Interne : Le modèle IRT (sur les items filtrés) prédit les réponses sur des items tenus en réserve avec 83,3 % de précision, contre 81,2 % pour le modèle sur le jeu de données brut. Cela confirme que le filtrage EFA améliore la stabilité de la mesure.
• Validation Externe : Sur 6 benchmarks externes présentant une corrélation statistique significative, les classements basés sur l'IRT surpassent ceux basés sur la précision (4 victoires, 0 défaite), avec une variance 18 % plus faible.
• Spécificité du Construct : L'IRT corrèle fortement avec les tâches nécessitant un raisonnement clinique (préférences d'experts, sécurité), mais faiblement avec des tâches orthogonales comme la synthèse de notes, prouvant qu'elle mesure bien la compétence médicale et non juste la capacité linguistique générale.

B. Profils de Compétence "En Pointes" (Spiky)

L'analyse par thème révèle qu'aucun modèle ne domine uniformément sur les 11 spécialités.

• Exemple : GPT-5 excelle globalement, mais Kimi-k2 (classé 12e au global) surpasse GPT-5 d'environ un écart-type dans le domaine des Compétences de Communication, tout en échouant lamentablement en Systèmes Respiratoires/Rénaux.
• Conclusion : Les classements globaux masquent des expertises de domaine critiques. Un modèle "moyen" peut être le meilleur choix pour une tâche spécifique.

C. Profils de Réponse Divergents (DSR vs DIR)

L'analyse des taux de réussite par niveau de difficulté révèle deux profils distincts :

1. Réponse Sensible à la Difficulté (DSR) : La précision diminue de manière monotone à mesure que la difficulté augmente (comportement attendu).
2. Réponse Insensible à la Difficulté (DIR) : Certains modèles (ex: codellama-7b) montrent des inversions étranges (ex: mieux répondre à des questions moyennes que très faciles, ou réussir des questions très difficiles par hasard). Ce comportement suggère une sensibilité aux formats de surface plutôt qu'à la profondeur des connaissances, un risque de déploiement que la précision agrégée ne détecte pas.

---

5. Signification et Implications

• Changement de Paradigme : MEDIRT démontre que l'évaluation des LLMs en médecine doit passer d'un simple classement (ranking) à un outil diagnostique.
• Sécurité et Déploiement : La détection des modèles "DIR" (insensibles à la difficulté) est cruciale pour la sécurité clinique, car ces modèles peuvent échouer de manière imprévisible malgré un bon score global.
• Validité des Benchmarks : L'étape de validation EFA est essentielle ; sans elle, les scores de compétences peuvent être biaisés par la mesure de compétences hétérogènes.
• Généralisation : Bien que centré sur la médecine, ce cadre est applicable à tout domaine à haut risque où l'intégrité des benchmarks doit être validée et où les items varient significativement en difficulté et en pouvoir discriminant.

En résumé, MEDIRT offre une fondation plus valide et stable pour évaluer les LLMs en médecine, en révélant non seulement qui est le meilleur, mais ce qu'ils savent exactement et comment ils échouent.