Frequency-Stratified Benchmarking Reveals Strong Long-Tail Limitations of Large Language Models in Diagnosis of Monogenic Diseases

Résumé Technique : Évaluation par stratification de fréquence des LLM dans le diagnostic des maladies monogéniques

Énoncé du problème
La base de connaissances des maladies monogéniques (mendéliennes) présente une distribution prononcée en « longue traîne » : un petit nombre de gènes de maladies canoniques sont largement documentés dans la littérature biomédicale, tandis qu'un grand nombre de gènes rares, récemment caractérisés, sont faiblement rapportés. Bien que les modèles de langage de grande taille (LLM) tirent leur connaissance biomédicale de ces mêmes corpus textuels, il reste incertain comment cette structure de connaissance inégale impacte leur fiabilité diagnostique. Les cadres d'évaluation actuels reposent souvent sur des métriques de précision globale, qui peuvent masquer des défaillances systématiques sur les gènes à faible fréquence et à faible niveau de preuve. Cette étude répond à la nécessité de déterminer si les LLM présentent un biais diagnostique dépendant de la fréquence et s'ils peuvent servir de systèmes autonomes fiables pour le diagnostic moléculaire à travers tout le spectre des maladies monogéniques.

Méthodologie
Les auteurs ont construit MendelianBench-5K, un nouveau benchmark conçu pour évaluer la performance des LLM à travers le prisme de la fréquence de rapport dans la littérature.

• Source de données : Le benchmark est dérivé de l'Atlas PhenoGemini, une ressource de phénotypes-gènes au niveau du patient, sourcée par la littérature, contenant plus de 347 000 individus diagnostiqués moléculairement et 4 739 gènes causatifs.
• Stratification : Les auteurs ont défini la « fréquence de la littérature du gène » comme la proportion d'enregistrements de patients associés à un gène causal spécifique. Ils ont stratifié 5 000 cas diagnostiqués moléculairement en cinq niveaux (quintiles, Q1–Q5) basés sur cette fréquence, échantillonnant 1 000 cas de chaque niveau pour assurer une représentation équilibrée des gènes communs et de la longue traîne.
• Annotation : Les descriptions phénotypiques en texte libre ont été converties en termes de l'Ontologie du Phénotype Humain (HPO) via Doc2HPO.
• Évaluation : Neuf LLM de premier plan (incluant GPT-5.5, Gemini-3.1-pro-preview, Claude-opus-4.7 et des variantes de DeepSeek) ont été évalués sur une tâche de diagnostic phénotype-vers-gène en zero-shot. Les modèles ont été incités à classer les cinq gènes causaux les plus probables compte tenu du profil phénotypique d'un patient.
• Métriques : La performance a été mesurée par la précision Top-1, la précision Top-5 et le rang moyen inverse (MRR).
• Validation : Un sous-ensemble de remaining 500 cas a fait l'objet d'une revue manuelle par des médecins cliniciens pour vérifier la cohérence des données du benchmark avec la littérature source, confirmant un taux de support de 97 %.

Résultats Clés

1. Performance globale limitée : Même le modèle le plus performant (GPT-5.5) n'a atteint qu'une précision Top-1 de 18,56 % et une précision Top-5 de 33,78 %. Cela indique que, sans recherche externe ou preuve génétique structurée, les LLM actuels ne peuvent pas encore fonctionner comme des systèmes de diagnostic autonomes fiables pour les maladies monogéniques.
2. Forte tendance à la longue traîne : La précision diagnostique a montré une corrélation positive monotone avec la fréquence de la littérature du gène.
   • Précision Top-1 : Augmentation de 2,24 % dans le niveau de fréquence la plus basse (Q1) à 42,48 % dans le niveau de fréquence la plus haute (Q5) — une différence approximative de 19 fois.
   • Précision Top-5 : Passage de 6,92 % (Q1) à 66,10 % (Q5).
   • Cette tendance était constante pour les neuf modèles, avec des corrélations de Spearman entre le niveau de fréquence et la précision allant de 0,375 à 0,485.
3. Déclin temporel : La performance s'est dégradée de manière significative pour les cas publiés récemment. La précision Top-1 est passée de 28,47 % pour les cas publiés avant 2005 à 7,83 % pour les cas publiés entre 2020 et 2024.
4. Sensibilité de l'entrée phénotypique : La performance des modèles s'est améliorée en passant d'entrées à phénotype unique à 2–3 phénotypes, mais a plafonné ou décliné avec un nombre plus élevé de phénotypes (≥4), suggérant qu'un apport phénotypique excessif ou non curaté n'aide pas nécessairement au classement et peut introduire du bruit.
5. Schémas d'erreurs systématiques :
   • Échecs universels : 58,24 % des cas ont été classés comme « Difficiles » (0/9 modèles corrects), fortement enrichis en gènes à faible fréquence (54,98 % provenant de Q1–Q2).
   • Faux positifs : Lorsque les modèles se trompaient, ils prédisaient de manière disproportionnée des gènes « stars » bien connus et à haute fréquence (ex: MECP2, FMR1, POLG) plutôt que le gène rare correct. Les 20 premiers gènes faux-positifs appartenaient principalement aux 200 gènes les plus fréquents dans la littérature.

Principales Contributions

• MendelianBench-5K : L'introduction du premier benchmark stratifié par fréquence pour le diagnostic des maladies monogéniques, explicitement conçu pour exposer les limites de la longue traîne des modèles d'IA.
• Preuve du biais de connaissance-fréquence : L'étude fournit une preuve empirique que les erreurs de diagnostic des LLM ne sont pas aléatoires mais sont systématiquement structurées par le paysage de fréquence de la littérature biomédicale. Les modèles ont tendance à se rabattre sur des gènes familiers et à haute attention lorsqu'ils sont incertains, menant à une sous-reconnaissance des maladies rares.
• Cadre d'évaluation : Les auteurs démontrent que la précision globale est insuffisante pour évaluer l'IA médicale dans les domaines à longue traîne ; une évaluation stratifiée par fréquence est nécessaire pour révéler les défaillances systématiques sur les cas sous-représentés.

Signification et Revendications
L'article affirme que les LLM actuels présentent des limitations prononcées dans le diagnostic moléculaire des maladies monogéniques, spécifiquement leur incapacité à se généraliser aux gènes rares ou récemment caractérisés. Les auteurs soutiennent que la capacité diagnostique apparente de ces modèles est disproportionnellement concentrée dans les gènes enrichis par la littérature.

Par conséquent, l'étude affirme que :

1. Prudence clinique : Les LLM ne doivent pas être déployés comme des outils de diagnostic autonomes pour les maladies monogéniques sans intégration dans des flux de travail experts, l'interprétation des variantes génomiques et la recherche de preuves externes.
2. Standard de benchmarking : Les évaluations futures des LLM médicaux dans les domaines biomédicaux à longue traîne doivent adopter des benchmarks stratifiés par fréquence pour éviter de surestimer l'utilité clinique sur les cas communs tout en manquant des défaillances critiques sur les maladies rares.
3. Directions futures : Les auteurs suggèrent que des systèmes « agentiques », qui incorporent la recherche, la mémoire et la réflexion itérative (ex: DeepRare), pourraient être nécessaires pour surmonter les limites de la connaissance paramétrique statique et améliorer la performance sur les cas de longue traîne.

Les auteurs concluent que si les LLM montrent des promesses pour les conditions bien étudiées, leur performance décline substantiellement pour les maladies rares, nécessissant un passage vers un raisonnement diagnostique fondé sur les preuves et cliniquement responsable, plutôt que sur la dépendance aux associations mémorisées.