💻 computer science

Comparative Performance of General-Purpose Large Language Models and a Specialized Clinical AI Tool on OKAP-Style Ophthalmology Questions

Cette étude évalue cinq grands modèles de langage sur des questions d'ophtalmologie de type OKAP, révélant que les modèles polyvalents, particulièrement Gemini-Pro-3, ont surpassé l'outil d'IA clinique spécialisé OpenEvidence en termes de précision et de calibration, tout en mettant en évidence une hétérogénéité de performance significative et des échecs de raisonnement partagés entre tous les systèmes.

Auteurs originaux : Alon Moore Galindo, Amit Ginsberg, Razan Saadi, Tomer Kerman, David Schwartzman, Anat Loewenstein, Igal Leibovitch

Publié 2026-07-08

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Alon Moore Galindo, Amit Ginsberg, Razan Saadi, Tomer Kerman, David Schwartzman, Anat Loewenstein, Igal Leibovitch

Article original sous licence CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez un examen médical de haut niveau pour les ophtalmologistes, connu sous le nom d'OKAP. Maintenant, imaginez cinq différents programmes informatiques « super intelligents » en train de passer ce test. Le but de cette étude était de voir quel programme informatique est le meilleur pour répondre à ces questions complexes d'ophtalmologie et, ce qui est tout aussi important, lequel sait quand il pourrait se tromper.

Voici le compte rendu de ce qui s'est passé, en utilisant des analogies de la vie quotidienne :

Les Contestants

Les chercheurs ont aligné cinq différents « étudiants » IA :

OpenEvidence : Un étudiant spécialisé qui n'étudie que les manuels médicaux et possède une ligne directe avec les célèbres revues médicales. Considérez cela comme un bibliothécaire médical qui a mémorisé la bibliothèque, mais qui n'a pas de cerveau général pour tout le reste.
Gemini-Pro-3, Claude-Opus-4.6, ChatGPT-5.4-Pro et DeepSeek-v3.2 : Ce sont des étudiants « à usage général ». Ils lisent de tout, des recettes de cuisine aux articles de physique. Considérez-les comme des polymathes — des personnes qui savent un peu de tout.

Le Test

Le test consistait en 659 questions à choix multiples sur la santé oculaire. Ce n'étaient pas de simples questions de culture générale ; elles allaient de faits simples (comme « Quel est le nom de cette partie de l'œil ? ») à des scénarios complexes nécessant un raisonnement profond (comme « Si un patient présente le symptôme X et l'antécédent Y, quel est le meilleur traitement ? »).

Les Résultats : Qui a Gagné ?

Les résultats ont surpris certains experts :

Le Champion : Gemini-Pro-3 (l'étudiant à usage général) a obtenu le score le plus élevé, répondant correctement à 95,8 % des questions. Il était si bon qu'il a battu tous les autres par une marge significative.
Le Vice-Champion : Claude-Opus-4.6 (un autre étudiant à usage général) est arrivé en deuxième position.
Le Spécialiste : OpenEvidence (le bibliothécaire médical) est arrivé en troisième position. Il a très bien réussi (88 %), mais il n'a pas battu les étudiants à usage général. En fait, les étudiants généralistes ont surpassé le spécialiste.
Le Reste : ChatGPT et DeepSeek ont suivi, DeepSeek obtenant le score le plus bas (73,7 %).

La Grande Conclusion : Le fait d'avoir un outil conçu spécifiquement pour la médecine ne garantissait pas qu'il serait le plus intelligent pour répondre aux questions médicales. L'IA à usage général était en fait meilleure pour ce test spécifique.

Le Test de « Confiance »

Les chercheurs ont également demandé à l'IA : « À quel point êtes-vous sûr que votre réponse est correcte ? » (Sur une échelle de 0 à 100). C'est comme demander à un étudiant de lever la main s'il est sûr de lui à 100 %.

Le Meilleur Étudiant « Auto-conscient » : Gemini-Pro-3 a été le plus honnête. Quand il disait être confiant, il avait généralement raison. Sa confiance correspondait parfaitement à sa performance réelle.
L'« Excès de Confiance » vs la « Sous-Confiance » : Certains autres modèles étaient bons pour savoir quand ils avaient raison (discrimination), mais pas aussi bons pour faire correspondre leur niveau de confiance à leur précision réelle (calibration).
Le Signal d'Alarme : Un modèle, DeepSeek, était terrible à ce sujet. Il affirmait souvent être confiant alors qu'il avait tort, ou incertain alors qu'il avait raison. Cela est dangereux car si un médecin fait confiance à une réponse confiante mais erronée, cela peut conduire à des erreurs.

Où ont-ils tous échoué ?

Les chercheurs ont examiné les 9 questions que chaque IA a ratées. Ils ont cherché à comprendre pourquoi.

Ce qu'ils ont compris : Ils comprenaient les mots et le sujet de base.
Où ils ont échoué : Ils ont échoué au niveau du raisonnement complexe et de la vérification de leurs sources.
- Analogie : Imaginez un étudiant qui peut lire une question parfaitement, mais qui se perd lorsqu'il doit connecter trois faits différents pour résoudre un puzzle. Ou encore, ils pourraient deviner une réponse sans réellement vérifier si le livre de règles la soutient.
- L'IA a le plus eu de mal avec les questions qui nécessitaient des « étapes de réflexion » plutôt que de simplement se souvenir d'un fait.

Les Limites (Les Petites Lettres)

Les auteurs ont pris soin de préciser ce que cette étude n'a pas prouvé :

Pas d'Images : Le test n'était que textuel. Dans les soins oculaires réels, les médecins regardent des photos d'yeux. Aucune de ces IA n'a été testée sur l'examen d'images lors de cette étude.
Pas de Vrais Patients : Il s'agissait de questions d'examen, pas de vrais patients avec des antécédents réels, complexes et désordonnés.
Un Test Unique : L'IA a passé le test une seule fois. Si vous lui posiez la question à nouveau, elle pourrait donner une réponse différente.

Résumé

En termes simples : L'IA à usage général bat actuellement l'IA médicale spécialisée pour répondre aux questions d'examen d'ophtalmologie. Cependant, l'IA éprouve toujours des difficultés avec les tâches de raisonnement les plus complexes et les plus ardues. De plus, le fait qu'une IA obtienne un score élevé ne signifie pas qu'elle peut être utilisée aveuglément ; vous devez vérifier si elle sait quand elle est incertaine. L'étude suggère que, pour l'instant, nous devrions être prudents quant à l'utilisation de ces outils pour des décisions médicales réelles jusqu'à ce que nous en sachions plus sur la façon dont ils gèrent la complexité du monde réel.

Résumé technique : Performance comparative des LLM à usage général et de l'IA clinique spécialisée sur des questions d'ophtalmologie de type OKAP

Énoncé du problème
Bien que les modèles de langage de grande taille (LLM) soient de plus en plus intégrés dans les soins de santé, il existe une lacune critique dans la compréhension de la manière dont les LLM à usage général se comparent aux plateformes d'IA spécialisées et orientées cliniquement au sein de sous-spécialités médicales spécifiques. En ophtalmologie, OpenEvidence est apparu comme un outil spécialisé conçu pour l'usage clinique avec des partenariats de grandes organisations médicales (ex. : groupe NEJM, AAO). Cependant, des évaluations récentes suggèrent que les modèles à usage général pourraient surpasser les modèles spécialisés en matière de connaissances médicales générales. Les auteurs ont cherché à combler l'absence de preuves comparatives directes entre OpenEvidence et les LLM à usage général de pointe spécifiquement sur les connaissances ophtalmiques, en évaluant non seulement la précision brute mais aussi des mesures de fiabilité telles que la calibration et la discrimination basée sur la confiance.

Méthodologie
L'étude a employé un plan comparatif évaluant cinq systèmes basés sur des LLM sur un ensemble de données de 659 questions uniques à choix multiples (QCM) textuelles dérivées de l'Ophthalmic Knowledge Assessment Program (OKAP) et structurées pour refléter la banque OphthoQuestions. Les modèles évalués étaient :

OpenEvidence (version de mars 2026) : Une plateforme d'IA clinique spécialisée.
ChatGPT-5.4-Pro : LLM à usage général.
Gemini-Pro-3 : LLM à usage général.
Claude-Opus-4.6 : LLM à usage général.
DeepSeek-v3.2 : LLM à usage général.

Données et protocole d'évaluation :

Ensemble de données : 659 questions catégorisées manuellement par sous-spécialité (13 domaines), domaine clinique, type de question, niveau de la taxonomie de Bloom et difficulté (Facile à Très Difficile).
Accès : Les modèles ont été accédés via des API officielles (exécution unique/Single Run) sauf OpenEvidence, qui a été accédé manuellement via son interface web en raison de l'absence d'API publique au moment de l'étude.
Prompts : Des prompts standardisés exigeaient des réponses définitives (A–D). La plupart des modèles ont reçu l'instruction de fournir un score de confiance (0–100) ; OpenEvidence n'a pas fourni de scores de confiance.
Analyse statistique : Les résultats primaires comprenaient la précision binaire. Des régressions logistiques par équations d'estimation généralisées (GEE) multivariées ont été utilisées pour évaluer les effets indépendants du type de modèle, de la difficulté et de la taxonomie sur les réponses correctes, avec une correction de Holm-Bonferroni pour les comparaisons multiples. Les analyses secondaires incluaient les tests de Cochran Q et de McNemar pour les comparaisons par paires, l'analyse ROC pour la discrimination basée sur la confiance, ainsi que l'erreur de calibration attendue (ECE) et les scores de Brier pour la calibration.
Analyse d'erreurs : Une analyse descriptive post hoc a été menée sur 9 questions répondues incorrectement par tous les modèles, impliquant une réévaluation structurée pour identifier les schémas d'échec.

Résultats clés

Précision globale : La performance variait considérablement selon les modèles. Gemini-Pro-3 a obtenu la précision la plus élevée à 95,8 % (IC 95 %, 93,9–97,0). Le classement était le suivant :
1. Gemini-Pro-3 (95,8 %)
2. Claude-Opus-4.6 (89,2 %)
3. OpenEvidence (88,0 %)
4. ChatGPT-5.4-Pro (84,8 %)
5. DeepSeek-v3.2 (73,7 %)
  Dans l'analyse multivariée, tous les autres modèles présentaient des chances ajustées de réponse correcte significativement plus faibles que Gemini-Pro-3 ( $P < 0,001$ ). Notamment, les modèles à usage général (Gemini-Pro-3 et Claude-Opus-4.6) ont surpassé la plateforme clinique spécialisée (OpenEvidence).
Difficulté et complexité : La précision a diminué de manière significative avec l'augmentation de la difficulté des questions. Les questions de taxonomie de Bloom de niveau supérieur et les questions logiques présentaient une précision plus faible par rapport aux questions de niveau inférieur et informatives, bien que ces dernières ne soient pas restées statistiquement significatives après la correction de Holm.
Mesures de fiabilité :
- Calibration : Gemini-Pro-3 a démontré la meilleure calibration (score de Brier le plus bas : 0,038 ; ECE : 0,008). DeepSeek-v3.2 présentait la pire calibration.
- Discrimination basée sur la confiance : Claude-Opus-4.6 et ChatGPT-5.4-Pro ont montré la plus forte capacité à distinguer les réponses correctes des incorrectes sur la base de la confiance auto-déclarée (AUC les plus élevés : 0,779 et 0,775, respectivement). DeepSeek-v3.2 présentait une faible discrimination (AUC : 0,607).
- Seuil (Thresholding) : À un seuil de confiance $\ge 90 \%$ , Claude-Opus-4.6 a atteint 99,6 % de précision (avec 34,3 % de couverture), tandis que Gemini-Pro-3 maintenait 97,0 % de précision avec 96,4 % de couverture.
Performance par sous-spécialité : Aucune différence de sous-spécialité n'est restée statistiquement significative après la correction de Holm, bien que des tendances descriptives suggèrent que la Retina/Vitreous était plus difficile et la Médecine Générale performante par rapport aux Fondamentaux.
Schémas d'échec : L'analyse post hoc des 9 questions manquées par tous a révélé que les échecs partagés étaient concentrés dans le raisonnement logique (64,4 % de succès lors de la réévaluation) et la validité de référence (53,3 % de succès), plutôt que dans la sémantique de base des questions ou la compréhension du sujet.

Contributions et significativité clés
L'article revendique plusieurs découvertes importantes :

La spécialisation ne garantit pas la supériorité : Une plateforme d'IA clinique spécialisée (OpenEvidence) n'a pas surpassé les principaux LLM à usage général en matière de connaissances ophtalmiques ; en fait, Gemini-Pro-3 et Claude-Opus-4.6 l'ont surpassée en termes de précision globale.
Hétérogénéité de la performance : Il existe une variation substantielle de la précision et des mesures de fiabilité entre les LLM contemporains, ce qui nécessite une validation spécifique au modèle plutôt que de supposer une capacité uniforme.
La fiabilité au-delà de la précision : L'étude souligne que la précision seule est insuffisante. Le modèle le plus précis (Gemini-Pro-3) présentait la meilleure calibration, tandis que d'autres modèles (Claude-Opus-4.6, ChatGPT-5.4-Pro) excellaient dans la discrimination basée sur la confiance. Cela suggère que la confiance auto-déclarée peut servir de filtre de fiabilité, particulièrement dans les modèles bien calibrés.
Nature des erreurs : Les LLM actuels performent bien sur le rappel de faits mais peinent avec la synthèse de niveau supérieur et la validité de référence, qui sont critiques pour la prise de décision clinique réelle.

Limites et portée
Les auteurs notent explicitement que l'étude est limitée aux questions de type OKAP textuelles et n'évalue pas l'interprétation d'images multimodales, qui est centrale en ophtalmologie. L'évaluation était une exécution unique par question, ne capturant pas la variance intra-modèle. De plus, OpenEvidence a été accédé manuellement, et son absence de scores de confiance a limité la comparaison directe sur les mesures de calibration. Les auteurs concluent que bien que ces modèles soient prometteurs, d'autres études utilisant des scénarios cliniques réels sont nécessaires avant leur déploiement dans le support à la décision clinique.