Comparative performance of DeepSeek-R1 and GPT-4o on standardized ophthalmic diagnostic and treatment tasks

Dans la clinique moderne, l'esprit d'un médecin est un outil puissant, formé au fil des années pour relier l'histoire d'un patient, les signes physiques et les résultats d'examens en une image claire de ce qui ne va pas. Ce processus de raisonnement clinique est le pilier de la médecine, mais c'est aussi une compétence qui prend beaucoup de temps à maîtriser. Récemment, un nouveau type d'esprit numérique est apparu : les grands modèles de langage. Ce sont des systèmes d'intelligence artificielle entraînés sur de vastes quantités de texte, capables de lire, de comprendre et de générer le langage humain avec une fluidité remarquable. Ils ont montré des promesses pour aider à tout, de la rédaction de lettres à la réponse à des questions générales. Mais dans un domaine aussi précis et visuel que les soins oculaires, où un diagnostic peut dépendre de détails subtils dans une image ou d'un schéma spécifique de symptômes, il reste incertain de savoir si ces assistants numériques comprennent réellement les complexités des maladies. La question n'est plus seulement de savoir s'ils peuvent parler le langage de la médecine, mais s'ils peuvent penser comme un spécialiste face à un cas difficile.

Une équipe de chercheurs s'est donné pour mission de tester cette question en utilisant deux des systèmes d'intelligence artificielle les plus avancés disponibles : DeepSeek-R1 et GPT-4o. Ils ont choisi de se concentrer sur l'ophtalmologie, la branche de la médecine dédiée à l'œil, car elle nécessite un haut niveau de connaissances spécialisées et la capacité de peser de nombreuses informations différentes. Pour créer un test équitable et rigoureux, l'équipe n'a pas demandé aux ordinateurs d'examiner de vrais patients ou de véritables scanners oculaires. Au lieu de cela, ils ont utilisé trente-trois études de cas standardisées tirées d'une base de données nationale utilisée pour former et examiner les ophtalmologistes en Chine. Ces cas couvraient un large éventail de pathologies, allant des maladies rétiniennes et du glaucome aux traumatismes et aux tumeurs, représentant les types de scénarios qu'un spécialiste pourrait rencontrer dans son travail quotidien. Les chercheurs ont demandé aux deux modèles d'intelligence artificielle d'agir comme des ophtalmologistes seniors. Ils ont fourni le texte de chaque cas et ont demandé un diagnostic, une liste d'autres conditions possibles pouvant expliquer les symptômes, ainsi qu'un plan de traitement.

Pour garantir l'objectivité des résultats, trois ophtalmologistes expérimentés et certifiés ont examiné les réponses fournies par les deux systèmes d'intelligence artificielle. Les experts ne savaient pas quel modèle avait rédigé quelle réponse. Ils ont évalué chaque réponse selon deux critères principaux : l'exactitude et l'exhaustivité. L'exactitude mesurait la justesse des conseils médicaux, tandis que l'exhaustivité mesurait si la réponse couvrait tous les détails nécessaires sans rien omettre. Les experts ont utilisé un système de notation simple, attribuant des points selon la correspondance des réponses avec les solutions correctes et standards trouvées dans la base de données d'entraînement. Ce processus a permis aux chercheurs de comparer directement les performances des deux esprits numériques par rapport à l'étalon-or de l'expertise humaine.

Les résultats ont montré une différence claire entre les deux systèmes. Sur l'ensemble des cas examinés, DeepSeek-R1 a systématiquement fourni des réponses plus précises et plus complètes que celles de GPT-4o. Lorsque les experts ont examiné la tâche spécifique d'identification de la maladie correcte, DeepSeek-R1 a obtenu un score moyen de 8,04 sur 10, tandis que GPT-4o a obtenu 6,46. L'écart était encore plus important lorsque les modèles devaient lister d'autres conditions possibles, une tâche connue sous le nom de diagnostic différentiel. Ici, DeepSeek-R1 a atteint un score de 7,52 contre 5,50 pour GPT-4o. En ce qui concerne les plans de traitement, DeepSeek-R1 a de nouveau surpassé l'autre modèle, avec un score de 7,62 contre 6,65. La différence ne résidait pas seulement dans les chiffres finaux ; les experts ont également noté que les réponses de DeepSeek-R1 étaient plus approfondies, couvrant davantage d'éléments requis dans ses explications.

L'étude a révélé que l'avantage de DeepSeek-R1 était plus prononcé dans les domaines de l'ophtalmologie nécessitant une pensée complexe et multi-étapes. Les conditions telles que les maladies de la rétine, le glaucome, les troubles du nerf optique et les problèmes d'alignement oculaire et de développement de la vision présentaient les écarts de performance les plus importants. Ce sont les types de cas où un médecin doit synthétiser de nombreux indices différents pour parvenir à une conclusion. En revanche, pour les pathologies présentant des signes plus évidents ou distincts, comme certains traumatismes oculaires ou maladies de la surface de l'œil, la différence entre les deux modèles était plus faible. Cela suggère que la manière spécifique dont DeepSeek-R1 a été entraîné, avec un accent marqué sur le raisonnement avancé, peut lui donner un avantage dans les situations où la réponse n'est pas immédiatement évidente et nécessite une déduction minutieuse.

Malgré ces résultats prometteurs, les chercheurs ont pris soin de présenter leurs conclusions comme une étape préliminaire plutôt que comme un verdict final. L'étude était limitée par le fait qu'elle n'utilisait que des cas textuels, ce qui signifie que les systèmes d'intelligence artificielle n'ont jamais vu d'images réelles d'yeux, lesquelles sont cruciales pour un diagnostic en conditions réelles. La taille de l'échantillon de trente-trois cas était également relativement petite, et l'évaluation reposait sur les jugements subjectifs de trois experts humains. Les auteurs ont souligné que ces résultats ne signifient pas que l'un ou l'autre de ces systèmes d'intelligence artificielle est prêt à remplacer un médecin humain ou à être utilisé directement dans un hôpital pour prendre des décisions pour les patients. Les performances de ces modèles peuvent évoluer rapidement à mesure qu'ils sont mis à jour, et les versions spécifiques testées au début de 2025 pourraient ne pas refléter les capacités des futurs systèmes.

En fin de compte, ce travail sert de point de référence important pour comprendre où en est l'intelligence artificielle dans le domaine spécialisé des soins oculaires. Il démontre que l'un des modèles plus récents, DeepSeek-R1, a montré une plus grande capacité de raisonnement face à des cas médicaux complexes que l'établi GPT-4o dans ce contexte spécifique. Cependant, l'étude conclut que beaucoup de travail reste à faire. Les recherches futures devront tester ces systèmes avec de vraies images et dans des contextes cliniques réels pour voir s'ils peuvent véritablement soutenir les médecins dans la réalité complexe et désordonnée des soins aux patients. Pour l'instant, les conclusions suggèrent que, bien que l'intelligence artificielle devienne un outil puissant pour le raisonnement médical, elle est encore un travail en cours, et son rôle en clinique dépendra d'une validation continue et d'une intégration prudente avec l'expertise humaine.