Comparative evaluation of large language models for guideline-based oral cancer management: a standardized assessment of GPT-4o, DeepSeek-R1, and Grok-3

Le cancer de la bouche est une pathologie grave qui nécessite des soins précis et coordonnés. Lorsqu'un patient est diagnostiqué, les médecins doivent décider d'un parcours de traitement qui implique souvent la chirurgie, la radiothérapie ou la médication, selon l'emplacement exact de la tumeur et son étendue. Ces décisions sont guidées par des règles médicales strictes appelées directives cliniques, qui sont rédigées par des experts pour garantir que chaque patient reçoive les meilleurs soins possibles basés sur les dernières avancées scientifiques. Récemment, un nouveau type de programme informatique appelé modèle de langage étendu est apparu. Ces programmes peuvent lire de vastes quantités de texte et rédiger des réponses fluentes à des questions, ce qui amène beaucoup de gens à se demander s'ils pourraient aider les médecins à résumer des règles complexes ou à suggérer des plans de traitement. Cependant, ce n'est pas parce qu'un ordinateur s'exprime clairement que ses conseils médicaux sont corrects. Dans le monde à enjeux élevés des soins contre le cancer, une réponse confiante mais erronée pourrait être dangereuse, ce qui rend essentiel de tester si ces outils numériques peuvent réellement comprendre et appliquer les directives médicales.

Une équipe de chercheurs de l'Université de Jilin en Chine s'est donné pour mission de tester cette idée en mettant trois des modèles de langage étendu les plus avancés à l'épreuve de cas de cancer buccal. Ils ont choisi trois modèles spécifiques : GPT-4o, DeepSeek-R1 et Grok-3. Pour évaluer la performance de ces programmes, les chercheurs ont créé un test standardisé basé sur les directives officielles du National Comprehensive Cancer Network pour les cancers de la tête et du cou. Le test comprenait deux parties principales. Premièrement, les modèles devaient agir comme des chirurgiens experts et expliquer les règles de traitement du cancer de la bouche à une personne sans formation médicale. Ils devaient couvrir les causes, la manière dont la maladie est détectée, ainsi que les étapes du traitement et de la convalescence. Deuxièmement, les modèles ont été confrontés à des scénarios et des vignettes cliniques standardisés de cancer buccal et ont dû fournir un plan de gestion complet, incluant le diagnostic à poser, la stadification de la maladie, ainsi que la chirurgie ou la radiothérapie appropriées.

Pour juger les réponses, trois chirurgiens expérimentés en chirurgie orale et maxillo-faciale ont examiné les résultats. Ils ont noté les réponses sur une échelle de zéro à dix pour la tâche de résumé et sur une échelle de zéro à cent pour la tâche de gestion de cas, en examinant des facteurs tels que l'exactitude, la clarté et le respect des règles officielles. Les résultats ont montré que les modèles performaient différemment, et qu'aucun programme n'était parfait en tout. Dans la tâche consistant à résumer les directives pour un public général, le modèle DeepSeek-R1 a reçu la note globale la plus élevée avec 8,8 sur 10, suivi de GPT-4o avec 8,3 et Grok-3 avec 7,8. DeepSeek-R1 a également obtenu les scores les plus élevés dans des domaines spécifiques comme la clarté et la fluidité logique.

Lorsque les modèles sont passés à la tâche plus difficile de la gestion de cas patients spécifiques, les scores étaient globalement plus élevés, mais les différences entre les modèles sont devenues plus marquées. DeepSeek-R1 a de nouveau obtenu le score global le plus élevé avec 87,44 sur 100. Il s'est particulièrement bien illustré dans la suggestion des bons plans de traitement, la planification de l'étendue de la chirurgie et l'évaluation du pronostic, c'est-à-dire de l'issue probable, pour le patient. Grok-3 arrive en deuxième position avec un score de 77,77, et GPT-4o a reçu un score de 68,61. Curieusement, bien que DeepSeek-R1 ait dominé dans la plupart des catégories, Grok-3 a en fait reçu le score le plus élevé pour la suggestion de la dose de radiation correcte. Les chercheurs ont également noté que les scores de similitude textuelle, qui mesurent à quel point les mots de l'ordinateur correspondent à une réponse de référence, ne s'alignaient pas toujours sur l'exactitude médicale jugée par les experts humains. Cela suggère qu'un ordinateur peut écrire des mots qui ressemblent très fortement à la bonne réponse tout en commettant des erreurs sur les détails médicaux.

Malgré les scores élevés atteints par le modèle le plus performant, l'étude a révélé des failles significatives qui empêchent ces outils d'être utilisés comme décideurs indépendants. Les trois modèles ont parfois confondu le cancer de la bouche avec le cancer de la gorge, une erreur critique car les deux maladies sont traitées différemment. Ils ont également inventé occasionnellement des détails spécifiques, tels que des marges chirurgicales exactes ou des protocoles d'antibiotiques, qui n'étaient pas soutenus par le cas du patient ou par les directives officielles. Les chercheurs ont observé que, bien que les modèles puissent organiser l'information de manière efficace, ils manquaient de la compréhension contextuelle profonde requise pour adapter un plan à la situation unique d'un patient spécifique. L'étude conclut que ces outils d'intelligence artificielle doivent être considérés comme des assistants aidant les médecins à rédiger des plans ou à résumer des informations, plutôt que comme des médecins autonomes capables de prendre la décision finale. Les auteurs soulignent que les experts humains doivent toujours vérifier le résultat, et appellent à des études plus larges pour affiner davantage la manière dont ces technologies peuvent soutenir en toute sécurité les soins oncologiques.