Can Parents and Patients Understand Myopia Using Large Language Model-Based Chatbots?

Cette étude prospective comparative démontre que les chatbots basés sur l'IA, notamment ChatGPT et DeepSeek, fournissent des réponses fiables et de haute qualité pour aider les parents et les patients à comprendre la myopie, surpassant légèrement Gemini tout en restant globalement adéquats.

L'essentiel

Titre : Les Robots-Intelligents peuvent-ils expliquer la myopie aux parents ? Une enquête en français

Imaginez que vous êtes un parent inquiet. Votre enfant commence à plisser les yeux pour voir le tableau à l'école. Vous avez des milliers de questions : « Est-ce grave ? », « Peut-on l'arrêter ? », « Pourquoi cela arrive-t-il ? ». Autrefois, vous alliez voir un médecin, mais aujourd'hui, beaucoup de gens se tournent d'abord vers leur téléphone, vers ces nouveaux « robots intelligents » (les chatbots IA) comme ChatGPT, Gemini ou DeepSeek.

Mais attention ! Ces robots sont-ils de bons professeurs ou de simples bouffons qui racontent n'importe quoi ? C'est exactement ce que des chercheurs indiens ont voulu savoir. Ils ont organisé un grand concours de « pédagogie médicale » pour voir qui explique le mieux la myopie.

🕵️‍♂️ Le Défi : Un examen blanc pour les robots

Les chercheurs ont joué le rôle d'examinateurs. Voici comment ils ont organisé la partie :

1. La préparation du questionnaire : Ils ont réuni des experts (des médecins et des chercheurs) et ont demandé à 25 parents de dire : « Qu'est-ce que vous demanderiez à un robot ? ». Résultat : 20 questions réalistes ont été créées, allant du « Qu'est-ce que la myopie ? » au « Quels sont les dangers si on ne la soigne pas ? ».
2. L'épreuve de vitesse et de concision : Ils ont posé ces 20 questions aux trois géants de l'IA : ChatGPT, Gemini et DeepSeek. Mais il y avait une règle stricte : chaque réponse devait tenir en 50 mots maximum. Imaginez devoir expliquer un sujet complexe sur une carte postale ! C'était pour voir si les robots pouvaient être clairs et simples, comme un bon ami qui vous parle.
3. Le jury : Pour noter les réponses, ils ont fait appel à un jury mixte : deux médecins seniors (les « grands-pères » de l'ophtalmologie), un jeune médecin et un chercheur. Ils ne savaient pas quel robot avait écrit quelle réponse (c'était un examen « à l'aveugle »). Ils notaient de 1 (très mauvais) à 5 (excellent).

🏆 Les Résultats : Qui a gagné ?

Voici le verdict, traduit en langage simple :

• Les champions (ChatGPT et DeepSeek) : Ces deux-là ont obtenu une note moyenne de « Très Bien » (4/5). Leurs réponses étaient claires, précises et rassurantes. Ils savaient expliquer que la myopie est due à un œil qui grandit trop, sans utiliser de jargon compliqué. Ils ont réussi à donner de l'espoir et des conseils utiles.
• Le participant moyen (Gemini) : Gemini a obtenu une note de « Passable » (3/5). Ce n'était pas catastrophique, mais c'était moins bon que les deux autres. Parfois, ses réponses étaient un peu vagues ou manquaient de précision. C'est comme un élève qui a appris sa leçon par cœur mais qui oublie parfois les détails importants.
• La surprise : Même si les robots ne sont pas parfaits, très peu de réponses étaient « catastrophiques » (note de 1). La plupart des informations données étaient au moins « acceptables ».

💡 Ce que cela signifie pour vous

Pensez à ces robots comme à des bibliothécaires très rapides mais parfois un peu distraits.

• Si vous leur demandez des choses simples (comme « Qu'est-ce que la myopie ? »), ils sont d'excellents guides.
• Si vous posez des questions très pointues sur les complications graves, ils sont bons, mais pas aussi fiables que votre médecin traitant.

Le message principal : Ces outils sont devenus de précieux alliés pour les parents. Ils peuvent aider à comprendre les bases, réduire l'inquiétude et préparer la visite chez le médecin. Cependant, ils ne remplacent pas le docteur. C'est comme utiliser une carte GPS : elle est super pour savoir où aller, mais vous devez quand même faire confiance au conducteur (le médecin) pour éviter les nids-de-poule et prendre les bonnes décisions pour la santé de votre enfant.

En résumé : Oui, les parents peuvent utiliser ces robots pour apprendre, à condition de garder un esprit critique et de toujours valider les infos importantes avec un professionnel de santé.

Résumé technique

1. Problématique

La myopie est devenue un problème de santé publique mondial majeur, avec une prévalence croissante et des complications potentiellement graves pour la vision. Bien que la sensibilisation des cliniciens augmente, celle des parents et des patients reste souvent insuffisante. Ces derniers se tournent de plus en plus vers Internet et les réseaux sociaux pour obtenir des informations, mais la fiabilité de ces sources varie considérablement.
L'émergence des chatbots d'IA (comme ChatGPT, Gemini et DeepSeek) offre une opportunité de fournir des réponses rapides et accessibles. Cependant, il existe un risque de désinformation ou de réponses inexactes qui pourraient créer de la confusion. L'objectif de cette étude était d'évaluer et de comparer la fiabilité des réponses fournies par trois grands modèles de langage (LLM) populaires face à des questions fréquentes posées par les parents et les patients concernant la myopie, sa prévention et ses complications.

2. Méthodologie

Il s'agit d'une étude comparative prospective de fiabilité, menée au LV Prasad Eye Institute (Inde) entre février et mars 2025.

• Modèles testés : ChatGPT (version GPT-5), Gemini (version 2.0) et DeepSeek (version R1/V3).
• Données d'entrée (Questions) : 20 questions ont été élaborées à partir de discussions de groupe avec des cliniciens, des chercheurs et des fellows en myopie, puis validées par des conversations avec 25 parents d'enfants myopes. Les questions étaient réparties en trois catégories :
  1. Questions générales sur la myopie (Q1-Q8).
  2. Contrôle et prévention de la myopie (Q9-Q15).
  3. Complications de la myopie (Q16-Q20).
• Contraintes de génération : Pour simuler une lecture facile pour le grand public et assurer la comparabilité, les chatbots ont été instruits de limiter leurs réponses à 50 mots maximum.
• Évaluation : Quatre évaluateurs (deux cliniciens seniors, un clinicien junior et un chercheur en myopie) ont noté les réponses de manière aveugle (les chatbots étaient anonymisés sous les noms "Chatbot 1, 2, 3").
• Échelle de notation : Une échelle de Likert à 5 points a été utilisée :
  • 1 : Très mauvais (factuellement incorrect)
  • 2 : Mauvais
  • 3 : Acceptable
  • 4 : Bon
  • 5 : Très bon
• Analyses statistiques : Calcul de la médiane, tests de Kruskal-Wallis et Mann-Whitney pour les comparaisons, coefficient alpha de Cronbach pour la cohérence interne, et coefficient de corrélation intra-classe (ICC) pour la fiabilité inter-évaluateurs et intra-évaluateurs.

3. Contributions Clés

• Première comparaison tripartite : C'est la première étude à comparer spécifiquement ChatGPT, Gemini et DeepSeek dans le contexte de la myopie, en se basant sur des questions réelles de patients.
• Validation par des experts cliniques : L'évaluation a été réalisée par un panel mixte incluant des cliniciens seniors et juniors, garantissant une pertinence clinique rigoureuse.
• Analyse de la reproductibilité : L'étude a évalué la stabilité des réponses des chatbots sur plusieurs sessions et jours, révélant des variations significatives.
• Focus sur la lisibilité : L'imposition d'une limite de 50 mots a permis d'évaluer la capacité des modèles à synthétiser des informations complexes pour un public non expert.

4. Résultats

• Performance globale : La note médiane globale pour l'ensemble des chatbots était de 4/5 ("Bon").
• Comparaison des modèles :
  • ChatGPT et DeepSeek : Ont obtenu des performances similaires et élevées, avec une médiane de 4/5. Ils ont reçu des proportions élevées de notes "Bon" et "Très bon" (66,0 % et 67,5 % respectivement).
  • Gemini : A obtenu des scores significativement plus bas que les deux autres (p ≤ 0,001), avec une médiane de 3/5 ("Acceptable"). Il a eu la plus forte proportion de notes "Mauvais" et "Très mauvais" (7,5 %).
• Par catégorie de questions :
  • Pour les questions générales et de contrôle, ChatGPT et DeepSeek ont été notés "Bon".
  • Pour les questions sur les complications, ChatGPT a maintenu une note "Bon", tandis que Gemini et DeepSeek sont descendus à "Acceptable".
• Fiabilité et reproductibilité :
  • La cohérence interne (Alpha de Cronbach) était de 0,70 (acceptable).
  • La reproductibilité des réponses d'un même chatbot à des moments différents était faible (Alpha de Cronbach négatif ou faible pour ChatGPT et Gemini), indiquant que les réponses peuvent varier considérablement même avec les mêmes questions.
  • L'accord inter-évaluateurs (ICC) était modéré à bon pour ChatGPT (0,61) et DeepSeek (0,57), mais faible pour Gemini (0,13), suggérant une plus grande variabilité dans la perception de la qualité des réponses de Gemini.

5. Signification et Conclusion

L'étude conclut que les chatbots basés sur l'IA, en particulier ChatGPT et DeepSeek, peuvent servir d'outils de soutien efficaces pour aider les parents et les patients à comprendre la myopie, fournissant des réponses globalement fiables et de haute qualité.

Cependant, plusieurs mises en garde sont émises :

1. Variabilité : Les réponses ne sont pas toujours cohérentes d'une session à l'autre (problème de reproductibilité).
2. Nuances cliniques : Bien que globalement bons, des erreurs spécifiques subsistent (par exemple, la confusion sur la réversibilité de la myopie ou l'omission de la dose d'atropine).
3. Gemini : Bien que ses réponses soient jugées "acceptables", elles sont nettement moins performantes que celles des concurrents dans ce contexte spécifique.

Implication clinique : Ces outils peuvent être utilisés pour l'éducation initiale des patients, mais ils ne doivent pas remplacer le conseil médical professionnel. Les auteurs recommandent d'améliorer ces modèles par un entraînement basé sur des preuves factuelles et un soutien multilingue pour maximiser leur utilité en santé publique. L'étude souligne également la nécessité d'une supervision humaine pour valider les informations critiques avant leur diffusion aux patients.