Quality of Olfactory Dysfunction Information Across Digital Health Platforms: A Comparative Study of Google Search and Artificial Intelligence Platforms
Cette étude révèle que si Google Search fournit occasionnellement des informations de haute qualité sur le dysfonctionnement olfactif, les plateformes d'IA et les sources de santé numérique actuelles n'offrent généralement que des contenus de qualité modérée à faible avec une faible lisibilité, nécessitant l'orientation des cliniciens vers des ressources spécialisées validées.
Article original sous licence CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
Imaginez que votre nez soit comme un système de sécurité de haute technologie pour votre cerveau. Lorsqu'il fonctionne, il ne se contente pas de vous dire que la pizza sent bon ; il vous avertit des fuites de gaz, de la fumée et du lait tourné. Mais pour environ une personne sur cinq, ce système d'alarme est cassé ou complètement silencieux. Cet état, appelé dysfonctionnement olfactif, peut donner l'impression de vivre dans un monde brumeux et sans saveur, affectant votre façon de manger, de socialiser et même de vous sentir en sécurité.
Lorsque les personnes souffrant de ce problème sont confuses ou inquiètes, elles se tournent souvent vers Internet pour obtenir des réponses, tout comme vous pourriez chercher une stratégie de jeu vidéo ou une recette. Autrefois, elles tapaient une question dans un moteur de recherche comme Google en espérant trouver les conseils d'un médecin digne de confiance cachés parmi les publicités et les blogs aléatoires. Mais récemment, un nouveau genre d'assistant est arrivé : les chatbots d'Intelligence Artificielle (IA). Ce sont comme des robots bavards super intelligents capables de lire des millions de livres puis de rédiger une réponse personnalisée pour vous en quelques secondes. La grande question est la suivante : si vous interrogez ces robots sur votre perte d'odorat, vous donneront-ils la vérité, ou inventeront-ils simplement des choses ? Cette étude plonge précisément dans ce mystère, comparant l'ancien moteur de recherche contre les nouveaux géants de l'IA pour voir qui sait réellement de quoi il parle.
Le grand duel de l'odorat sur Internet : Humains contre Robots
Les chercheurs, une équipe de scientifiques curieux de l'Université de Sheffield, ont décidé de mettre à l'épreuve cinq plateformes numériques différentes. Ils voulaient voir laquelle pouvait donner les conseils les plus performants, les plus sûrs et les plus faciles à comprendre sur la perte de l'odorat. Le casting comprenait le classique Google Search (le roi pour trouver des liens) et quatre chatbots d'IA : ChatGPT, Gemini, Claude et Perplexity.
Pour que le combat soit équitable, ils ont posé les mêmes huit questions aux cinq plateformes. Certaines questions étaient sophistiquées et médicales, comme « Quelles sont les causes de la parosmie ? » (un mot savant pour dés vouloir dire quand les odeurs sont déformées), tandis que d'autres étaient simples et directes, comme « Je ne sens plus rien, qu'est-ce qui ne va pas ? ». Ils ont ensuite agi comme des juges stricts, évaluant les réponses selon deux critères principaux : la Qualité (le conseil est-il sûr et précis ?) et la Lisibilité (est-ce écrit d'une manière qu'une personne normale peut comprendre ?).
Les résultats : Les robots trébuchent, Google gagne (plus ou moins)
Voici le rebondissement : Aucun des robots d'IA n'a produit une seule réponse de « haute qualité ».
Lorsque les juges ont évalué les réponses à l'aide d'une liste de contrôle stricte appelée DISCERN, les résultats ont été un peu choquants.
- Perplexity (l'IA qui cherche des faits en temps réel) est arrivée en tête parmi les robots avec un score de 50,56 ± 5,74. Cela semble bien, mais c'est seulement une qualité « modérée ».
- ChatGPT et Gemini étaient juste derrière, avec des scores respectifs d'environ 43 et 45.
- Claude était le moins bien classé avec 38,13 ± 4,57, et un impressionnant 75 % de ses réponses ont été jugées de « faible qualité ».
La seule plateforme qui a réussi à trouver quelques sources de « haute qualité » était Google Search. Parmi toutes les réponses données par Google, seules 3,75 % (trois minuscules parts du gâteau) étaient considérées comme véritablement excellentes. Le reste était principalement « modéré » ou « faible ». Ainsi, bien que Google n'ait pas remporté de médaille d'or, c'était le seul à même de toucher le podium.
Les pièces manquantes : Ce que les robots ont oublié
L'étude a révélé un énorme vide dans presque toutes les réponses, qu'elles proviennent d'un robot ou d'un site web. Les plateformes étaient incapables de répondre aux questions les plus importantes pour un patient :
- Quels sont les risques du traitement ? (Score : 1,22 ± 0,61 sur 5)
- Que se passe-t-il si je ne fais rien ? (Score : 1,57 ± 0,79 sur 5)
- Comment cela changera-t-il ma vie ? (Score : 1,29 ± 0,71 sur 5)
C'est comme si un mécanicien vous expliquait comment réparer votre voiture, mais refusait de vous dire si la réparation est dangereuse, ce qui se passerait si vous ne la faisiez pas, ou comment la voiture se comporterait après. Les robots étaient ravis d'énumérer les symptômes, mais ils ont complètement sauté la partie concernant l'amélioration de la vie ou de la sécurité.
Le problème du niveau de lecture : Trop difficile à lire
Il y avait un autre problème : les réponses étaient trop compliquées. Les chercheurs ont mesuré la difficulté de lecture du texte, en utilisant une échelle où 6–8 est le niveau recommandé pour les informations destinées aux patients (pensez au niveau collège).
- Le niveau de lecture moyen sur toutes les plateformes était de 11,01 (niveau lycée).
- Seuls 27,7 % des sources répondaient à l'objectif de facilité de lecture.
- Claude et Perplexity étaient les pires coupables, avec des niveaux de lecture respectifs de 14,66 et 14,30. C'est un niveau universitaire !
L'étude a trouvé un schéma étrange et triste : plus l'information était de qualité (haute qualité), plus elle était difficile à lire. C'est comme si les médecins les plus brillants écrivaient dans un code secret que seuls les autres médecins pouvaient comprendre, laissant les patients dans l'obscurité.
Le verdict : Ne faites pas encore confiance au robot
Alors, quelle est la conclusion ? Si vous perdez l'odorat, vous ne pouvez pas simplement demander à un chatbot d'IA et espérer obtenir une réponse parfaite et sûre. Les robots sont actuellement systématiquement incapables de répondre aux normes requises pour des conseils médicaux, surtout lorsqu'il s'agit de vous parler des risques ou de l'impact du traitement sur votre vie quotidienne.
L'étude suggère que les médecins ne devraient pas simplement dire aux patients de « chercher sur Internet ». Au lieu de cela, ils devraient orienter les patients vers des ressources spécifiques et de confiance, créées par de vrais experts médicaux et des associations de patients. Bien que l'IA puisse être un point de départ intéressant pour avoir une idée générale, elle n'est pas prête à être le dernier mot sur votre santé. Jusqu'à ce que ces robots apprennent à écrire clairement et à raconter toute l'histoire (y compris les parties effrayantes), il vaut mieux laisser un médecin humain vous guider à travers la brume.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.