ChatGPT versus veterinary students for clinical data extraction: a mixed-methods study

Dans le monde de la médecine vétérinaire, le travail quotidien de soin aux animaux génère un océan d'informations considérable. Chaque fois qu'un chien est examiné, un vétérinaire prend des notes sur ses symptômes, les résultats des analyses de sang et les observations issues des échographies. Ces dossiers sont stockés dans des systèmes numériques, mais l'information qu'ils contiennent est souvent rédigée sous forme de texte libre, semblable à un récit ou à une entrée de journal intime. Bien que ce style narratif soit naturel pour les médecins, il est difficile à lire pour les ordinateurs ou à analyser pour les chercheurs. Pour transformer ces récits en données utiles pour les études scientifiques — comme le suivi des modèles de maladies ou la compréhension du fonctionnement des traitements — quelqu'un doit d'abord lire chaque note et en extraire des faits précis, tels qu'une lecture de température ou un diagnostic, pour les placer dans un tableau propre et organisé. Ce processus, connu sous le nom d'extraction de données, est essentiel pour la science moderne, mais lorsqu'il est effectué à la main, il est lent, fastidieux et sujet à l'erreur humaine.

L'intelligence artificielle est apparue comme une solution potentielle à ce goulot d'étranglement. Plus précisément, les grands modèles de langage sont des programmes informatiques entraînés sur de vastes quantités de textes qui peuvent comprendre et générer le langage humain. Ces outils promettent de lire les dossiers médicaux et d'en extraire les faits nécessaires en quelques secondes, libérant potentiellement les experts pour qu'ils se concentrent sur des tâches plus complexes. Cependant, une question cruciale demeure : ces outils numériques peuvent-ils réellement faire le travail aussi bien qu'un humain formé, ou font-ils des erreurs qui pourraient ruiner la recherche ? De plus, que pensent les personnes qui utiliseront finalement ces outils, comme les futurs vétérinaires, du fait de confier ce travail à une machine ? Pour répondre à ces questions, des chercheurs de l'Université Texas A&M ont mené une comparaison directe entre des étudiants humains et un système d'intelligence artificielle, mesurant non seulement la vitesse et la précision du travail, mais aussi les pensées et les sentiments des étudiants impliqués.

L'étude s'est concentrée sur dix étudiants de deuxième année en médecine vétérinaire, inscrits à un cours sur l'intelligence artificielle. Les chercheurs ont demandé à ces étudiants d'extraire des informations des dossiers médicaux de trois chiens suspectés de pancréatite, une inflammation douloureuse du pancréas. Les étudiants ont effectué cette tâche deux fois. D'abord, ils ont lu les dossiers manuellement et ont rempli un tableur comprenant soixante-trois points de données différents, allant de l'âge et du poids de l'animal à des valeurs de laboratoire spécifiques et des descriptions d'échographie. Après une pause d'un mois pour s'assurer qu'ils ne se souvenaient pas simplement des réponses, les mêmes étudiants ont effectué exactement la même tâche, mais cette fois-ci en utilisant un chatbot, un type d'intelligence artificielle, pour les aider. On leur a demandé de copier les dossiers médicaux dans le chatbot et de lui demander d'extraire les données, en enregistrant le temps nécessaire pour chaque méthode.

Les résultats ont révélé une différence spectaculaire de vitesse. En travaillant seuls, les étudiants ont mis en moyenne huit minutes et demie pour terminer l'extraction pour un seul cas. En utilisant le chatbot, le processus n'a pris que quinze secondes par cas. Cela signifie que l'intelligence artificielle était trente-quatre fois plus rapide que les étudiants humains. Malgré cet écart massif de vitesse, la précision du travail est restée remarquablement élevée pour les deux méthodes. Les étudiants ont atteint un taux de précision de plus de quatre-vingt-dix pour cent, et l'intelligence artificielle a égalé cette performance, dépassant également les quatre-vingt-dix pour cent de précision. Cette conclusion suggère que la vitesse de la machine ne s'est pas faite au détriment de la qualité ; l'outil a été capable de traiter l'information aussi de manière fiable que les étudiants formés.

Cependant, la nature des erreurs commises par les humains et les machines était assez différente. Les étudiants avaient tendance à commettre des erreurs liées à la fatigue et à la répétition, comme taper un chiffre incorrectement ou décaler une ligne de données. Ils avaient également des difficultés avec les descriptions ambiguës dans les notes médicales, procédant parfois par inférence sur des informations qui n'étaient pas explicitement énoncées. Par exemple, si un dossier mentionnait une petite quantité de liquide sans dire explicitement « anormal », un étudiant pouvait deviner la gravité, tandis que l'intelligence artificielle avait tendance à être plus conservatrice, s'en tenant strictement à ce qui était écrit. Curieusement, l'intelligence artificielle a commis un autre type d'erreur : elle a parfois échoué à suivre des instructions de formatage strictes, renvoyant une phrase complète alors qu'un simple code était demandé. Bien que l'outil comprenne le contenu médical, il manquait occasionnellement les règles spécifiques de la tâche, un type d'erreur qui ne se produisait pas chez les étudiants.

Au-delà des chiffres, les chercheurs voulaient comprendre ce que les étudiants ressentaient à l'égard de cette technologie. À travers des enquêtes et des entretiens, les étudiants ont exprimé une préférence claire pour l'intelligence artificielle. Ils ont décrit le processus manuel comme étant mentalement épuisant et répétitif, notant que l'outil les aidait à éviter la charge cognitive liée au tri de longs récits désordonnés. Les étudiants estimaient que l'intelligence artificielle pouvait gérer les parties ennuyeuses et répétitives du travail, leur permettant de se concentrer sur les aspects plus complexes du raisonnement clinique. Pourtant, cette confiance n'était pas aveugle. Les étudiants ont souligné qu'ils devraient toujours vérifier le travail effectué par la machine. Ils ont reconnu que, bien que l'outil soit efficace, la responsabilité ultime des données et des décisions médicales basées sur celles-ci repose toujours sur le vétérinaire humain.

L'étude conclut que l'intelligence artificielle est un partenaire puissant et efficace pour l'extraction de données à partir des dossiers vétérinaires, capable de travailler à une vitesse que les humains ne peuvent égaler tout en maintenant une grande précision. La technologie excelle dans la réduction de la pénibilité des tâches répétitives, mais elle ne remplace pas la nécessité d'une supervision humaine. Les étudiants de l'étude ont vu l'intérêt d'intégrer ces outils dans leur future carrière, à condition qu'ils soient utilisés pour assister plutôt que pour remplacer le jugement humain. Alors que la médecine vétérinaire progresse, la combinaison de l'expertise humaine et de la vitesse de l'intelligence artificielle offre une voie prometteuse pour gérer le volume croissant de données médicales, garantissant que les récits contenus dans les dossiers puissent être transformés en connaissances qui aideront les animaux partout dans le monde.