PanVasc Research for AI assisted evidence analysis in panvascular intervention

Dans le vaste monde de la recherche médicale, les médecins et les scientifiques s'appuient sur une immense bibliothèque organisée d'essais cliniques pour comprendre comment fonctionnent les nouveaux traitements. Ces essais sont enregistrés dans des bases de données publiques, où chaque étude énumère précisément ce qu'elle prévoit de mesurer, sa durée et les résultats spécifiques qu'elle espère obtenir. Cette information est le fondement de la médecine fondée sur les preuves, permettant aux chercheurs de comparer différentes approches pour soigner le cœur, les artères et les veines. Cependant, à mesure que le volume de données augmente, la tâche consistant à trouver et à interpréter ces détails spécifiques devient écrasante pour l'être humain seul. Cela a suscité un intérêt croissant pour l'intelligence artificielle, dans l'espoir que des systèmes informatiques puissent lire ces dossiers complexes, extraire les bons chiffres et aider les chercheurs à donner du sens aux preuves plus rapidement et plus précisément. La question centrale n'est pas seulement de savoir si un ordinateur peut lire les mots, mais s'il peut comprendre les règles strictes des données sans inventer de faits ou perdre la trace de l'origine de l'information.

Une équipe de chercheurs s'est donné pour mission de tester un logiciel spécifique conçu pour aider précisément à ce problème, en se concentrant sur les interventions traitant les vaisseaux sanguins dans tout le corps. Ils ont construit un système appelé PanVasc Research, qui agit comme un assistant numérique pour l'analyse de ces dossiers médicaux. Pour vérifier si cet assistant était réellement fiable, ils ne se sont pas contentés de lui demander de résumer quelques récits. Au lieu de cela, ils ont élaboré un test rigoureux en soumettant à l'ordinateur 50 dossiers d'essais cliniques réels et en lui demandant d'en extraire des détails précis, tels que le critère de jugement principal mesuré et le délai de l'étude. Pour rendre le test plus difficile, ils ont délibérément supprimé certaines informations des dossiers avant de demander à l'ordinateur de répondre, afin de vérifier si le système admettrait honnêtement qu'il ne savait pas ou s'il inventerait une réponse par supposition. Ils ont également testé le système sur un autre ensemble de 100 affirmations concernant des essais médicaux pour voir s'il pouvait juger correctement si une preuve soutenait une affirmation spécifique.

Les résultats de cette expérience ont révélé une limite claire et importante de la technologie actuelle. Lorsque l'ordinateur a été interrogé pour copier des détails exacts des dossiers, il n'a réussi qu'environ un quart du temps avec une approche standard. Lorsque les chercheurs ont donné à l'ordinateur des instructions plus méticuleuses, lui disant de revérifier son travail avant de répondre, le taux de réussite est passé à un peu moins de quarante pour cent. Bien que cette amélioration montre que des instructions attentives aident, le système a échoué à obtenir la bonne réponse plus de la moitié du temps. Dans les tests où l'information manquait, l'ordinateur a rencontré des difficultés significatives, échouant souvent à reconnaître que la donnée avait disparu. Lorsque les chercheurs ont testé la capacité du système à comprendre le sens des déclarations médicales, celui-ci n'a pas fait mieux qu'une simple base de majorité, obtenant la bonne réponse seulement environ la moitié du temps. C'est le même taux de réussite que l'on attendrait si quelqu'un se contentait de deviner la réponse la plus courante pour chaque question, plutôt que de faire un choix aléatoire.

De manière cruciale, les chercheurs ont constaté que la capacité de l'ordinateur à suivre des règles ne garantissait pas la compréhension du sens. Le système pouvait être programmé pour vérifier s'il possédait le bon document source et s'il consultait la bonne section de texte, mais ce « contrôle de sécurité » n'empêchait pas l'ordinateur de commettre des erreurs logiques sur la signification réelle des données. En fait, les contrôles de sécurité ont parfois maintenu des réponses incorrectes dans les résultats finaux parce que l'ordinateur avait parfaitement suivi les règles de formatage, même si la conclusion était erronée. L'étude a explicitement écarté l'idée que ce petit modèle informatique ait réalisé une percée dans la compréhension de la science médicale ou qu'il puisse remplacer les experts humains dans l'interprétation de données d'essais complexes. Le système n'était pas capable d'agir comme un scientifique autonome capable de découvrir de nouvelles vérités ou d'interpréter de manière fiable les nuances de différentes maladies.

Les chercheurs ont conclu que, bien que leur cadre ait réussi à séparer la tâche de recherche du document source de la tâche de compréhension de son sens, la technologie actuelle n'est pas encore prête pour cette dernière. Le système a prouvé qu'il pouvait être un outil pour tracer l'origine de l'information, mais il ne pouvait pas être considéré comme fiable pour interpréter cette information sans la supervision humaine. L'étude suggère que pour que l'intelligence artificielle devienne un véritable partenaire de la recherche vasculaire, les futurs systèmes auront besoin de bien plus que de meilleures instructions ; ils nécessiteront une compréhension spécialisée et plus profonde des concepts médicaux qui va bien au-delà de la simple correspondance de mots avec une base de données. D'ici là, le rôle de ces assistants numériques reste limité à l'aide à l'organisation des données, et non à la prise de décisions médicales finales qui déterminent la manière dont les patients sont traités.