Assessing the Reliability of LLM-Generated Phenotype-Genotype Associations Through External Validation

Dans le monde de la médecine moderne, l'histoire de santé d'un patient est souvent écrite en deux langues différentes. Une langue décrit ce que le médecin voit : une forte fièvre, un rythme cardiaque spécifique ou une forme particulière d'os. Les scientifiques appellent ces traits observables des phénotypes. L'autre langue est cachée à l'intérieur des cellules du corps, écrite dans le code de l'ADN. Ce code contient des gènes et de minuscules variations dans le script génétique qui peuvent expliquer pourquoi une personne possède un certain trait ou pourquoi elle pourrait développer une maladie spécifique. Relier ces deux langues — faire correspondre un symptôme visible à sa cause génétique invisible — est le fondement de la médecine de précision. Cela permet aux médecins de diagnostuer des maladies rares, de prédire les risques et de choisir des traitements qui s'adaptent à la biologie unique d'une personne. Cependant, la bibliothèque des connexions connues entre les symptômes et les gènes grandit si vite que les experts humains ne peuvent pas lire chaque nouvelle publication scientifique pour mettre à jour leurs dossiers. L'écart entre ce qui est publié et ce qui est officiellement enregistré s'élargit, laissant les médecins sans les dernières réponses dont ils ont besoin.

Pour combler ce fossé, les chercheurs se tournent vers l'intelligence artificielle, plus précisément un type de programme informatique connu sous le nom de modèle de langage étendu. Ces programmes ont lu de vastes quantités de textes et peuvent générer de nouvelles phrases qui ressemblent et sonnent comme une écriture humaine. L'idée est que si ces programmes ont lu suffisamment de littérature médicale, ils pourraient être capables de suggérer instantanément quels gènes ou quelles variations génétiques sont liés aux symptômes d'un patient, agissant ainsi comme un assistant de recherche super rapide. Mais il existe une grave préoccupation : ces programmes sont connus pour parfois inventer des faits. Ils peuvent produire un nom de gène qui semble réel mais qui n'existe pas, ou lier un gène réel à une maladie qui n'a aucun rapport avec lui. Si un médecin se fie à une telle erreur, cela pourrait conduire à un mauvais diagnostic. La question critique est de savoir si ces outils d'intelligence artificielle peuvent réellement trouver des connexions réelles et vérifiées entre les symptômes et les gènes, ou s'ils ne font que deviner.

Une équipe de chercheurs de l'Université Vanderbilt s'est donné pour mission de tester cette question avec une expérience rigoureuse. Ils n'ont pas seulement demandé aux ordinateurs de deviner ; ils ont construit un système pour vérifier chaque réponse par rapport aux bases de données les plus fiables au monde. Ils ont sélectionné quatre des modèles de langage les plus avancés disponibles et leur ont demandé d'accomplir six types de tâches différents. Dans certaines tâches, l'ordinateur recevait une liste de symptômes et devait nommer les gènes ou les variations génétiques qui les causent. Dans d'autres, l'ordinateur recevait un gène ou une variation génétique et devait décrire les symptômes qu'il provoque. Ils ont testé ces modèles sur des conditions courantes, comme l'hypertension artérielle ou le diabète, ainsi que sur des maladies très rares qui n'affectent qu'un petit nombre de personnes. Les chercheurs ont ensuite pris chaque association générée par les modèles et l'ont passée à travers un pipeline de vérification. Ils ont vérifié si les noms des gènes étaient réels, si les variations génétiques existaient dans les registres standards et, surtout, si le lien entre le symptôme et le gène était soutenu par des preuves dans les catalogues scientifiques majeurs.

Les résultats ont révélé un tableau complexe de ce que ces outils peuvent et ne peuvent pas faire. Globalement, les modèles d'intelligence artificielle étaient étonnamment bons pour générer des noms qui étaient réels. Presque tous les gènes et variations génétiques qu'ils suggéraient existaient réellement dans le monde biologique ; les ordinateurs inventaient rarement de faux noms. Cependant, le véritable test était de savoir si la connexion entre le symptôme et le gène était vraie. Lorsque les chercheurs ont vérifié les preuves, ils ont découvert qu'environ 74 % des associations générées par les modèles pouvaient être rattachées à au moins une base de données scientifique établie. Cela signifie que pour près de trois suggestions sur quatre, il y avait une preuve dans la littérature pour les appuyer. Parmi celles-ci, environ 9 % présentaient un soutien très fort, tandis qu'environ 54 % avaient un soutien modéré. Cela suggère que ces outils peuvent effectivement agir comme de puissants générateurs d'idées candidates pour les médecins et les scientifiques qui souhaitent mener des investigations.

Pourtant, la performance n'était pas uniforme selon les types de questions. Les modèles étaient bien plus performants lorsqu'on les interrogeait sur les gènes que lorsqu'on les interrogeait sur des variations génétiques spécifiques, connues sous le nom de polymorphismes nucléotidiques simples ou SNP. Lorsque la tâche consistait à lier un symptôme à un gène, les modèles parvenaient à trouver des preuves fortes ou modérées pour environ deux tiers de leurs réponses. Mais lorsque la tâche passait à la liaison d'un symptôme à une variation génétique spécifique, le taux de réussite chutait considérablement. Les modèles éprouvaient le plus de difficultés avec les maladies rares. S'ils pouvaient souvent trouver des connexions pour des conditions courantes comme les maladies cardiaques ou le diabète, ils échouaient fréquemment à trouver des liens vérifiés pour les troubles ultra-rares. Cela met en évidence une limitation non seulement de l'intelligence artificielle, mais aussi des bases de données elles-mêmes. Les registres scientifiques pour les maladies rares sont souvent incomplets ou dispersés, ce qui rend plus difficile pour l'ordinateur de trouver une correspondance même si elle existe.

L'étude a également comparé les quatre modèles différents pour voir si l'un d'eux était clairement supérieur. Un modèle, Claude Sonnet, a été le plus performant globalement, générant des associations soutenues par des preuves environ 69 % du temps. Un autre modèle, GPT-5.5, arrive en deuxième position avec environ 65 %. Les deux autres modèles étaient en retrait, avec des taux de réussite autour de 61 % et 57 %. Il est intéressant de noter que les modèles les plus doués pour trouver des connexions de gènes n'étaient pas toujours les mêmes que ceux les plus doués pour trouver des connexions de variations génétiques. Cela suggère que chaque modèle a appris des schémas différents à partir des vastes quantités de textes sur lesquels il a été entraîné. Les chercheurs ont également observé la fréquence à laquelle les différents modèles étaient en accord les uns avec les autres. Ils ont constaté que les modèles produisaient rarement exactement la même liste de réponses, même face à la même question. Parfois, ils étaient d'accord sur des faits bien connus, mais pour beaucoup d'autres questions, ils proposaient des suggestions totalement différentes. Ce manque d'accord signifie que s'appuyer sur un seul modèle est risqué ; si un modèle suggère un lien, cela ne garantit pas qu'il soit correct, et si deux modèles sont en désaccord, cela ne signifie pas que les deux ont tort.

La découverte la plus importante était peut-être la nature des erreurs commises par les modèles. Lorsque les chercheurs ont examiné manuellement les suggestions qui n'avaient pu être trouvées dans aucune base de données, ils ont découvert que la majorité n'étaient pas de simples suppositions aléatoires. Environ 60 % des correspondances ratées étaient des cas où le modèle liait un gène ou une variation réelle à la mauvaise maladie. Les autres échecs étaient souvent dus au fait que les bases de données scientifiques ne possédaient tout simplement pas encore l'information. Cette distinction est cruciale. Cela signifie que bien que les modèles n'inventent généralement pas de faux noms, ils sont fréquemment convaincants sur de mauvaises connexions. Cela crée un danger spécifique pour l'utilisation clinique : un médecin ne peut pas distinguer une liaison correcte et vérifiée d'une hallucination pleine d'assurance simplement en regardant le résultat.

Les chercheurs ont conclu que ces outils d'intelligence artificielle sont utiles, mais qu'ils doivent être traités avec prudence. Ils sont excellents pour générer une longue liste de possibilités, agissant comme un point de départ pour les experts humains. Cependant, on ne peut pas leur faire confiance pour fournir la réponse finale. Chaque suggestion qu'ils font doit être vérifiée par rapport aux registres établis avant de pouvoir être utilisée dans un cadre médical. L'étude a montré que la fiabilité du résultat dépend fortement du type de question posée. Pour les maladies courantes et les questions de niveau génique, les outils sont assez fiables. Pour les maladies rares et les variations génétiques spécifiques, ils sont beaucoup moins certains, reflétant les lacunes actuelles de notre connaissance scientifique collective. La voie à suivre consiste à utiliser ces modèles pour accélérer le processus de découverte, tout en les couplant toujours à une étape de vérification stricte. De cette façon, la vitesse de l'intelligence artificielle peut être combinée à la précision de la science organisée par l'humain, garantissant que les connexions établies entre les symptômes d'un patient et ses gènes soient à la fois rapides et vraies.