In Other Words: Learning When to Trust Generated Protein Function Descriptions

Les cellules sont les unités fondamentales de la vie, et à l'intérieur de chaque cellule, de minuscules machines appelées protéines effectuent le gros du travail. Elles construisent des structures, transportent des signaux et pilotent les réactions chimiques qui maintiennent un organisme en vie. Depuis des décennies, les scientifiques connaissent la recette chimique de ces machines — la séquence d'acides aminés qui les compose — mais connaître la recette ne révèle pas toujours ce que la machine fait réellement. Si une petite fraction des protéines connues a été soigneusement étudiée et décrite par des experts humains, la grande majorité reste un mystère. Pour ces protéines inconnues, les scientifiques se sont appuyés sur des ordinateurs pour deviner leur fonction en les comparant à des protéines connues, mais cette méthode échoue souvent lorsque la nouvelle protéine présente une apparence différente de tout ce qui figure dans la base de données. Le problème n'est pas seulement un manque de données, mais un manque de confiance ; lorsqu'un ordinateur rédige une description, il n'y a aucun moyen de savoir s'il s'agit d'une intuition brillante ou d'une hallucination convaincante.

Une équipe de chercheurs de l'Université Emory et d'une institution partenaire en Pologne a développé une nouvelle approche pour résoudre ce problème spécifique de confiance. Ils ont créé un système appelé ProtTale, qui génère des descriptions en texte libre de ce que fait une protéine, de la même manière qu'un humain l'écrirait dans un manuel de biologie. Cependant, la véritable innovation ne réside pas dans l'écriture elle-même, mais dans un second composant qui agit comme un juge. Ce système ne se contente pas de produire une réponse ; il calcule un score de fiabilité pour cette réponse, indiquant à l'utilisateur quel degré de confiance il doit accorder à la description. Les chercheurs ont constaté que, bien que leur nouvelle méthode ne soit pas parfaite pour prédire chaque fonction, elle est remarquablement douée pour savoir quand elle a raison et quand elle devine. En filtrant les prédictions à faible indice de confiance, ils ont pu doubler la précision des descriptions pour les protéines plus courtes, transformant un flux de suppositions incertaines en un ensemble de faits fiables.

La difficulté fondamentale dans ce domaine est que la fonction des protéines est complexe et dépendante du contexte. Les méthodes informatiques traditionnelles tentent de forcer ces descriptions dans des catégories rigides, comme si l'on rangeait une protéine dans une boîte spécifique sur un graphique. Bien que cela garantisse la cohérence, cela occulte souvent la nuance de la manière dont une protéine fonctionne réellement. Les nouveaux modèles d'intelligence artificielle ont appris à écrire en langage naturel, offrant des descriptions plus flexibles et expressives. Mais cette liberté a un coût : une phrase fluide peut paraître convaincante même si elle est totalement erronée. Il n'existait aucune méthode standard pour mesurer si deux descriptions textuelles différentes signifient la même chose, laissant les scientifiques sans moyen de vérifier si l'ordinateur a véritablement compris la protéine ou s'il s'est contenté de mimer le langage de la biologie.

Pour remédier à cela, les chercheurs ont construit un « juge » à l'aide d'un grand modèle de langage, un type d'intelligence artificielle entraîné à évaluer la qualité d'un texte. Au lieu de vérifier la simple superposition de mots, ce juge compare la description générée par l'ordinateur à la description connue, écrite par un expert, pour voir si elles décrivent la même fonction. Le juge attribue une étiquette : une correspondance confiante, une divergence confiante, ou quelque chose entre les deux. Les chercheurs ont testé ce système sur des milliers de protéines et ont constaté que le juge était très cohérent et conservateur, n'accordant un « match » que lorsque les fonctions étaient véritablement équivalentes. Ce juge est ensuite devenu l'enseignant du modèle principal, ProtTale.

ProtTale a été entraîné en deux étapes. D'abord, il a appris à reconnaître les motifs dans les séquences de protéines suggérant qu'elles partageaient une fonction, en utilisant une base de données massive de millions de protéines. Ensuite, il a appris à générer des descriptions textuelles basées sur ces motifs. Crucialement, le modèle a également été entraîné pour prédire sa propre fiabilité. Il a appris à observer la séquence de la protéine et à estimer la probabilité que sa propre description puisse passer le test du juge. Cela a abouti à un score, que les auteurs appellent pJay, qui fait office de compteur de confiance. Un score élevé signifie que le modèle est probablement correct ; un score faible signifie qu'il est probablement en train de deviner.

Lorsque les chercheurs ont testé ProtTale sur un ensemble de protéines qui n'avaient jamais été vues par le modèle, ils ont constaté qu'il performait aussi bien que les autres méthodes de pointe en termes de précision brute. Cependant, la différence clé résidait dans les détails. Tandis que les autres méthodes étaient correctes pour certaines protéines et erronées pour d'autres, ProtTale était correct pour un autre ensemble de protéines. Plus important encore, le score de fiabilité a fonctionné comme un filtre puissant. Lorsque les chercheurs ont ignoré les prédictions à faible score pour ne regarder que celles à haut score, la précision des descriptions a bondi de manière significative. Pour les protéines courtes, la précision a presque doublé. Cela signifie que pour les protéines pour lesquelles le modèle se sentait confiant, la description était presque certainement correcte.

L'étude a également révélé que le score de fiabilité n'était pas seulement le reflet de l'état interne du modèle, mais une propriété intrinsèque de la protéine elle-même. Les protéines plus faciles à comprendre à partir de leur seule séquence recevaient des scores plus élevés, tandis que celles qui étaient structurellement complexes ou uniques recevaient des scores plus faibles. Les chercheurs ont validé cela en demandant à un expert humain, qui ne connaissait pas les scores de fiabilité, de passer en revue une sélection des prédictions. Les évaluations de l'expert concordaient étroitement avec la confiance du modèle : quand le modèle disait qu'il était incertain, l'humain convenait que la description était faible, et quand le modèle était confiant, l'humain trouvait la description précise.

Ce travail suggère une nouvelle norme pour l'utilisation de l'intelligence artificielle en biologie. L'objectif n'est pas nécessairement de rendre le modèle juste à chaque fois, ce qui peut être impossible compte tenu de la complexité de la vie, mais de rendre le modèle honnête sur le moment où il a raison. En associant une description générative à un signal de confiance appris, les scientifiques peuvent enfin utiliser ces outils pour annoter les parties « sombres » du monde des protéines — la vaste quantité de protéines qui n'ont jamais été étudiées. Les chercheurs soutiennent que cette capacité à dire « je ne sais pas » est tout aussi précieuse que la capacité à dire « je sais », car elle permet aux expérimentateurs de concentrer leur temps et leurs ressources sur les prédictions auxquelles ils peuvent réellement se fier.