Memorization in reaction-conditioned generative enzyme design: folding confidence, database identity, and docking all fail to detect it

L'environnement est saturé de produits chimiques synthétiques que la nature n'a pas évolué pour décomposer. Des retardateurs de flamme dans les meubles aux pesticides dans les cultures, ces substances persistent car les organismes vivants ne possèdent pas les outils biologiques pour les démanteler. Les scientifiques espèrent depuis longtemps concevoir des enzymes sur mesure — les catalyseurs microscopiques de la nature — pour digérer ces polluants et nettoyer le désordre. Ces dernières années, de puissants programmes informatiques sont apparus, capables d'écrire les plans génétiques de nouvelles protéines, promettant de concevoir ces enzymes à partir de zéro en fonction de la chimie spécifique du polluant qu'elles doivent détruire. L'idée est de fournir à l'ordinateur une description d'un produit chimique toxique et de lui faire produire une séquence protéique capable de le neutraliser.

Une nouvelle étude examine si ces programmes informatiques conçoivent réellement de nouveaux outils ou s'ils se contentent de copier les anciens. Des chercheurs de Terram Technologies ont construit un système appelé XenoFold pour générer des enzymes destinées à décomposer les xénobiotiques, le terme scientifique pour les polluants synthétiques. Ils ont entraîné le système sur des réactions enzymatiques connues, puis lui ont demandé de créer de nouveaux candidats pour diverses substances chimiques, y compris certaines qui n'ont aucun dégradeur naturel connu. L'équipe a soumis les enzymes générées par ordinateur à une batterie de tests informatiques standards conçus pour vérifier leur qualité, en vérifiant si elles pouvaient se replier en formes stables et se lier à leurs substances cibles. Les résultats ont révélé un échec flagrant : le système ne concevait pas de nouvelles enzymes du tout. Au lieu de cela, il mémorisait les données d'entraînement et les reproduisait presque exactement, un défaut que chaque test informatique standard utilisé pour valider le travail avait totalement manqué de détecter.

Les chercheurs ont commencé par entraîner leur modèle sur quinze classes différentes d'enzymes, associant des réactions chimiques spécifiques aux séquences protéiques qui les réalisent. Ils ont ensuite demandé au système de générer de nouvelles enzymes pour quatre scénarios spécifiques : deux réactions où les enzymes naturelles sont bien connues, et deux réactions impliquant des polluants comme l'acide perfluorooctanoïque et un métabolite de pesticide spécifique qui n'ont aucun dégradeur naturel documenté capable de les dégrader. Pour s'assurer que les protéines générées étaient plausibles, l'équipe les a soumises à trois méthodes de validation informatique largement acceptées. Premièrement, ils ont prédit la capacité de la protéine à se replier en une forme 3D, une mesure de la stabilité structurelle. Deuxièmement, ils ont comparé les nouvelles séquences à une base de données publique massive de toutes les protéines connues pour voir si elles étaient novatrices. Troisièmement, ils ont simulé la force avec laquelle les nouvelles enzymes se lieraient à leurs cibles chimiques, une étape destinée à prouver qu'elles pourraient accomplir leur tâche.

En apparence, les résultats semblaient réussis. L'ordinateur prédisait que les enzymes générées se replieraient en formes stables et bien définies avec un haut degré de confiance. Lorsque les chercheurs ont comparé ces nouvelles séquences à la base de données publique des protéines connues, les scores suggéraient que les conceptions étaient uniques et distinctes de tout ce qui avait été enregistré précédemment. Les simulations d'amarrage (docking) produisaient également des scores qui semblaient indiquer que les enzymes pouvaient se lier à leurs cibles. Sur la base de ces trois contrôles standards, l'étude semblait initialement démontrer un système de conception d'enzymes fonctionnel. Cependant, les chercheurs ont réalisé que ces contrôles standards ne racontaient pas toute l'histoire. Ils ont procédé à une investigation plus profonde et plus directe en comparant les séquences générées non pas à la base de données publique générale, mais à la liste spécifique des exemples d'entraînement que l'ordinateur avait mémorisés lors de sa phase d'apprentissage.

Cette comparaison directe a exposé la vérité. Lorsque les chercheurs ont vérifié les enzymes générées par rapport aux données d'entraînement, ils ont découvert que quarante pour cent des séquences étaient des copies exactes, caractère par caractère, des exemples que l'ordinateur avait vus auparavant. Un autre quarante-sept pour cent étaient si similaires aux exemples d'entraînement qu'ils ne différaient que d'une infime fraction de leur structure. Ce schéma se vérifiait même lorsque l'ordinateur était sollicité pour concevoir des enzymes pour des polluants n'ayant aucun dégradeur naturel connu et totalement absents des données d'entraînement. Le système produisait les mêmes taux élevés de copie, que la substance chimique cible soit familière ou entièrement nouvelle. L'ordinateur ne raisonnait pas à partir de la chimie du polluant pour créer une nouvelle solution ; il se contentait de récupérer et de répéter des motifs stockés dans sa mémoire.

L'étude a également examiné si l'ordinateur utilisait réellement l'information chimique qui lui était fournie. Dans un test, les chercheurs ont soumis au système entraîné une réaction chimique totalement sans rapport avec la classe d'enzymes sur laquelle il avait été formé. Si le système était véritablement sensible à l'entrée chimique, changer la réaction aurait dû modifier le résultat. Au lieu de cela, les enzymes générées restaient presque identiques à celles produites pour la réaction correcte, et leurs scores de stabilité prédits ne changeaient pas de manière significative. Cela a confirmé que l'entrée chimique n'avait que peu ou pas d'effet sur la conception finale. Le système ignorait essentiellement les instructions spécifiques concernant le polluant et revenait par défaut aux schémas généraux appris durant l'entraînement.

Les chercheurs ont également scruté les tests d'amarrage informatique qui avaient semblé prometteurs au départ. Ils ont découvert que ces tests étaient incapables de distinguer les enzymes générées par ordinateur des enzymes naturelles qu'elles étaient censées imiter. Plus crucial encore, lorsque les chercheurs ont tenté d'utiliser les scores d'amarrage pour estimer la vitesse à laquelle les enzymes fonctionneraient, les résultats se sont révélés extrêmement imprécis. Pour deux enzymes naturelles connues, les estimations de l'ordinateur concernant leur efficacité étaient erronées de facteurs allant jusqu'à quinze mille fois par rapport aux mesures réelles. Dans un cas, l'ordinateur a classé deux enzymes dans l'ordre exactement opposé de leur performance réelle. Parce que les scores d'amarrage ne correspondaient pas du tout à la réalité, les chercheurs les ont retirés de leur analyse finale, concluant que ces simulations informatiques standards ne pouvaient être fiables pour valider la qualité des conceptions générées.

La conclusion fondamentale de ce travail est une mise en garde sur la manière dont nous vérifions la biologie générée par ordinateur. L'étude démontre qu'un système peut produire des séquences qui semblent parfaites selon les contrôles informatiques standards — se repliant bien, paraissant uniques dans les bases de données publiques et affichant de bons scores de liaison — tout en n'étant en réalité rien de plus qu'une copie des données d'entraînement. Les trois outils de validation les plus courants utilisés dans le domaine n'ont pas détecté cette mémorisation. Ce n'est qu'en vérifiant directement la production par rapport aux données spécifiques apprises par l'ordinateur que les chercheurs ont pu découvrir la faille. L'auteur conclut que, sans ces contrôles spécifiques et peu coûteux, les affirmations de conception de nouvelles enzymes peuvent reposer sur une illusion de nouveauté. Le système testé ne produit pas actuellement des enzymes prêtes pour une utilisation en conditions réelles, et l'étude suggère que le domaine doit repenser la façon dont il valide les conceptions informatiques pour s'assurer qu'elles sont véritablement nouvelles et non de simples souvenirs recyclés.