Memorization in reaction-conditioned generative enzyme design: folding confidence, database identity, and docking all fail to detect it

Die Umwelt ist erfüllt von synthetischen Chemikalien, für deren Abbau die Natur keine biologischen Mechanismen entwickelt hat. Von Flammschutzmitteln in Möbeln bis hin zu Pestiziden in Nutzpflanzen – diese Substanzen bleiben bestehen, weil lebenden Organismen die biologischen Werkzeuge fehlen, um sie zu zersetzen. Wissenschaftler hoffen seit langem darauf, maßgeschneiderte Enzyme – die mikroskopisch kleinen Katalysatoren der Natur – zu entwickeln, die diese Schadstoffe verdauen und das Chaos beseitigen. In den letzten Jahren sind leistungsfähige Computerprogramme entstanden, die die genetischen Baupläne für neue Proteine schreiben können, mit dem Versprechen, diese Enzyme basierend auf der spezifischen Chemie des zu zerstörenden Schadstoffs von Grund auf neu zu entwerfen. Die Idee besteht darin, dem Computer eine Beschreibung eines toxischen Chemikals vorzugeben und als Ergebnis eine Proteinsequenz zu erhalten, die in der Lage ist, dieses zu neutralisieren.

Eine neue Studie untersucht, ob diese Computerprogramme tatsächlich neue Werkzeuge entwerfen oder lediglich alte kopieren. Forscher bei Terram Technologies entwickelten ein System namens XenoFold, um Enzyme für den Abbau von Xenobiotika zu erzeugen – dem wissenschaftlichen Begriff für synthetische Schadstoffe. Sie trainierten das System auf bekannten Enzymreaktionen und baten es dann, neue Kandidaten für verschiedene Chemikalien zu erstellen, darunter solche, für die es keinen bekannten natürlichen Abbau gibt. Das Team unterzog die computergenerierten Enzyme einer Reihe von Standard-Computertests, um deren Qualität zu verifizieren, wobei geprüft wurde, ob sie sich zu stabilen Formen falten und an ihre Zielchemikalien binden können. Die Ergebnisse zeigten ein erschreckendes Versagen: Das System entwarf überhaupt keine neuen Enzyme. Stattdessen memorierte es die Trainingsdaten und reproduzierte sie fast exakt – ein Fehler, den jeder Standard-Computertest, der zur Validierung der Arbeit verwendet wurde, vollständig übersah.

Die Forscher begannen damit, ihr Modell auf fünfzehn verschiedene Enzymklassen zu trainieren, indem sie spezifische chemische Reaktionen mit den Proteinstrukturen paarten, die diese ausführen. Anschließend baten sie das System, neue Enzyme für vier spezifische Szenarien zu generieren: zwei Reaktionen, bei denen natürliche Enzyme gut bekannt sind, und zwei Reaktionen, die Schadstoffe wie Perfluoroctansäure und ein spezifisches Pestizidmetabolit betreffen, für die es keinen dokumentierten natürlichen Abbau durch Enzyme gibt. Um sicherzustellen, dass die generierten Proteine plausibel waren, unterzog das Team sie drei weit verbreiteten Computer-Validierungsmethoden. Zuerst sagten sie voraus, wie gut das Protein sich zu einer 3D-Struktur falten würde, ein Maß für die strukturelle Stabilität. Zweitens verglichen sie die neuen Sequenzen mit einer riesigen öffentlichen Datenbank aller bekannten Proteine, um zu sehen, ob sie neuartig waren. Drittens simulierten sie, wie fest die neuen Enzyme an ihre Zielchemikalien binden würden – ein Schritt, der dazu dienen sollte, zu beweisen, dass sie die Aufgabe tatsächlich bewältigen könnten.

Oberflächlich betrachtet sahen die Ergebnisse erfolgreich aus. Der Computer sagte voraus, dass die generierten Enzyme sich zu stabilen, wohldefinierten Formen falten würden, und zwar mit hoher Konfidenz. Wenn die Forscher diese neuen Sequenzen mit der öffentlichen Datenbank verglichen, deuteten die Werte darauf hin, dass die Designs einzigartig und von bisher aufgezeichneten Proteinen verschieden waren. Auch die Docking-Simulationen lieferten Scores, die darauf hindeuteten, dass die Enzyme an ihre Ziele binden könnten. Basierend auf diesen drei Standardprüfungen schien die Studie zunächst ein funktionierendes System für das Design neuer Enzyme aufzuzeigen. Die Forscher erkannten jedoch, dass diese Standardkontrollen nicht die ganze Geschichte erzählten. Sie führten eine tiefere, direktere Untersuchung durch, indem sie die generierten Sequenzen nicht mit der allgemeinen öffentlichen Datenbank verglichen, sondern mit der spezifischen Liste der Trainingsbeispiele, die der Computer während seiner Lernphase auswendig gelernt hatte.

Dieser direkte Vergleich enthüllte die Wahrheit. Als die Forscher die generierten Enzyme gegen die Trainingsdaten prüften, stellten sie fest, dass vierzig Prozent der Sequenzen exakte, zeichengetreue Kopien der Beispiele waren, die der Computer zuvor gesehen hatte. Weitere siebenundvierzig Prozent waren den Trainingsbeispielen so ähnlich, dass sie sich nur durch einen winzigen Bruchteil ihrer Struktur unterschieden. Dieses Muster blieb auch bestehen, wenn der Computer angewiesen wurde, Enzyme für Schadstoffe zu entwerfen, für die es keinen bekannten natürlichen Abbau gibt und die in den Trainingsdaten völlig fehlten. Das System produzierte die gleichen hohen Raten des Kopierens, unabhängig davon, ob das Zielchemikalien bekannt oder völlig neu war. Der Computer schlussfolgerte nicht aus der Chemie des Schadstoffs, um eine neue Lösung zu kreieren; er rief lediglich Muster ab und wiederholte sie, die er in seinem Speicher gespeichert hatte.

Die Forscher untersuchten weiter, ob der Computer tatsächlich die bereitgestellte chemische Information nutzte. In einem Test fütterten die Forscher das trainierte System mit einer chemischen Reaktion, die in keiner Weise mit der Klasse des trainierten Enzyms verwandt war. Wäre das System wirklich sensibel gegenüber dem chemischen Input gewesen, hätte die Änderung der Reaktion die Ausgabe verändern müssen. Stattdessen blieben die generierten Enzyme fast identisch mit denen der korrekten Reaktion, und ihre vorhergesagten Stabilitätswerte änderten sich in keiner nennenswerten Weise. Dies bestätigte, dass der chemische Input kaum oder gar keinen Einfluss auf das finale Design hatte. Das System ignorierte im Wesentlichen die spezifischen Anweisungen über den Schadstoff und griff auf die allgemeinen Muster zurück, die es während des Trainings gelernt hatte.

Die Forscher untersuchten auch die Computer-Docking-Tests, die anfangs so vielversprechend erschienen. Sie fanden heraus, dass diese Tests nicht in der Lage waren, zwischen den computergenerierten Enzymen und den natürlichen Enzymen, die sie imitieren sollten, zu unterscheiden. Noch kritischer war, dass die Forscher versuchten, die Docking-Scores zu nutzen, um die Geschwindigkeit zu schätzen, mit der die Enzyme arbeiten würden, wobei die Ergebnisse extrem ungenau waren. Bei zwei bekannten natürlichen Enzymen wichen die Schätzungen des Computers bezüglich ihrer Effizienz um Faktoren von bis zu fünfzehntausend im Vergleich zu realen Messungen ab. In einem Fall rangierte der Computer zwei Enzyme in der exakt entgegengesetzten Reihenfolge ihrer tatsächlichen Leistung. Da die Docking-Scores die Realität so dramatisch verfehlten, entfernten die Forscher sie aus ihrer endgültigen Analyse und kamen zu dem Schluss, dass diese Standard-Computersimulationen nicht darauf vertraut werden können, um die Qualität der generierten Designs zu validieren.

Die Kernbotschaft dieser Arbeit ist eine Warnung davor, wie wir computergenerierte Biologie verifizieren. Die Studie zeigt, dass ein System Sequenzen erzeugen kann, die laut Standard-Computerprüfungen perfekt erscheinen – sie falten sich gut, wirken in öffentlichen Datenbanken einzigartig und schneiden in Bindungssimulationen gut ab – während sie in Wahrheit nichts weiter als eine Kopie der Trainingsdaten sind. Die drei gängigsten Validierungswerkzeuge des Fachbereichs konnten diese Memorierung nicht entdecken. Nur durch den direkten Abgleich des Outputs mit den spezifischen Daten, die der Computer gelernt hatte, konnten die Forscher den Fehler aufdecken. Der Autor schließt, dass ohne diese spezifischen, kostengünstigen Kontrollen Behauptungen über das Design neuer Enzyme auf einer Illusion der Neuartigkeit basieren können. Das getestete System produziert derzeit keine Enzyme, die für den realen Einsatz bereit sind, und die Studie legt nahe, dass das Fachgebiet seine Validierungsmethoden für Computerkonstruktionen überdenken muss, um sicherzustellen, dass sie wirklich neu und nicht nur recycelte Erinnerungen sind.