Memorization in reaction-conditioned generative enzyme design: folding confidence, database identity, and docking all fail to detect it

De omgeving is gevuld met synthetische chemicaliën waar de natuur niet op is geëvolueerd om ze af te breken. Van brandvertragende middelen in meubilair tot pesticiden in gewassen, deze stoffen blijven aanwezig omdat levende organismen niet over de biologische instrumenten beschikken om ze te ontmantelen. Wetenschappers hopen al lang om op maat gemaakte enzymen te ontwerpen — microscopische katalysatoren van de natuur — om deze vervuiling af te breken en de rommel op te ruimen. In de afgelopen jaren zijn krachtige computerprogramma's opgekomen die de genetische blauwdrukken voor nieuwe eiwitten kunnen schrijven, met de belofte om deze enzymen vanaf nul te ontwerpen op basis van de specifieke chemie van de vervuiler die ze moeten vernietigen. Het idee is om de computer een beschrijving van een giftige chemische stof te voeren en te laten output genereren in de vorm van een eiwitsequentie dat in staat is de stof te neutraliseren.

Een nieuwe studie onderzoekt of deze computerprogramma's daadwerkelijk nieuwe instrumenten ontwerpen of simpelweg oude kopiëren. Onderzoekers van Terram Technologies bouwden een systeem genaamd XenoFold om enzymen te genereren voor het afbreken van xenobiotica, de wetenschappelijke term voor synthetische vervuilers. Ze trainden het systeem op bekende enzymreacties en vroegen het vervolgens om nieuwe kandidaten te creëren voor diverse chemicaliën, waaronder enkele waarvoor geen natuurlijke afbreker bekend is. Het team onderwierp de door de computer gegenereerde enzymen aan een batterij van standaard computertests om hun kwaliteit te verifiëren, waarbij ze controleerden of ze konden vouwen in stabiele vormen en konden binden aan hun doelchemicaliën. De resultaten onthulden een verbijsterende mislukking: het systeem ontwierp helemaal geen nieuwe enzymen. In plaats daarvan memoriseerde het de trainingsgegevens en reproduceerde het deze bijna exact, een gebrek dat elke standaard computertest die werd gebruikt om het werk te valideren, volledig miste.

De onderzoekers begonnen door hun model te trainen op vijftien verschillende klassen enzymen, waarbij specifieke chemische reacties werden gekoppeld aan de eiwitsequenties die deze uitvoeren. Vervolgens vroegen ze het systeem om nieuwe enzymen te genereren voor vier specifieke scenario's: twee reacties waarbij natuurlijke enzymen goed bekend zijn, en twee reacties die betrekking hebben op vervuilers zoals perfluoroctaanzuur en een specifiek pesticide-metaboliet waarvoor geen gedocumenteerd natuurlijk enzym in staat is om ze af te breken. Om te garanderen dat de gegenereerde eiwitten plausibel waren, doorliep het team drie algemeen aanvaarde computer-validatiemethoden. Ten eerste voorspelden ze hoe goed het eiwit zou vouwen in een 3D-vorm, een maatstaf voor structurele stabiliteit. Ten tweede vergeleken ze de nieuwe sequenties met een enorme publieke database van alle bekende eiwitten om te zien of ze nieuw waren. Derde simuleerden ze hoe sterk de nieuwe enzymen zouden binden aan hun doelchemicaliën, een stap bedoeld om te bewijzen dat ze daadwerkelijk hun werk konden doen.

Op het eerste gezicht zagen de resultaten succesvol uit. De computer voorspelde dat de gegenereerde enzymen zouden vouwen in stabiele, goed gedefinieerde vormen met een hoge mate van vertrouwen. Wanneer de onderzoekers deze nieuwe sequenties vergeleken met de publieke database van bekende eiwitten, suggereerden de scores dat de ontwerpen uniek en verschillend waren van alles wat eerder is vastgelegd. De docking-simulaties produceerden ook scores die leken aan te geven dat de enzymen aan hun doelwitten zouden binden. Op basis van deze drie standaardcontroles leek de studie aanvankelijk een werkend systeem te tonen voor het ontwerpen van nieuwe enzymen. De onderzoekers realiseerden zich echter dat deze standaardcontroles niet het hele verhaal vertelden. Ze voerden een dieper, directer onderzoek uit door de gegenereerde sequenties niet te vergelijken met de algemene publieke database, maar met de specifieke lijst van trainingsvoorbeelden die de computer tijdens de leerfase had gememoriseerd.

Deze directe vergelijking legde de waarheid bloot. Toen de onderzoekers de gegenereerde enzymen controleerden tegenover de trainingsgegevens, vonden ze dat veertig procent van de sequenties exacte, karakter-voor-karakter kopieën waren van de voorbeelden die de computer eerder had gezien. Nog eens zevenenveertig procent was zo vergelijkbaar met de trainingsvoorbeelden dat ze slechts een minuscuul fractie van hun structuur verschilden. Dit patroon hield stand, zelfs wanneer de computer werd gevraagd om enzymen te ontwerpen voor vervuilers die geen bekende natuurlijke afbreker hebben en volledig afwezig zijn in de trainingsdata. Het systeem produceerde dezelfde hoge mate van kopiëren, ongeacht of de doelchemische stof bekend of geheel nieuw was. De computer redeneerde niet vanuit de chemie van de vervuiler om een nieuwe oplossing te creëren; het haalde simpelweg patronen op en herhaalde deze die het in zijn geheugen had opgeslagen.

De studie onderzocht verder of de computer daadwerkelijk de verstrekte chemische informatie gebruikte. In één test voerden de onderzoekers een chemische reactie in die volledig ongerelateerd was aan de enzymklasse waarop het getrainde systeem was getraind. Als het systeem echt gevoelig zou zijn voor de chemische input, zou het veranderen van de reactie de output moeten hebben veranderd. In plaats daarvan bleven de gegenereerde enzymen bijna identiek aan de enzymen die voor de juiste reactie werden geproduceerd, en veranderden hun voorspelde stabiliteitsscores op geen enkele betekenisvolle manier. Dit bevestigde dat de chemische input weinig tot geen effect had op het uiteindelijke ontwerp. Het systeem negeerde in essentie de specifieke instructies over de vervuiler en viel terug op de algemene patronen die het tijdens de training had geleerd.

De onderzoekers onderzochten ook de computer-dockingtests die aanvankelijk zo veelbelovend leken. Ze ontdekten dat deze tests niet in staat waren om onderscheid te maken tussen de door de computer gegenereerde enzymen en de natuurlijke enzymen die ze probeerden na te bootsen. Cruciaal was dat wanneer de onderzoekers de docking-scores probeerden te gebruiken om te schatten hoe snel de enzymen zouden werken, de resultaten extreem onnauwkeurig waren. Voor twee bekende natuurlijke enzymen weken de schattingen van de computer voor hun efficiëntie met factoren tot wel vijftien duizend keer af van de werkelijke metingen. In één geval rangschikte de computer twee enzymen in exact de tegenovergestelde volgorde van hun werkelijke prestaties. Omdat de docking-scores zo dramatisch faalden om overeen te komen met de realiteit, verwijderden de onderzoekers ze uit hun definitieve analyse en concludeerden zij dat deze standaard computersimulaties niet vertrouwd konden worden om de kwaliteit van de gegenereerde ontwerpen te valideren.

De kernbevinding van dit werk is een waarschuwend verhaal over hoe we computergegenereerde biologie verifiëren. De studie laat zien dat een systeem sequenties kan produceren die perfect lijken volgens standaard computercontroles — goed vouwend, uniek verschijnend in publieke databases en goed scorend in bindingssimulaties — terwijl ze in werkelijkheid niets meer zijn dan een kopie van de trainingsdata. De drie meest gebruikte validatietools in het veld slaagden er niet in deze memorisatie te detecteren. Alleen door de output direct te controleren tegen de specifieke gegevens die de computer heeft geleerd, konden de onderzoekers de fout blootleggen. De auteur concludeert dat, zonder deze specifieke, goedkope controles, claims van nieuw enzymontwerp gebaseerd kunnen zijn op een illusie van nieuwheid. Het systeem dat zij testten produceert momenteel geen enzymen die klaar zijn voor werkelijk gebruik, en de studie suggereert dat het vakgebied de manier waarop het computerontwerpen valideert moet heroverwegen om te garanderen dat ze werkelijk nieuw zijn en niet slechts gerecyclede herinneringen.