A novel benchmark dataset for enzyme function prediction reveals the limitations of state-of-the-art models

In de uitgestrekte bibliotheek van het leven draagt elk levend wezen een set instructies die geschreven zijn in een code genaamd DNA. Binnen deze instructies bevinden zich blauwdrukken voor minuscule biologische machines die enzymen worden genoemd. Deze enzymen fungeren als de arbeiders van de cel en versnellen de chemische reacties die een organisme in leven houden, van het verteren van voedsel tot het repareren van beschadigd weefsel. Om het overzicht te bewaren over de miljoenen verschillende enzymen die wetenschappers hebben ontdekt, gebruiken zij een gestandaardiseerd labelingsysteem genaamd Enzyme Commission-nummers. Denk aan deze nummers als een universeel catalogussysteem dat een onderzoeker precies vertelt welke taak een specifiek enzym uitvoert. Naarmate wetenschappers steeds meer genomen van organismen sequensen, vinden zij nieuwe enzymen met een verbijsterende snelheid. De uitdaging nu is om te achterhalen wat deze nieuw ontdekte enzymen doen zonder ze elk afzonderlijk in een laboratorium te hoeven testen, een taak die eeuwen zou duren. Om dit op te lossen, hebben onderzoekers zich tot computers gewend en kunstmatige intelligentie getraind om naar de sequentie van een enzym te kijken en de functie ervan te voorspellen op basis van patronen die het heeft geleerd van bekende voorbeelden.

Een team van onderzoekers besloot onlangs te testen of deze computermodellen werkelijk begrijpen hoe enzymen werken of dat ze simpelweg gebruikmaken van sluiproutes. Ze creëerden een nieuwe set testgegevens genaamd EnzymARC om te zien of de beste huidige programma's het verschil konden zien tussen een werkend enzym en een defect enzym. Om deze test op te bouwen, begonnen ze met enzymen waarvan al bekend was dat ze werkten, en vervolgens beschadigden ze deze systematisch. Met behulp van een computermodel van de 3D-vorm van het enzym richtten ze zich op de specifieke plek waar de chemische reactie plaatsvindt, de zogenaamde actieve site. Vervolgens veranderden ze de structuur op een manier die het vermogen van het enzym om te functioneren zou vernietigen, waardoor ze zogenaamde "decoy"-sequenties (loksequenties) creëerden. Deze decoys waren ontworpen om bijna exact op de oorspronkelijke, werkende enzymen te lijken, met uitzondering van de cruciale schade aan de machinerie die hen laat werken. Ze creëerden deze defecte versies door de structuur te veranderen binnen specifieke afstanden van de actieve site, variërend van een zeer krappe 5 Ångström tot een bredere straal van 15 Ångström, waarbij ze ervoor zorgden dat de rest van het enzym grotendeels ongewijzigd bleef.

De onderzoekers voerden deze defecte decoys vervolgens in bij drie verschillende soorten computervoorspellingsinstrumenten om te zien wat de machines zouden zeggen. Eén instrument vertrouwde op het vinden van gelijkaardige sequenties in een database, een ander gebruikte een methode die leert door verschillende eiwitvormen te vergelijken, en de derde was een deep learning-model dat specifelijk getraind was om niet-werkende enzymen te herkennen. De resultaten waren veelzeggend. Toen de computermodellen naar de licht beschadigde enzymen keken, faalden ze bijna volledig. Ondanks dat de katalytische machinerie was vernietigd, wijsden de modellen vol vertrouwen de oorspronkelijke, correcte taakbeschrijving toe aan de defecte enzymen. Sterker nog, voor de minst beschadigde decoys deden de modellen vaker dan 90 procent van de tijd foutieve voorspellingen. Dit suggereert dat de modellen niet daadwerkelijk de fysieke regels leren van hoe een enzym werkt; in plaats daarvan maken ze gebruik van een sluiproute. Ze kijken naar de algemene gelijkenis met bekende enzymen en gaan ervan uit dat als het op een eend lijkt, het ook een eend moet zijn, zelfs als de eend kapot is.

Zelfs het meest geavanceerde model, dat getraind was om defecte enzymen te herkennen, had moeite om de specifieke schade te identificeren wanneer de focus op de actieve site lag. Ho wel presteerde dit model beter wanneer de schade ernstiger was, maar het miste nog steeds de gerichte verstoringen die het enzym nutteloos maakten. De studie toont aan dat huidige computerprogramma's zeer kwetsbaar zijn voor deze fylogenetische sluiproutes, wat betekent dat ze gemakkelijk worden misleid door de familiegeschiedenis van een eiwit in plaats van de werkelijke functie ervan. De onderzoekers concluderen dat om echt betrouwbare instrumenten voor het begrijpen van biologie te bouwen, de volgende generatie modellen getraind moet worden met voorbeelden die deze structuurbewuste, defecte versies bevatten. Alleen door computers te leren het verschil te herkennen tussen een functionerende machine en een defecte machine, in plaats van alleen patronen te matchen, kunnen we modellen ontwikkelen die robuust genoeg zijn om de complexe realiteit van enzymfunctie aan te kunnen.