Quantifying the Provenance-to-Function Gap in Antidiabetic Peptide Prediction: Homology-Aware Evaluation and the ADP-Hybrid Baseline

Diabetes is een aandoening waarbij het lichaam moeite heeft met het reguleren van de bloedsuikerspiegel, een probleem dat honderden miljoenen mensen wereldwijd treft. Om dit te behandelen, zijn wetenschappers steeds meer geïnteresseerd in peptiden, wat kleine, korte ketens van aminozuren zijn die fungeren als biologische signalen. Sommige van deze peptiden kunnen de bloedsuikerspiegel verlagen, en onderzoekers hopen nieuwe peptiden te vinden om als medicijn te gebruiken. Omdat er miljarden mogelijke peptidevolgordes bestaan, is het onmogelijk om ze allemaal in een laboratorium te testen. In plaats daarvan gebruiken wetenschappers computerprogramma's om te voorspellen welke volgordes zouden kunnen werken, in de hoop de nutteloze eruit te filteren voordat er tijd en geld aan experimenten wordt verspild. Deze programma's leren van bestaande gegevens: ze krijgen voorbeelden te zien van peptiden waarvan bekend is dat ze werken en van peptiden die dat niet doen, en ze proberen de patronen te vinden die het verschil maken. Het doel is dat de computer de ware regels van de biologie leert, zodat deze een nieuwe, veelbelovende peptide kan herkennen die nog nooit eerder is gezien.

Een recente studie suggereert echter dat de computerprogramma's die voor deze taak worden gebruikt, mogelijk de verkeerde lessen leren. De onderzoekers namen een populaire benchmark — een standaard dataset die wordt gebruikt om deze voorspellingsinstrumenten te testen — en bekeken nauwgezet hoe de gegevens waren georganiseerd. Ze ontdekten dat de computer niet noodzakelijkerwijs leerde wat een peptide effectief maakt tegen diabetes. In plaats daarvan leerde de computer te herkennen uit welk groot eiwit de peptide afkomstig was. In de wereld van de biologie is een peptide vaak slechts een klein fragment dat uit een veel groter eiwit is geknipt, zoals een stukje van een puzzel. De studie toonde aan dat bepaalde soorten diabetesbehandelingen in de trainingsdata bijna altijd verbonden waren aan specifieke bron-eiwitten. Zo kwamen peptiden die gelinkt waren aan het ene type diabetes bijna uitsluitend voort uit menselijke insuline, terwijl die voor een ander type diabetes afkomstig waren van eiwitten uit koemelk. Omdat de computer deze patronen herhaaldelijk zag, leerde hij het antwoord te raden door simpelweg het bron-eiwit te identificeren, in plaats van de chemische eigenschappen te begrijpen die de peptide daadwerkelijk laten werken.

Dit probleem staat bekend als een "provenance-to-function gap" (een kloof tussen herkomst en functie). Dit betekent dat de afstand tussen waar de computer op wordt getest en de werkelijke functie die het moet voorspellen, te groot is. De onderzoekers toonden aan dat wanneer de gegevens willekeurig worden gesplitst voor testen, de computer zeer hoge scores behaalt omdat hij de bron-eiwitten die hij eerder heeft gezien gemakkelijk kan herkennen. Maar toen ze de tests opnieuw uitvoerden op een manier die de computer de kans ontnam om peptiden van dezelfde bron in zowel de trainingsgroep als de testgroep te zien, daalden de scores aanzienlijk. De computer kon niet langer vertrouwen op het herkennen van de bron, maar moest vertrouwen op de werkelijke chemische signalen. In deze strengere test zakte de prestatie van de complexe, meerlaagse modellen die voorheen als state-of-the-art werden gevierd, terug naar het niveau van veel eenvoudigere modellen. Sterker nog, één enkel, rechtlijnig computermodel presteerde net zo goed als de uitgebreide, meerdelige systemen, maar deed dit veel sneller en met veel minder rekenkracht.

De studie onthulde ook dat de lengte van de peptide zelf een belangrijke aanwijzing was die de computer gebruikte. De peptiden die werkten voor het ene type diabetes waren gemiddeld veel korter dan die voor het andere type. Een eenvoudig model dat alleen naar de lengte van de peptide keek, kon het type diabetes in ongeveer 62 procent van de gevallen correct identificeren, een resultaat dat verrassend hoog is voor een zo basische eigenschap. Dit suggereert dat de complexe modellen niet noodzakelijkerwijs diepe, verborgen biologische geheimen vonden, maar in plaats daarvan vertrouwden op deze voor de hand liggende, gemakkelijk te herkennen kenmerken zoals lengte en het bron-eiwit. De onderzoekers testten zestien andere datasets voor verschillende soorten peptide-activiteiten, zoals het bestrijden van bacteriën of virussen, en vonden dat ditzelfde probleem van bron-eiwitbias in de meeste van deze gevallen voorkwam. Het lijkt een veelvoorkomstige fout te zijn in de manier waarop deze datasets worden opgebouwd, waarbij de manier waarop de gegevens worden verzameld onbedoeld het antwoord koppelt aan de bron in plaats van aan de functie.

De onderzoekers wezen niet alleen op het probleem; ze boden ook een oplossing aan. Ze creëerden een nieuw, eenvoudiger model genaamd ADP-Hybrid, dat een enkele beslissingsboom gebruikt voor elke laag van de voorspelling. Dit model bereikte dezelfde nauwkeurigheid als de complexe, gepubliceerde modellen bij de eerste laag van de test, maar het was twintig tot drieëndertig keer sneller in gebruik. Belangrijker nog, dit eenvoudigere model bleek beter bestand te zijn wanneer de onderzoekers de gemakkelijke afkortingen, zoals het herkennen van het bron-eiwit, verwijderden. De studie concludeert dat de hoge scores die in voorgaande jaren werden gerapporteerd, waarschijnlijk opgeblazen waren door de manier waarop de gegevens werden gesplitst, waardoor de computers de bron van de peptiden konden onthouden in plaats van de wetenschap te leren hoe ze werken. De auteurs betogen dat toekomstige studies moeten controleren op deze verborgen patronen en moeten waarborgen dat de trainings- en testgegevens werkelijk gescheiden zijn in hun biologische oorsprong. Door dit te doen, kunnen wetenschappers instrumenten bouwen die daadwerkelijk helpen bij het ontdekken van nieuwe medicijnen, in plaats van enkel instrumenten die goed zijn in het raden waar een peptide vandaan komt.