Ark-ADMET: endpoint-specific selection of molecular representations and hyperparameters for gradient-boosted ADMET models under the Therapeutics Data Commons benchmark protocol

Het ontwikkelen van een nieuw medicijn is een proces van eliminatie dat lang voordat een pil de apotheek bereikt, al begint. Wetenschappers moeten voorspellen hoe een chemische verbinding zich in het menselijk lichaam zal gedragen, waarbij ze een reeks kritische vragen stellen: Wordt het door de darm geabsorbeerd? Reist het naar de hersenen? Breekt de lever het te snel af, of vergiftigt het het hart? Deze eigenschappen, gezamenlijk bekend als ADMET, bepalen of een veelbelovend molecuul een levensreddend medicijn wordt of een mislukt experiment. Omdat het testen van deze kenmerken in levende systemen traag en duur is, vertrouwen onderzoekers op computermodellen om duizenden kandidaten te screenen. Deze modellen fungeren als een filter, waarbij ze wiskundige patronen gebruiken om het lot van een molecuul te raden op basis van de vorm en de chemische samenstelling. De biologische processen die ze proberen te voorspellen zijn echter enorm verschillend van elkaar; een regel die helpt bij het voorspellen van levertoxiciteit, kan nutteloos zijn voor het voorspellen van hoe goed een medicijn oplost in water.

Jarenlang was de standaardaanpak in dit veld om een enkel, uniform computermodel toe te passen op elke individuele vraag. Onderzoekers namen één type wiskundige representatie van een molecuul en één specifiek algoritme, en draaiden diezelfde opstelling over alle tweeëntwintig verschillende biologische tests die beschikbaar zijn in een grote publieke database. Deze "one size fits all"-methode gaat ervan uit dat de beste manier om een molecuul voor de ene taak te beschrijven, ook de beste manier is voor elke andere taak. Een nieuwe studie daagt deze aanname uit. De onderzoekers achter het werk, bekend als Ark-ADMET, beargumenteren dat omdat deze biologische vragen zo verschillend zijn, de instrumenten die worden gebruikt om ze te beantwoorden, net zo gevarieerd moeten zijn. In plaats van één enkel recept op tweeëntwintig verschillende problemen te dwingen, wilden ze zien of het aanpassen van de aanpak voor elke specifieke vraag betere resultaten kon opleveren zonder geheel nieuwe technologie uit te vinden.

Het team werkte binnen de Therapeutics Data Commons, een grote publieke collectie gegevens die wordt gebruikt om te meten hoe goed verschillende computermodellen presteren. Ze richtten zich op tweeëntwintig specifieke eindpunten, variërend van hoe een medicijn door het bloed beweegt tot de vraag of het leverschade veroorzaakt. In plaats van vanaf nul een nieuw, complex neuraal netwerk te bouwen, namen ze een bewezen, betrouwbare motor genaamd een gradient-boosted tree-model en koppelden deze aan een flexibel selectieproces. Ze verzamelden een gereedschapskist met verschillende manieren om een molecuul te beschrijven. Deze gereedschapskist bevatte standaard chemische vingerafdrukken die de rangschikking van atomen in kaart brengen, driedimensionale metingen van de vorm van het molecuul en geavanceerde, door de computer gegenereerde embeddings die complexe structurele patronen vastleggen. Ze bevatten ook een secundair, eenvoudiger neuraal netwerk dat gemengd kon worden met het hoofdmodel.

De kern van hun werk was een strikt selectieprotocol ontworpen om bias te voorkomen. In veel studies zouden onderzoekers hun model kunnen aanpassen nadat ze de uiteindelijke testresultaten hebben gezien om de cijfers er beter uit te laten zien, maar dit introduceert bias. Om dit te voorkomen, splitste het team de gegevens zorgvuldig. Ze gebruikten een specifiek deel van de gegevens, een interne validatieset genoemd, om te beslissen welke instrumenten ze voor elk van de tweeëntwintig vragen zouden behouden. Als een nieuwe combinatie van moleculaire beschrijvingen of een kleine aanpassing aan de instellingen van het model de score op deze interne set verbeterde, behielden ze deze. Als dat niet het geval was, hielden ze vast aan de vorige versie. Cruciaal was dat ze de uiteindelijke, verborgen testgegevens nooit bekeken totdat elke beslissing definitief was vastgelegd. Dit verzekerde hen ervan dat elke verbetering die ze zagen echt was en geen gelukkige gok.

De resultaten lieten zien dat maatwerk werkt. Wanneer ze hun tweeëntwintig unieke, op maat gemaakte modellen vergeleken met een bevroren momentopname van de publieke ranglijst, kwam hun aanpak overeen met of versloeg deze de beste bestaande scores op zeven van de eenentwintig rangschikbare vragen. Op drie van die vragen waren hun scores strikt beter dan enig eerder geregistreerd resultaat. Zo verbeterden ze bijvoorbeeld de voorspelling van hoe snel een medicijn wordt afgebroken door levermicrosomen en hoe goed het bindt aan bloedeiwitten. De studie toonde aan dat er niet één enkele "beste" set kenmerken is die voor alles werkt. Voor sommige vragen hielp het toevoegen van een driedimensionale vormbeschrijving; voor andere maakte het de zaken juist slechter. Voor sommige was een specifiek type grafiekgebaseerde computer-embedding essentieel; voor andere werd het geheel genegeerd. Het enige kenmerk dat in elk model aanwezig bleef, was een kernblok van standaard chemische vingerafdrukken, maar de rest werd specifiek gekozen voor de taak in kwestie.

Interessant genoeg benadrukte de studie ook de beperkingen van data. De modellen die het best presteerden, waren over het algemeen die waarbij de onderzoekers een groot aantal trainingsvoorbeelden hadden om mee te werken. Voor de vragen waarbij de modellen lager scoorden, waren de datasets vaak erg klein en bevatten ze minder dan duizend voorbeelden. Dit suggereert dat wanneer er zeer weinig data is om van te leren, zelfs de slimste selectie van instrumenten niet gemakkelijk een beter antwoord kan vinden. De onderzoekers merkten ook op dat voor één specifieke taak die te maken heeft met de lipofiliteit van een medicijn, een ander type model, namelijk een message-passing netwerk, hun tree-gebaseerde aanpak versloeg, wat bewijst dat geen enkel algoritme superieur is voor elke speciele baan.

De bevindingen bieden een praktisch pad voorwaarts voor het vakgebied. De onderzoekers hebben aangetoond dat competitieve prestaties niet vereisen dat men een nieuwe, ongeteste architectuur uitvindt of een enkelvoudige set kenmerken op elk probleem projecteert. Door simpelweg de juiste combinatie van bestaande, gepubliceerde instrumenten te selecteren voor elke specifieke biologische vraag, bereikten zij resultaten van topniveau. Deze aanpak respecteert de unieke aard van elk biologisch eindpunt. Het suggereert dat de meest effectieve manier om het gedrag van medicijnen te voorspellen in de toekomst misschien niet is om een groter, complexer model te bouwen, maar om meer doordacht te zijn over welke specifieke instrumenten worden gebruikt om elke specifieke vraag te beantwoorden. De studie concludeert dat een uniform recept niet vereist is voor succes; in plaats daarvan biedt een op maat gemaakte aanpak, geworteld in rigoureuze validatie, een krachtig en toegankelijk alternatief voor het bevorderen van de ontdekking van medicijnen.