Model Rankings in Drug–Target Affinity Prediction Vary Across Evaluation Regimes: A Controlled Multi-Seed Study of Model-Comparison Reliability

In de race naar de ontdekking van nieuwe medicijnen worden wetenschappers vaak geconfronteerd met een ontmoedigende taak: het vinden van de juiste sleutel voor een specifiek slot. De "sleutels" zijn kleine moleculen, potentiële medicijnen, en de "sloten" zijn eiwitten in het menselijk lichaam die ziekten aansturen. Wanneer een medicijn goed past in een eiwit, kan het een ziekteproces stoppen of een defecte functie herstellen. Het voorspellen hoe sterk een medicijn bindt aan een eiwit is een cruciale stap bij het screenen van miljoenen kandidaten, waardoor onderzoekers hun middelen kunnen richten op de meest veelbelovende opties. Jarenlang zijn computermodellen getraind om deze voorspellingen te doen, door te leren van enorme databases van bekende interacties tussen medicijnen en eiwitten. Het doel is altijd geweest om een model te bouwen dat accuraat de sterkte van een binding kan raden die het nog nooit eerder heeft gezien, of dat nu betekent dat het voorspelt hoe een nieuw medicijn zich zal gedragen tegenover een bekend eiwit, of hoe een bekend medicijn zou kunnen interageren met een volledig nieuw eiwitdoelwit.

Een nieuwe studie van de Harbin Normal University suggereert echter dat het antwoord op de vraag "welk model is het beste" volledig afhangt van de gestelde vraag. De onderzoekers, Haobo Kui en Xinyuan Cui, wilden testen of de rangschikkingen van deze computermodellen stabiel blijven wanneer de regels van het spel veranderen. In de echte wereld van medicijnontwikkeling kan een model gevraagd worden om interacties te voorspellen voor een medicijn dat nog nooit eerder is gezien, of voor een eiwit dat nog nooit eerder is gezien, of voor een combinatie van beide. Het team ontdekte dat een model dat wint in het ene scenario, kan verliezen in een ander, en dat de volgorde waarin modellen worden gerangschikt volledig kan omdraaien afhankelijk van de specifieke testomstandigheden. Hun werk, dat meer dan honderd zorgvuldig gecontroleerde experimenten omvatte, laat zien dat er niet één enkel "beste" model is voor alle situaties; in plaats daarvan hangt de juiste keuze af van het afstemmen van het model op de specifieke generalisatie-uitdaging waarmee het wordt geconfronteerd.

Om de omvang van dit onderzoek te begrijpen, stel je een laboratorium voor waar wetenschappers vijf verschillende soorten motoren testen. In een standaardtest zouden ze alle motoren op een glad, bekend circuit kunnen rijden. Maar in de echte wereld moeten sommige motoren bijvoorbeeld glad ijs kunnen aan, terwijl andere door steile bergpassen moeten navigeren. Kui en Cui bouwden een rigoureus testkader om te zien of de motor die wint op het gladde circuit ook wint op het ijs of in de bergen. Ze gebruikten twee enorme, opgeschoonde databases van interacties tussen medicijnen en eiwitten, met meer dan 118.000 records uit de ene bron en meer dan 30.000 uit de andere. Vanuit deze data creëerden ze drie verschillende testomgevingen. De eerste was een "warme" instelling, waarbij het model werd getest op medicijnen en eiwitten die het al had gezien tijdens de training, wat in feite meet hoe goed het kan onthouden en interpoleren wat het heeft geleerd. De tweede was een "cold-drug" instelling, waarbij het model interacties moest voorspellen voor geheel nieuwe chemische verbindingen die het nog nooit eerder was tegengekomen. De derde was een "cold-target" instelling, waarbij het model te maken kreeg met geheel nieuwe eiwitsequenties, wat de uitdaging simuleert van het vinden van een medicijn voor een nieuw ontdekt ziektemechanisme.

De onderzoekers hebben de modellen niet simpelweg één keer gedraaid en de resultaten genoteerd. Om ervoor te zorgen dat hun bevindingen geen toevalstreffer waren door willekeurige kans, hebben ze elk experiment drie keer uitgevoerd met licht verschillende startcondities, een techniek die bekend staat als het gebruik van meerdere "seeds". Ze vergeleken drie verschillende manieren om informatie over medicijnen en eiwitten te combineren, samen met twee gevestigde baseline-methoden, waarbij ze ervoor zorgden dat alle modellen ongeveer dezelfde hoeveelheid rekenkracht hadden. In totaal voerden ze 126 afzonderlijke training-runs uit, waarbij de datapartities en evaluatieregels overal identiek werden gehouden. Cruciaal was dat ze de definitieve testresultaten geheim hielden totdat elke run volledig was voltooid, om accidentele bias te voorkomen waarbij het model zou kunnen worden aangepast om bij de testdata te passen. Deze strikte, controleerbare aanpak stelde hen in staat om elk resultaat terug te leiden naar de bron, wat de integriteit van hun vergelijking waarborgde.

De resultaten waren opvallend en contra-intuïtief. Wanneer de onderzoekers naar de rangschikkingen van de modellen onder de "warme" omstandigheden keken, presteerde één model consequent beter dan de anderen. Echter, toen ze overschakelden naar het "cold-drug" scenario, verschoven de rangschikkingen drastzijdig. In het meest extreme geval, waarbij de grotere dataset werd gebruikt, was de volgorde van de modellen voor het "cold-target" scenario precies het tegenovergestelde van de volgorde voor het "cold-drug" scenario. Een model dat de duidelijke winnaar was voor het voorspellen van interacties met nieuwe eiwitten, werd de duidelijke verliezer wanneer het werd gevraagd om interacties met nieuwe medicijnen te voorspellen. Deze volledige omkering, gemeten met een statistisch instrument dat rangschikkingen vergelijkt, toonde aan dat het succes van een model geen absolute kwaliteit is, maar een relatieve die verandert met de context.

Bovendien benadrukte de studie dat de resultaten zelfs binnen hetzelfde testscenario niet altijd perfect stabiel waren. Wanneer ze naar de individuele runs keken in plaats van alleen naar het gemiddelde, ontdekten de onderzoekers dat de exacte volgorde van de modellen van de ene training-run naar de andere kon variëren. Dit betekent dat het vertrouwen op een enkele experiment om een winnaar uit te roepen riskant is, omdat de uitkomst beïnvloed kan worden door de willekeurige ruis van het trainingsproces. Door meerdere seeds te gebruiken, kon het team het volledige beeld zien van hoe betrouwbaar de prestaties van een model werkelijk was. Ze ontdekten dat hoewel sommige modellen consistente voordelen vertoonden in specifieke gebieden, zoals de "cold-drug" setting waar bepaalde fusiestrategieën beter presteerden over beide datasets, geen enkel model elke metriek en elk scenario domineerde.

De onderzoekers verkenden ook hoe deze bevindingen vertalen naar een praktische toepassing door te kijken naar een specif specifiek, onbekend eiwitdoelwit genaamd VEGFR2, dat betrokken is bij de groei van bloedvaten en een belangrijk doelwit is voor kankertherapieën. Met behulp van de bevroren voorspellingen uit hun experimenten simuleerden ze hoe verschillende modellen potentiële medicijnkandidaten zouden rangschikken voor dit specifieke doelwit. Ze ontdekten dat de modellen verschillende lijsten van topkandidaten produceerden. Het ene model kan een specifiek bestanddeel rangschikken als de beste keuze, terwijl een ander model dit bestanddeel veel lager plaatst. Dit toonde aan dat de keuze van een model niet slechts een academische oefening is; het heeft direct invloed op welke medicijnkandidaten wetenschappers in een laboratorium zullen testen. Als een onderzoeker een model kiest op basis van de prestaties in een "warme" setting, kan hij erdoorheen worden gerekend de verkeerde verbindingen prioriteit te geven voor een nieuw doelwit.

Uiteindelijk dient deze studie als een vitale gids voor de toekomst van computationele medicijnontwikkeling. Het spreekt zich uit tegen het idee van een universeel kampioensmodel dat op elke probleem kan worden toegepast. In plaats daarvan suggereert het dat de betrouwbaarheid van modelvergelijkingen afhangt van het afstemmen van de evaluatiemethode op de beoogde toepassing. Als het doel is om medicijnen voor nieuwe doelwitten te vinden, moet het model worden getest op nieuwe doelwitten. Als het doel is om nieuwe medicijnen voor bekende doelwitten te vinden, moet het model worden getest op nieuwe medicijnen. De onderzoekers concluderen dat voor een werkelijk betrouwbare modelselectie, de selectie scenario-afgestemd, multi-seed en controleerbaar moet zijn. Door te begrijpen dat rangschikkingen verschuiven over verschillende evaluatieregimes, kunnen wetenschappers weloverwogen beslissingen nemen, waardoor zij ervoor zorgen dat de instrumenten die zij gebruiken geschikt zijn voor de specifieke uitdagingen in de pijplijn van medicijnontwikkeling.