Dated public evidence and known genes for retrospective evaluation of gene prioritization

In het uitgestrekte landschap van de moderne geneeskunde proberen wetenschappers voortdurend te voorspellen welke genen de doelwitten voor nieuwe medicijnen zullen worden. Stel je een onderzoeker voor die voor een bibliotheek staat met miljoenen boeken over de menselijke biologie, waarbij hij probeert te raden welk specifiek deel het geheim bevat voor het genezen van een ziekte. Om deze gissingen te doen, bouwen ze computermodellen die leren van eerdere successen: ze kijken naar genen die al bekend zijn als effectieve medicijn-doelwitten en proberen de patronen te vinden die hen succesvol maakten. De hoop is dat deze patronen hen helpen om het volgende grote doelwit te spotten nog voordat er een medicijn is uitgevonden. Er bestaat echter een subtiele maar gevaarlijke valkuil in dit proces. De bibliotheken die deze modellen gebruiken, zijn geen statische collecties; het zijn levende collecties die elke dag groeien. Zodra een gen beroemd wordt en er een medicijn voor wordt ontwikkeld, stroomt er nieuwe informatie over dat gen de databases binnen. Als een computermodel leert van een database die is bijgewerkt nadat een gen beroemd is geworden, kan het simpelweg de feiten memoriseren dat het gen beroemd is, in plaats van de biologische redenen te leren waarom het werkt. Dit is als het proberen te voorspellen van de winnaar van een race door naar een scorebord te kijken dat de uitslagen al vermeldt; de voorspelling is technisch correct, maar het vertelt je niets over de werkelijke snelheid of strategie van de loper.

Dit probleem, bekend als "informatielekkage", heeft het moeilijk gemaakt om de prestaties van veel tools voor gen-prioritering te vertrouwen. Onderzoekers vermoeden al lang dat deze tools overpresteren omdat ze per ongeluk in de toekomst gluren. Om dit op te lossen, heeft een team bij Pfizer een nieuwe, nauwgezet tijdgestempelde dataset gecreëerd die wetenschappers in staat stelt de geschiedenis exact te herbeleven zoals die zich heeft afgespeeld. In plaats van de huidige, bijgewerkte versie van publieke databases te gebruiken, laat deze nieuwe bron onderzoekers de tijd bevriezen op elk gewenst punt in het afgelopen decennium. Ze kunnen het computermodel een voorspelling laten doen met alleen de informatie die op een specifieke datum publiekelijk beschikbaar was, en vervolgens controleren of het model de genen die later beroemd werden, correct had geïdentificeerd. Deze aanpak ontneemt het voordeel van het vooraf kennen van de uitkomst, waardoor de modellen gedwongen worden om te vertrouwen op echte biologische signalen in plaats van de ruis van geaccumuleerde wetenschappelijke kennis.

De kern van dit werk is een enorme collectie bewijstabellen die vier belangrijke gebieden van de geneeskunde beslaan: kanker, inflammatoire darmziekte, metabolisme en psoriasis. De onderzoekers verzamelden gegevens uit twintig verschillende publieke bronnen, zoals klinische trial-registers, genetische databases en eiwitkaarten. Voor elk stukje informatie in deze tabellen hebben ze twee cruciale metadata toegevoegd: een releasedatum en een "lekkage"-classificatie. De releasedatum vertelt de computer precies wanneer die specifieke informatie voor het eerst openbaar werd. De lekkage-classificatie fungeert als een filter die de gegevens sorteert op basis van hoe waarschijnlijk het is dat ze beïnvloed zijn door de geschiedenis van de medicijnontwikkeling. Sommige datapunten vertegenwoordigen pure biologie, zoals de fysieke structuur van een eiwit of de locatie ervan in het lichaam, wat zou bestaan ongeacht of er ooit iemand een medicijn voor zou proberen te maken. Andere datapunten vertegenwoordigen de geschiedenis van het onderzoek zelf, zoals het aantal wetenschappelijke artikelen dat over een gen is geschreven of het aantal klinische studies dat het heeft getest. De laatste groep is zeer verdacht omdat het volume van het onderzoek vaak pas toeneemt nadat een gen al bekend is als belangrijk.

Door de gegevens op deze manier te organiseren, heeft het team vijf verschillende "feature sets", of versies van de dataset, gecreëerd, variërend van de volledige collectie tot een "alleen-biologie"-versie die alle onderzoekshistorie en medicijnontwikkelingsgegevens uitsluit. Dit stelt wetenschappers in staat om hun modellen onder verschillende omstandigheden te testen. Ze kunnen zien of een model goed werkt wanneer het alleen de rauwe biologische feiten mag zien, of dat het alleen goed presteert wanneer het de geaccumuleerde geschiedenis van menselijk onderzoek mag zien. De dataset bevat ook een lijst van 19 groepen "bekende genen", elk met een precieze datum die markeert wanneer dat gen voor het eerst een bekend doelwit of een associatie met een ziekte werd. Voor kankerdoelwitten is deze datum bijzonder strikt: het is de dag waarop een klinisch trial-register voor het eerst liet zien dat een trial voor dat specifieke gen was gestart, wat ervoor zorgt dat het model niet over de trial had kunnen weten voordat deze openbaar werd.

Toen de onderzoekers deze tools testten, ontdekten ze dat de timing van de gegevens enorm veel uitmaakt. Ze ontdekten dat veel kenmerken die vandaag de dag nuttig lijken, eigenlijk slechts reflecties zijn van hoeveel een gen is bestudeerd. Bijvoorbeeld, het aantal wetenschappelijke artikelen of het aantal verbindingen dat een gen heeft in een netwerk, heeft de neiging te pieken nadat een gen een medicijn-doelwit wordt. Als een model deze kenmerken gebruikt, gebruikt het in feft de antwoordenlijst. De nieuwe dataset onthulde dat wanneer je deze "geschiedenis"-kenmerken verwijdert en alleen kijkt naar de biologie die bestond voordat het gen beroemd werd, de prestaties van veel modellen aanzienlijk dalen. Dit suggereert dat eerdere evaluaties van deze tools waarschijnlijk te optimistisch waren omdat ze geen rekening hielden met deze lekkage. De studie vond geen enkel wondermiddel dat alle medicijn-doelwitten voorspelt, maar bood wel een rigoureuze manier om echte biologische inzichten te scheiden van de ruis van onderzoeksvolume.

De onderzoekers controleerden ook de betrouwbaarheid van hun eigen datums en labels. Ze hebben honderden klinische trial-records handmatig beoordeeld om te garanderen dat de datums die ze aan genen toewezen, accuraat waren. Ze ontdekten dat hoewel geautomatiseerde systemen over het algemeen goed functioneren, ze soms de plank misslaan, met name wanneer een trial wordt geregistreerd nadat deze al is gestart of wanneer een medicijn voor een andere aandoening wordt getest dan waarvoor het bestudeerd wordt. Door deze datums te corrigeren, hebben ze ervoor gezorgd dat de "tijdsmachine" die ze gebouwd hebben, accuraat is. Ze verifieerden ook dat de biologische kenmerken, zoals de grootte van het buitenste oppervlak van een eiwit, stabiel bleven over de tijd en niet plotseling veranderden enkel omdat een gen beroemd werd. Deze stabiliteit bevestigt dat de biologie-gebaseerde kenmerken betrouwbaar zijn en niet lijden onder dezelfde problemen met tijdslekkage als de kenmerken van onderzoeksvolume.

Uiteindelijk biedt dit werk een nieuwe standaard voor hoe computer modellen in de biologie te testen. Het verschuift de focus van de vraag "Werkt dit model op de huidige data?" naar "Zou dit model deze resultaten hebben kunnen voorspellen als het alleen wist wat er op dat moment bekend was?". De dataset bevat 183 gearchiveerde releases van publieke bronnen, waardoor iedereen de staat van de wetenschappelijke kennis op elk kwartaal einde tussen 2016 en 2024 kan reconstrueren. Dit betekent dat een wetenschapper nu een nieuwe methode kan nemen, deze kan testen tegen de data zoals die bestond in 2018, en kan zien of het de genen die in 2020 doelwitten werden, succesvol had geïdentificeerd. Als het faalt, is de methode niet zo krachtig als het leek. Als het slaagt, is het resultaat veel geloofwaardiger.

De implicaties hiervan zijn diepgaand voor de toekomst van de medicijnontwikkeling. Door gebruik te maken van deze gedateerde, lekken-vrije datasets, kunnen onderzoekers stoppen met het bouwen van modellen die simpelweg de geschiedenis van de wetenschap memoriseren en beginnen met het bouwen van modellen die de biologie van ziekten werkelijk begrijpen. De dataset garandeert niet dat er morgen een nieuw medicijn wordt gevonden, maar het zorgt ervoor dat de instrumenten die worden gebruikt om het te vinden, zichzelf niet voor de gek houden. Het biedt een manier om onderscheid te maken tussen een signaal dat werkelijk biologisch is en een signaal dat slechts een reflectie is van hoeveel aandacht een gen heeft gekregen. In een veld waar de belangen groot zijn en de data overweldigend zijn, is deze helderheid het meest waardevolle hulpmiddel van allemaal. De onderzoekers hebben het probleem van het vinden van nieuwe medicijnen niet opgelost, maar ze hebben een betere kompas gebouwd voor de reis, een die echt noorden aanwijst in plaats van de plekken waar andere reizigers al zijn geweest.