Genetic Perturbation Prediction Models Fail Out-of-Distribution: A Rigorous Benchmark and Systematic Evaluation

Stel je een wereld voor waarin wetenschappers de reactie van een levende cel op een specifieke genetische verandering zouden kunnen voorspellen zonder ooit het experiment in een laboratorium te hoeven uitvoeren. Dit is de belofte van "virtuele cel"-modellen, computerprogramma's die ontworpen zijn om de effecten te simuleren van het aan- of uitzetten van genen. In de echte wereld gebruiken onderzoekers krachtige instrumenten om genen één voor één uit te schakelen en vervolgens de resulterende veranderingen in de activiteit van de cel te meten, een proces dat traag, duur en moeilijk schaalbaar is. Als een computer deze uitkomsten nauwkeurig zou kunnen voorspellen, zou het fungeren als een enorme afkorting, waardoor medicijnontwikkelaars duizenden potentiële behandelingen in een fractie van de tijd kunnen screenen. Jarenlang heeft het vakgebied geraceerd om deze modellen te bouwen, waarbij veel onderzoekers erop wedden dat complexere kunstmatige intelligentiesystemen de taak uiteindelijk het hoofd zouden kunnen bieden.

Echter, een nieuwe studie suggereert dat de huidige generatie van deze modellen faalt voor een cruciale test. De onderzoekers achter dit werk, een team van Elucidata Corporation, wilden zien of deze computerprogramma's werkelijk de biologische regels van het leven leren of dat ze simpelweg patronen uit de data die ze gevoed kregen, onthouden. Ze ontdekten dat hoewel de modellen onder standaard testcondities goed lijken te werken, ze instorten wanneer ze gevraagd worden de effecten van genen te voorspellen die ze nog nooit eerder hebben gezien. De studie onthult dat de meest geavanceerde modellen, inclusief die gebouwd op de nieuwste foundation-technologieën, geen echt voordeel bieden ten opzichte van veel eenvoudigere methoden. In plaats van de onderliggende machinerie van de cel te begrijpen, zijn deze programma's in essentie aan het gokken op basis van gelijkenis met eerdere voorbeelden, een strategie die bezwijkt wanneer men wordt geconfronteerd met nieuwe, onbekende biologische scenario's.

Om te begrijpen waarom dit ertoe doet, moet men eerst de aard van de uitdaging begrijpen. Wanneer wetenschappers genen bestuderen, kijken ze naar hoe de interne instructies van de cel veranderen wanneer een specifiek gen wordt verwijderd. In een typisch experiment testen ze misschien honderden genen in één enkel type cel. Het doel voor een computermodel is om te leren van deze honderden voorbeelden en vervolgens te voorspellen wat er zou gebeuren als een ander gen, een gen dat het nog nooit eerder is tegengekomen, wordt verwijderd. Dit is een moeilijke taak omdat de relatie tussen een gen en een effect niet altijd voor de hand ligt; het hangt af van een complex web van interacties binnen de cel. De standaardmanier om deze modellen te testen is door de data willekeurig te splitsen, waarbij de computer enkele genen krijgt om van te leren en enkele anderen om te voorspellen. Het probleem met deze aanpak is dat de "nieuwe" genen vaak biologisch vergelijkbaar zijn met de genen die de computer al kent. Het is also': een student vragen een toets te maken waarbij de vragen slechts lichte variaties zijn van de vragen waarvoor hij heeft gestudeerd. De student kan een perfect cijfer halen, niet omdat hij het onderwerp begrijpt, maar omdat hij het patroon herkende.

Het team achter deze studie, geleid door Kanupriya Tiwari en collega's, besloot de spelregels te veranderen. Ze introduceerden een nieuw testkader genaamd EL-PERTURB, ontworpen om deze modellen te testen onder realistische omstandigheden. In plaats van willekeurige splitsingen, groepeerden ze de genen op basis van hoe ze daadwerkelijk het gedrag van de cel beïnvloedden. Vervolgens dwongen ze de modellen om de effecten van genen uit een volledig andere groep te voorspellen, waardoor werd gewaarborgd dat de testgenen functioneel verschillend waren van de trainingsgenen. Deze opzet bootst een scenario in de echte wereld na, waarbij een medicijnontwikkelaar het effect van een gen moet voorspellen dat nog nooit eerder is bestudeerd. Ze testten twintig verschillende modellen, variërend van eenvoudige statistische instrumenten tot complexe deep learning-systemen, inclusief die die gebruikmaken van enorme vooraf getrainde databases van biologische kennis. Ze voerden deze tests uit op data van vier verschillende menselijke cellijnen, die zowel essentiële genen, die cruciaal zijn voor het overleven van de cel, als een bredere set genen besloegen die in genome-wide screens worden gevonden.

De resultaten waren schokkend en consistent. Wanneer de modellen werden getest op genen die vergelijkbaar waren met hun trainingsdata, presteerden ze redelijk goed, wat bevestigde dat ze konden interpoleren, of de gaten konden opvullen tussen bekende voorbeelden. Maar toen de onderzoekers de nieuwe, strengere test toepasten met functioneel verschillende genen, daalde de prestatie van elk model drastisch. De complexe modellen, waaronder geavanceerde neurale netwerken en systemen gebouwd op foundation-modellen getraind op enorme hoeveelheden biologische tekst en data, presteerden niet beter dan de veel eenvoudigere baselines. Sterker nog, in sommige gevallen hielden de eenvoudigere modellen de stand iets beter vol. De studie vond dat de meest geavanceerde architecturen geen betrouwbaar voordeel boden bij het omgaan met deze nieuwe, onbekende biologische situaties. De modellen leerden niet de causale logica van hoe genen cellen aansturen; ze waren slechts bezig met het ophalen van antwoorden uit een onthouden buurt van vergelijkbare voorbeelden.

De onderzoekers onderzochten ook of het gebruik van data van meerdere celtypen de modellen kon helpen om beter te generaliseren. Ze ontdekten dat deze aanpak alleen werkte wanneer de biologische reacties over de verschillende celtypen zeer vergelijkbaar waren, zoals bij essentiële genen die gemeenschappelijke stressreacties triggeren. Echter, wanneer ze overgingen naar genome-wide screens, die betrokken zijn bij een veel diversere en chaotischere set biologische reacties, verdween het voordeel van het gebruik van meerdere celtypen volledig. In deze complexe scenario's slaagden de modellen er niet in om kennis effectief over te dragen, en de meest succesvolle voorspellers waren vaak de eenvoudigste, zoals basis regressietools of methoden die vertrouwden op het ophalen van bekende biologische feiten in plaats van het leren van de data zelf. Dit suggereert dat de bottleneck niet het ontwerp van het model is, maar de aard van de data en het gebrek aan een werkelijk begrip van de causale mechanismen die het gedrag van de cel aansturen.

Een ander belangrijk bevinding betrof het gebruik van "foundation models", die grote kunstmatige intelligentiesystemen zijn die zijn voorgetraind op enorme datasets van genetische informatie. Veel onderzoekers hoopten dat deze systemen, die algemene biologische patronen hebben geleerd, een voorsprong zouden bieden bij het voorspellen van specifieke geneffecten. De studie testte embeddings, of digitale representaties van genen, afgeleid van deze foundation-modellen en vergeleek ze met representaties die zijn opgebouwd uit gecureerde, handgekozen biologische kennis. De resultaten toonden aan dat de foundation model embeddings geen verbetering boden ten opzichte van de gecureerde kennis. In sommige configuraties maakten ze de voorspellingen zelfs iets slechter. Dit geeft aan dat de huidige generatie van deze grote modellen nog niet de specifieke causale informatie bevat die nodig is om te voorspellen hoe een cel zal reageren op een genetische verandering, al is het maar op een manier die de eenvoudigere, directere bronnen van biologische kennis overtreft.

De studie concludeert dat het vakgebied de capaciteiten van deze modellen heeft overschat omdat de standaard testmethoden te makkelijk zijn. Door te vertrouwen op willekeurige splitsingen en ruime hoeveelheden trainingsdata, hebben eerdere benchmarks modellen succes laten hebben door middel van interpolatie in plaats van echte extrapolatie. De auteurs stellen dat de gemeenschap, om vooruit te gaan, striktere evaluatiestandaarden moet adopteren die modellen dwingen om werkelijk nieuwe biologische uitdagingen aan te gaan. Ze stellen voor dat toekomstige modellen verder moeten gaan dan patroonherkenning en daadwerkelijk de causale structuur van de biologie moeten coderen, waarbij ze begrijpen hoe een perturbatie zich door een netwerk van interacties voortplant om een specifiek resultaat te produceren. Tot die tijd blijft de belofte van een "virtuele cel" die betrouwbaar wet-lab experimenten kan vervangen, buiten bereik, en zullen de meest effectieve instrumenten voor het voorspellen van genetische effecten waarschijnlijk nog steeds de eenvoudigere, meer transparante methoden zijn die over het hoofd zijn gezien in de haast naar complexiteit.