BioMod: Biological Module Tokenization for Single-Cell Foundation Modeling

Cellen zijn de fundamentele eenheden van het leven, elk met een unieke instructiehandleiding geschreven in een taal van genen. Wanneer wetenschappers willen begrijpen hoe een lichaam werkt, of waarom een ziekte de overhand krijgt, kijken ze vaak naar deze instructies in individuele cellen. Dit veld, bekend als single-cell biologie, stelt onderzoekers in staat om de afzonderlijke identiteit van elke cel in een weefsel te zien, van een kloppende hartspiercel tot een vechtende immuuncel. De enorme hoeveelheid data is echter overweldigend. Een enkele cel bevat duizenden actieve genen, en moderne experimenten kunnen miljoenen cellen tegelijk profileren. Om orde te scheppen in deze oceaan van informatie, hebben onderzoekers zich tot kunstmatige intelligentie gewend, specifiek "foundation models" (fundamentele modellen). Dit zijn krachtige computerprogramma's die getraind zijn op enorme datasets om de onderliggende regels van de biologie te leren, vergelijkbaar met hoe een taalmodel de regels van grammatica leert door het lezen van enorme bibliotheken aan tekst. Het doel is om een systeem te creëren dat een celtype kan herkennen, kan voorspellen hoe het zal reageren op een medicijn, of kan begrijpen hoe het verandert wanneer een gen wordt aangepast, allemaal zonder voor elke nieuwe vraag opnieuw getraind te hoeven worden.

De uitdaging was hoe men deze informatie in de computer kon voeren. De meeste bestaande modellen behandelen elk afzonderlijk gen in een cel als een apart woord in een zin. Als een cel 20.000 actieve genen heeft, moet de computer een sequentie van 20.000 items verwerken. Dit is rekentechnisch duurzaam en dwingt de AI om complexe relaties tussen genen vanaf nul uit te vogelen, waarbij de AI vaak worstelt met het feit dat veel genen stil of nauwelijks actief zijn in een gegeven cel. Een team van onderzoekers van het Shenzhen Loop Area Institute en de Chinese University of Hong Kong, Shenzhen, stelde een andere aanpak voor. Zij vroegen zich af of cellen efficiënter begrepen konden worden door genen in functionele teams te groeperen voordat de computer begint met zijn analyse. In de natuur werken genen zelden alleen; ze opereren in gecoördineerde groepen die pathways of modules worden genoemd om specifieke taken uit te voeren, zoals het bestrijden van infecties of het repareren van DNA. De onderzoekers hypotheseren dat als zij deze biologische teams als enkele eenheden konden vertegenwoordigen, de computer sneller zou leren, minder energie zou verbruiken en misschien de biologie dieper zou begrijpen.

Om dit idee te testen, ontwikkelde het team een nieuw model genaamd BioMod. In plaats van de computer een lijst van duizenden individuele genen te voeren, organiseerden zij de genen eerst in 660 overlappende biologische modules. Deze modules werden gebouwd uit een mix van bekende biologische pathways gevonden in wetenschappelijke databases en nieuwe gen groepen ontdekt door patronen in single-cell data te analyseren. Een enkel gen kan deel uitmaken van meerdere modules, wat de realiteit weerspiegelt dat een gen betrokken kan zijn bij verschillende biologische processen tegelijkertijd. Voor elke cel creëerden de onderzoekers een compacte representatie bestaande uit slechts 660 tokens, één voor elke module, in plaats van duizenden tokens voor individuele genen. Dit proces is vergelijkbaar met hoe een mens een lang verhaal zou samenvatten, niet door elk woord op te sommen, maar door de belangrijkste thema's en personages te identificeren. Het model werd vervolgens getraind op een enorme dataset van ongeveer 73 miljoen menselijke cellen, die 25 verschillende organen en weefsels beslaat, waaronder de hersenen, het bloed en de longen. Tijdens de training werd de computer geconfronteerd met de meeste van deze module-samenvattingen en moest hij de ontbrekende delen raden, wat de computer dwong om de diepe verbindingen tussen verschillende biologische programma's te leren.

De resultaten lieten zien dat deze methode van het groeperen van genen bijzonder goed werkte. BioMod, dat ongeveer 50 miljoen parameters bevat — een maatstaf voor de complexiteit ervan — was in staat om net zo goed als, en vaak zelfs beter dan, veel grotere modellen te presteren die miljarden parameters gebruiken en individuele genen verwerken. In tests die de identificatie van celtypen betroffen, classificeerde het model cellen over diverse weefsels met een hoge nauwkeurigheid, waarbij het vaak de eerdere state-of-the-art systemen overtrof. Het blonk ook uit in het voorspellen van hoe cellen zouden reageren op genetische veranderingen, zoals wanneer een specifiek gen wordt uitgeschakeld, en hoe kankercellen zouden reageren op verschillende medicijnen. Een van de meest significante bevindingen was de efficiëntie van het model. Omdat het een sequentie van slechts 660 items verwerkt in plaats van duizenden, draait het aanzienlijk sneller op computerhardware. Op een standaard high-performance grafische kaart kon BioMod honderden cellen per seconde verwerken, terwijl andere modellen moeite hadden om zelfs enkele tientallen te verwerken zonder het geheugen te overschrijden. Deze snelheid maakt het mogelijk om enorme datasets op een enkele machine te analyseren, een taak die voorheen dure, grootschalige computingclusters vereiste.

De onderzoekers wilden ook weten of de specifieke manier waarop zij de genen groepeerden er werkelijk toe deed, of dat het succes enkel te danken was aan de architectuur van het model. Om dit te achterhalen, creëerden zij een controleversie van het model waarbij de genen willekeurig in de modules werden gehusseld, waardoor de natuurlijke biologische relaties werden vernietigd terwijl het aantal modules en de structuur van het model exact hetzelfde bleven. Toen zij deze gehusselde versie testten, daalde de prestatie aanzienlijk. Het werd slechter in het identificeren van celtypen, het integreren van data uit verschillende experimenten en het voorspellen van medicijnreacties. Dit bevestigde dat de biologische organisatie van de genen niet slechts een handige afkorting was; de specifieke, betekenisvolle verbindingen tussen genen in de modules waren essentieel voor het succes van het model. De analyse onthulde verder dat het model had geleerd om op de juiste zaken te letten. Wanneer de onderzoekers keken naar welke modules het belangrijkst waren voor het identificeren van een specifiek celtype, ontdekten zij dat het model zwaar leunde op modules die bekende markergenen voor die cel bevatten. Als zij deze cruciale modules verborgen, stortte het vermogen van het model om de cel te identificeren in, wat bewees dat het de juiste biologische logica had geleerd in plaats van enkel patronen te memoriseren.

Dit werk suggereert dat de toekomst van biologische AI mogelijk niet ligt in het bouwen van steeds grotere modellen die proberen elk detail van een cel te verwerken, maar in het ontwerpen van systemen die de natuurlijke organisatie van de biologie respecteren. Door de complexe taal van genen te vertalen naar de functionele taal van biologische modules, laat BioMod zien dat een kleiner, efficiënter model superieure resultaten kan behalen. Het biedt een nieuwe manier om de enorme informatie van de cel te comprimeren tot een vorm die computers met gemak kunnen verwerken, wat de deur opent naar snellere en nauwkeurigere analyses van de menselijke gezondheid en ziekte. De studie beweert niet alle problemen in de single-cell biologie te hebben opgelost, maar levert sterk bewijs dat het direct integreren van biologische kennis in de structuur van AI-modellen kan leiden tot krachtigere en efficiëntere instrumenten voor het begrijpen van het leven op zijn meest fundamentele niveau.