Single-cell foundation models benefit from cross-modal training: adding proteomics data beats parameter scaling

In elke levende cel vindt een complexe conversatie plaats, geschreven in twee verschillende talen. Eén taal bestaat uit RNA, moleculen die instructies bevatten voor het bouwen van eiwitten, de werkpaarden die een cel in leven en in functie houden. Wetenschappers hebben jaren besteed aan het leren lezen van deze RNA-berichten en hebben enorme digitale bibliotheken gecreëerd die beschrijven hoe cellen zich gedragen in gezondheid en ziekte. Deze bibliotheken zijn zo groot geworden dat onderzoekers nu krachtige computerprogramma's gebruiken, bekend als foundation models, om patronen binnen hen te vinden. Deze programma's leren de unieke handtekeningen van verschillende celtypen te herkennen, vergelijkbaar met een bibliothecaris die direct het genre van een boek kan identificeren aan de hand van de cover. Lange tijd was de heersende overtuiging dat de enige manier om deze programma's slimmer te maken, het voeden met steeds meer RNA-data was, in de hoop dat louter volume uiteindelijk elk geheim van het cellulaire leven zou onthullen.

Echter, cellen spreken meer dan één taal. Naast RNA produceren ze eiwitten, de werkelijke structuren die de taken van de cel uitvoeren. Terwijl RNA de cel vertelt wat er gebouwd moet worden, zijn eiwitten de eindproducten. Tot voor kort negeerden de meeste computermodellen van cellen deze eiwitten en concentreerden zij zich uitsluitend op de RNA-instructies. Dit liet een gat achter in het begrip, aangezien de instructies niet altijd overeenkomen met de uiteindelijke uitkomst. De vraag die wetenschappers bezighield, was of het toevoegen van deze tweede laag informatie — de eiwitdata — de computerprogramma's meer kon leren dan het simpelweg toevoegen van meer RNA-data ooit zou kunnen. Het was een test van de vraag of kwaliteit en variëteit in informatie beter zouden presteren dan de eenvoudige strategie om het model groter te maken en het meer van hetzelfde te voeren.

Een team van onderzoekers zette zich in om dit te beantwoorden door een computermodel te trainen op een nieuw soort data. Ze begonnen met een bestaand model dat al had geleerd van honderden miljoenen RNA-monsters. In plaats van het alleen maar meer RNA te voeren, introduceerden ze het aan een enorme collectie eiwitprofielen. Deze profielen kwamen uit 440 verschillende studies die gebruikmaakten van massaspectrometrie, een techniek die de specifieke aanwezige eiwitten in een cel meet. De onderzoekers begeleidden het model zorgvuldig om te leren van deze 48.843 eiwitmonsters, een proces dat zij cross-modal continued pretraining noemden. Dit betekende dat het model moest leren hoe de eiwittaal zich verhield tot de RNA-taal die het al kende, wat het model effectief leerde de cel te begrijpen via zowel de instructies als de eindproducten.

De resultaten waren opmerkelijk. De onderzoekers trainden een model met 70 miljoen parameters, een maatstaf voor de complexiteit, op deze gemengde data voor slechts één passage door de eiwitmonsters. Wanneer ze dit model testten, presteerde het even goed als, of zelfs beter dan, modellen die vele malen groter waren en alleen op RNA getraind waren. Specifiek gezien kwam het kleinere model met eiwitdata overeen met of overtrof de prestaties van RNA-only modellen met 1 miljard en 3 miljard parameters. Deze bevinding daagt het idee uit dat de enige weg naar een beter begrip simpelweg het opschalen van de grootte van het model en de hoeveelheid RNA-data is. In plaats daarvan suggereert het dat het introduceren van een ander type biologische data een veel efficiëntere stimulans kan geven aan de intelligentie van het model.

De voordelen van deze aanpak strekten zich uit voorbij de algemene prestaties. Het model dat met eiwitdata was getraind, toonde een sterker vermogen om te generaliseren, wat betekent dat het de geleerde kennis kon toepassen op nieuwe situaties die het nog nooit eerder had gezien. Dit was met name duidelijk toen het model werd getest op hoe cellen reageren op veranderingen in eiwitten. In deze tests hielp het simpelweg groter maken van het RNA-only model niet om het begrip van deze veranderingen te verbeteren. Het model dat echter van eiwitten had geleerd, ging met deze nieuwe uitdagingen met meer gemak om. Dit geeft aan dat de eiwitdata het model hielp een robuuster en flexibeler begrip op te bouwen van hoe cellen werken, een begrip dat niet strikt gebonden is aan de patronen die enkel in RNA worden gevonden.

Deze bevindingen suggereren dat de toekomst van het begrijpen van cellen mogelijk niet ligt in het bouwen van steeds grotere modellen die getraind zijn op één type data. In plaats daarvan kunnen de krachtigste inzichten voortkomen uit het zorgvuldig combineren van verschillende soorten biologische informatie. Door computermodellen te leren zowel de instructies als de producten van de cel te lezen, kunnen wetenschappers hulpmiddelen creëren die niet alleen slimmer zijn, maar ook nauwkeuriger in hun voorspellingen. Deze aanpak biedt een veelbelovend pad naar meer informatieve modellen die de volledige complexiteit van het leven kunnen vangen, wat bewijst dat het toevoegen van een nieuw perspectief soms veel waardevoller is dan simpelweg het toevoegen van meer van hetzelfde.