Universal Cell Embeddings: A Foundation Model for Cell Biology

Dit artikel introduceert het Universal Cell Embedding (UCE), een zelftoezichtend fundamenteel model dat 36 miljoen cellen van acht soorten in een universele biologische latente ruimte projecteert, waardoor nieuwe cellen zonder extra labeling kunnen worden geanalyseerd en nieuwe inzichten in celontwikkeling en -functie worden onthuld.

De kern

Stel je voor dat je een enorme bibliotheek binnenloopt, maar elke taal ter wereld wordt er gesproken, en de boeken zijn geschreven in duizenden verschillende dialecten. Soms zijn de letters zelfs anders. Als je een boek in het Japans wilt vergelijken met een boek in het Swahili, is dat bijna onmogelijk zonder een vertaler die voor elk paar boeken opnieuw moet worden getraind.

Dat is precies het probleem waar biologen mee worstelden bij het bestuderen van cellen. Elke cel is een klein levend wezen met zijn eigen "taal" (genen). Tot nu toe moesten wetenschappers voor elke nieuwe groep cellen (bijvoorbeeld uit een nieuwe muis of een nieuw menselijk orgaan) een nieuwe, tijdrovende "vertaler" bouwen om ze te begrijpen.

Deze paper introduceert UCE (Universal Cell Embedding), een soort "Google Translate" voor cellen, maar dan veel krachtiger.

Hier is hoe het werkt, in gewone taal:

1. De "Super-Vertaler" (Het Model)

Stel je voor dat UCE een gigantische, slimme robot is die nooit heeft gestudeerd op school, maar wel miljarden boeken heeft gelezen.

• Hoe leert hij? Hij kijkt niet naar de titels van de boeken (de namen van celtypen, zoals "huidcel" of "bloedcel"). Hij kijkt alleen naar de letters en woorden (de genen) en hoe vaak ze voorkomen.
• De slimme truc: In plaats van te kijken naar de letters zelf, kijkt de robot naar wat die letters doen. Hij vertaalt elk gen naar het eiwit dat het maakt (de "werkkracht" van het gen). Omdat eiwitten in de natuur overal hetzelfde werken (een eiwit dat een motor draait in een muis, doet ongeveer hetzelfde in een mens), kan de robot de betekenis begrijpen, zelfs als hij de taal nog nooit heeft gezien.

2. De "Grote Kaart" (De Embedding)

UCE maakt een enorme, virtuele kaart van alle cellen ter wereld.

• De Analogie: Denk aan een grote speelzaal. Op deze kaart staan alle cellen.
  • Cellen die op elkaar lijken (bijvoorbeeld twee verschillende soorten witte bloedcellen), staan dicht bij elkaar, alsof ze vrienden zijn.
  • Cellen die totaal verschillend zijn (een huidcel en een hersencel), staan ver uit elkaar.
  • Het mooie is: de robot heeft nooit geleerd dat deze cellen "vrienden" zijn. Hij heeft dit zelf ontdekt door de patronen in de data te zien. Dit noemen ze "emergent gedrag" – het model leert de regels van het spel door gewoon te spelen.

3. Waarom is dit zo revolutionair? (De "Zero-Shot" Kracht)

Vroeger, als je een nieuwe cel wilde bestuderen (bijvoorbeeld een cel van een dier dat nog nooit eerder is onderzocht), moest je:

1. De data verzamelen.
2. Een expert vragen om de cellen te labelen.
3. Een computermodel speciaal voor die data trainen.
4. Wachten tot het model klaar is.

Met UCE is dat verleden tijd.

• De Analogie: Stel je voor dat je een nieuwe, vreemde taal spreekt. Je hoeft geen woordenboek te leren. Je loopt gewoon de bibliotheek binnen, pakt een boek, en de robot (UCE) zegt direct: "Ah, dit boek hoort bij het vak 'Geschiedenis', net als die andere boeken daar."
• Je kunt een cel van een kip (die niet in de trainingsdata zat) in het systeem stoppen, en de robot zegt direct: "Dit is een zenuwcel, en hij lijkt het meest op de zenuwcellen van een muis." Dit werkt zonder dat de robot ook maar één seconde extra hoeft te leren.

4. Wat hebben ze ontdekt? (Het "Gouden Eieren" Moment)

De wetenschappers gebruikten deze kaart om iets nieuws te vinden: de Norn-cel.

• Ze wisten dat er in de nieren een cel zat die een belangrijk hormoon (Epo) maakt, maar ze wisten niet precies welke cel het was.
• Ze lieten de robot zoeken naar cellen die leken op de bekende "Epo-makers".
• De robot vond een groepje cellen in de nieren die precies zo leek. Maar het ging nog verder: de robot vond ook dat er soortgelijke cellen zaten in het hart en de longen.
• Dit leidde tot een nieuw idee: misschien spelen deze cellen een rol bij ziektes zoals COPD of longfibrose, iets waar niemand eerder aan dacht.

Samenvattend

UCE is als een universele kompasnaald voor biologie.

• Het maakt een enorme kaart van 36 miljoen cellen van 8 verschillende diersoorten.
• Het werkt zonder labels (geen menselijke namen nodig).
• Het kan nieuwe soorten direct begrijpen, alsof ze er altijd bij hadden gezeten.
• Het helpt wetenschappers om nieuwe ziekte-mechanismen te vinden door cellen uit verschillende organen met elkaar te vergelijken.

Kortom: het is de eerste keer dat we een "Google Maps" hebben voor het hele universum van cellen, waardoor we sneller nieuwe ontdekkingen kunnen doen zonder jarenlang te hoeven zoeken.

Technische samenvatting

Probleemstelling

De celbiologie staat voor een enorme uitdaging: het creëren van een universele representatieruimte voor cellen die de enorme moleculaire diversiteit binnen het menselijk lichaam en over verschillende soorten heen omvat. Hoewel single-cell RNA-sequencing (scRNA-seq) datasets exponentieel zijn gegroeid, kampen bestaande computationele methoden met ernstige beperkingen:

1. Gebrek aan universaliteit: Bestaande modellen kunnen diverse datasets niet gezamenlijk analyseren vanwege soort-specifieke beperkingen of dataset-specifieke artefacten (batch effects).
2. Resource-intensief: Voor elke nieuwe dataset is vaak specifieke data-labeling, modeltraining of fine-tuning nodig om standaard analyses (zoals clustering) uit te voeren. Dit is tijdrovend en inefficiënt.
3. Beperkte generalisatie: Modellen falen vaak bij het integreren van nieuwe data, vooral wanneer deze afkomstig is van soorten die niet in de trainingsset zaten of wanneer er geen annotaties beschikbaar zijn.

Er is behoefte aan een "foundation model" dat, vergelijkbaar met modellen in de natuurlijke taalverwerking (zoals GPT), universele representaties leert die direct toepasbaar zijn op nieuwe, ongezien data zonder verdere training.

Methodologie: Universal Cell Embedding (UCE)

De auteurs presenteren UCE, een foundation model dat is ontworpen om single-cell genexpressie te vertalen naar een universele, biologisch betekenisvolle latente ruimte. De kern van de methodologie is als volgt:

• Biologisch geïnspireerde representatie: In plaats van genen als tekst te behandelen (wat inefficiënt is), abstracteert UCE cellen als "bags of RNA".
  • Input: scRNA-seq teldata en corresponderende proteïne-embeddings gegenereerd door ESM2 (een groot taalmodel voor eiwitten).
  • Tokenisatie: Genen worden omgezet in tokens gebaseerd op de aminozuursequentie van het geproduceerde eiwit. Dit maakt het model genoomagnostisch: het kan elke eiwitcoderende gen uit elke soort verwerken, zelfs als de soort niet in de trainingsdata zat, zolang de aminozuursequentie bekend is.
  • Structuur: Genen worden gegroepeerd per chromosoom en gesorteerd op genomische locatie. Een speciale 'CLS'-token (voor het hele cel) wordt aan het begin toegevoegd.
• Architectuur: UCE is een Transformer-model met 33 lagen en meer dan 650 miljoen parameters.
• Trainingsdoel (Zelftoezicht): Het model wordt volledig zelftoezichtig (self-supervised) getraind zonder enige celtype-annotatie.
  • Methode: Een deel van de tot expressie gebrachte genen wordt gemaskeerd (20%). Het model moet voorspellen of een gemaskeerd gen tot expressie is gebracht in die specifieke cel, gebaseerd op de context van de andere genen en de cel-embeddings.
• Data: Het model is getraind op een corpus van meer dan 36 miljoen cellen uit 300+ datasets, bestaande uit 8 soorten (waaronder mens, muis, vis, varken, apen en kikkers).

Belangrijkste Bijdragen

1. Universele Embedding: UCE creëert een gedeelde ruimte waarin cellen van verschillende weefsels, condities en soorten direct kunnen worden vergeleken zonder dat het model opnieuw getraind hoeft te worden.
2. Zero-Shot Capabiliteit: Het grootste voordeel is de "zero-shot" functionaliteit. Nieuwe datasets (inclusief nieuwe soorten) kunnen direct worden ingebed in de bestaande ruimte zonder extra labeling, fine-tuning of retraining.
3. Integrated Mega-scale Atlas (IMA): De auteurs hebben een atlas gegenereerd van 36 miljoen cellen met meer dan 1.000 unieke celtypen, die dient als referentiekader voor de biologie.
4. Open Source: De modelgewichten en implementatie zijn vrij beschikbaar voor de gemeenschap.

Resultaten

De prestaties van UCE werden uitgebreid gevalideerd tegen bestaande methoden (zoals Geneformer, scGPT, scVI en scArches):

• Superieure Integratie: Bij toepassing op de nieuwe, ongezien Tabula Sapiens v2 dataset (581k cellen, 27 weefsels), presteerde UCE significant beter dan de volgende beste zero-shot methode (Geneformer) en zelfs beter dan geavanceerde, ge-finetunede methoden (scVI, scArches) op zowel biologische conservatie als batch-correctie.
• Cross-Species Generalisatie: UCE slaagde erin om cellen van soorten die niet in de trainingsset zaten (zoals de groene aap, naakte molrat en kip) correct te embedden.
  • Celtypen in deze nieuwe soorten clusterden correct met hun homologen in de IMA (bijv. macrofagen uit verschillende weefsels van verschillende soorten clusterden samen).
  • Het model kon zelfs foutieve annotaties in nieuwe datasets corrigeren (bijv. een populatie die als B-cel was gelabeld, bleek in de UCE-ruimte en via differentialexpressieanalyse T-cel markers te vertonen).
• Biologische Structuur: De embedding-ruimte vertoont een emergente organisatie die consistent is met bekende biologie. De afstand tussen celtypen in de UCE-ruimte correleert sterk met hun evolutionaire afstand in de Cell Ontology-boom.
• Nieuwe Inzichten (Norn-cel Case Study): UCE werd gebruikt om een classifier te trainen voor de pas ontdekte "Norn-cel" (een erytropoëtine-producerende cel in de nier). Deze classifier werd vervolgens toegepast op de hele IMA, waardoor Norn-achtige cellen werden ontdekt in longen en het hart. Dit leverde nieuwe hypothesen op over ziekteprocessen bij IPF en COPD, waarbij verschillen in collageenexpressie en zuurstofsensitieve enzymen werden geïdentificeerd.

Betekenis en Impact

UCE vertegenwoordigt een fundamentele verschuiving in de analyse van single-cell data:

• Van geïsoleerd naar universeel: Het elimineert de noodzaak om voor elke nieuwe experimentele dataset een nieuw model te bouwen. Onderzoekers kunnen nu direct nieuwe data vergelijken met de volledige geschiedenis van celbiologische data.
• Hypothesegeneratie: Door een universele ruimte te bieden, kan UCE helpen bij het ontdekken van nieuwe celtypen, functies en ziektemechanismen die anders onzichtbaar zouden blijven door beperkingen in datasetgrootte of annotatiekwaliteit.
• Toekomstvisie: Het model is een belangrijke stap richting het concept van een "virtuele cel", zoals geopperd door Sydney Brenner, en biedt een schaalbare, computerefficiënte manier om de complexiteit van het leven te modelleren.

Hoewel er nog uitdagingen zijn (zoals de "black box"-aard van het model en de bias naar zoogdier-datasets), biedt UCE een krachtig gereedschap voor de volgende generatie celbiologisch onderzoek.