scDynOmics: An Optimized Transformer Model for Representation Learning from Single-Cell Multiomics

scDynOmics is een schaalbaar en interpreteerbaar transformer-model dat, geïnspireerd door genregulatienetwerken en gebruikmakend van een Linformer-achtig mechanisme, effectief multimodale single-cell data leert representeren voor het ontrafelen van celheterogeniteit en -dynamiek.

De kern

Wat is scDynOmics?

Stel je voor dat je een enorme bibliotheek hebt met miljoenen boeken. Elke pagina in deze boeken vertegenwoordigt een cel in je lichaam (zoals een huidcel, een bloedcel of een hersencel). Op elke pagina staan duizenden woorden die beschrijven welke genen aan- of uit staan.

Tot nu toe was het voor computers heel moeilijk om al deze boeken tegelijk te lezen en te begrijpen. De oude methoden waren als een lezer die alleen de eerste paar regels van een boek kon zien voordat hij moe werd, of die alleen de bekendste woorden (de "populaire" genen) las en de rest negeerde.

scDynOmics is een nieuwe, slimme computerprogrammatuur (een "foundation model") die deze bibliotheek volledig kan lezen. Het kan niet alleen de tekst lezen, maar begrijpt ook de verhaallijn: hoe een cel zich ontwikkelt, hoe hij reageert op ziektes, en wat er gebeurt als je een gen "verandert".

Het Grote Probleem: De "Verkeersopstopping"

Normale slimme modellen (zoals die voor taal of beelden) werken met een techniek genaamd "Attention" (aandacht). Ze kijken naar elk woord in een zin en beslissen welke woorden belangrijk zijn voor elkaar.

• Het probleem: Als je een zin hebt met 20.000 woorden (zoals in een cel met 20.000 genen), moet de computer 400 miljoen combinaties controleren. Dat is als proberen elke persoon in een stad van 20.000 mensen te laten handtekenen met elke andere persoon. Het kost te veel tijd en energie.

De Oplossing: Een Slimme "Regelgever"

scDynOmics lost dit op met een slimme truc, gebaseerd op hoe het lichaam eigenlijk werkt.

• De Analogie: Stel je voor dat in een fabriek (de cel) er 20.000 werknemers (genen) zijn. Maar er zijn slechts een paar honderd managers (transcriptiefactoren) die de orders geven.
• De Truc: In plaats van te vragen aan elke werknemer wat ze doen, kijkt scDynOmics eerst naar de managers. Het model zegt: "Ik ga niet naar alle 20.000 werknemers luisteren, ik luister alleen naar de 500 managers die de feitelijke orders geven."
• Dit maakt het lezen van de hele bibliotheek plotseling heel snel en efficiënt, zonder dat belangrijke informatie verloren gaat.

Hoe leert het model? (De "Twee-Modale" Training)

Om echt slim te worden, heeft scDynOmics een unieke manier van leren gebruikt. Het kijkt naar twee soorten informatie tegelijk, alsof het een cel bekijkt met twee verschillende brillen:

1. Bril 1 (Chromatine): Dit laat zien welke deuren in de cel open of dicht zijn (welke genen kunnen aan).
2. Bril 2 (RNA): Dit laat zien welke deuren daadwerkelijk open zijn en wat er gebeurt (welke genen aan staan).

Door deze twee tegelijk te bekijken, leert het model niet alleen wat er gebeurt, maar ook waarom en hoe het zich ontwikkelt. Het is alsof je niet alleen kijkt naar een foto van een kind, maar ook naar het dagboek van de ouders om te zien hoe het kind opgroeit.

Wat kan het nu doen? (De Toepassingen)

1. De "Tijdreis" (Ontwikkeling)
Het model kan terugkijken in de tijd. Als je volwassen cellen bekijkt (zoals een neurale cel), kan scDynOmics voorspellen wat voor soort "baby-cel" (progenitor) daar ooit vandaan kwam. Het is alsof je een volwassene ziet en precies kunt zeggen: "Ah, dit kind zat vroeger in de klas van de kunstenaars, niet in die van de wiskundigen."

2. Het Oplossen van "Verwarring" (Ruimtelijke Heterogeniteit)
Soms zien cellen er op papier hetzelfde uit, maar gedragen ze zich anders.

• Voorbeeld: In een experiment met muizen (waar een gen, Tbx6, is verwijderd), groeien er cellen die normaal gesproken spieren zouden worden, maar worden ze toch hersencellen. Normale methoden zien dit niet en denken dat het gewoon een rommelige massa is.
• scDynOmics: Dit model ziet de subtiele signalen en kan deze "verkeerde" cellen precies lokaliseren in het embryo. Het kan zeggen: "Kijk hier, deze groep cellen probeert een spier te zijn, maar is door een fout in de instructies een hersencel geworden."

3. De "Vertaler" (Interpreteerbaarheid)
Veel slimme modellen zijn een "zwarte doos": ze geven een antwoord, maar je weet niet waarom. scDynOmics is anders. Het kan uitleggen welke genen het belangrijk vond.

• Het zegt niet alleen: "Dit is een ziektecel."
• Het zegt ook: "Ik denk dit omdat gen X, Y en Z zich vreemd gedragen, en deze specifieke manager (transcriptiefactor) de boel aan het sturen is." Dit helpt wetenschappers om nieuwe medicijnen of behandelingen te vinden.

Samenvatting

scDynOmics is als een super-snel, slimme bibliothecaris die:

1. De hele bibliotheek van het menselijk lichaam in één keer kan lezen (door slim te focussen op de managers).
2. De geschiedenis van elke cel kan reconstrueren.
3. Kan zien wat er misgaat als er een foutje in de code zit (ziekte of mutatie).
4. Je uitlegt waarom hij tot die conclusie komt.

Het is een krachtig gereedschap om de complexe dynamiek van leven te begrijpen, van de geboorte van een cel tot de ontwikkeling van ziektes, en dat allemaal op een manier die voor computers haalbaar is.

Technische samenvatting

Probleemstelling

Hoewel foundation modellen op basis van single-cell transcriptomische data (scRNA-seq) aanzienlijke vooruitgang hebben geboekt in biologische taken, blijven er twee kritieke uitdagingen bestaan:

1. Schaalbaarheid: Bestaande Transformer-architecturen hebben een kwadratische complexiteit ($O(L^2)$) voor de self-attention mechanismen, wat ze computationally onhaalbaar maakt voor inputs op de schaal van het volledige coderende genoom (ongeveer 20.000+ genen).
2. Multimodaliteit en Interpretatie: Het effectief vertegenwoordigen van multimodale data (bijv. gelijktijdige transcriptomische en chromatin-toegankelijkheidsdata) en het efficiënt afstemmen van grote voorgetrainde modellen voor diverse downstream-taken blijft een uitdaging. Bestaande methoden die feature-selectie gebruiken, riskeren biologisch belangrijke genen uit te sluiten, terwijl methoden die het volledige genoom proberen te verwerken vaak te zwaar zijn.

Methodologie: scDynOmics

scDynOmics is een voortrainbaar Transformer-model dat is ontworpen voor schaalbaar representatieleren van multimodale single-cell data. De kernarchitectuur en strategieën zijn als volgt:

• Biologisch Gemotiveerde Attention (Linformer-stijl):

  • In plaats van de volledige attention-matrix te berekenen, gebruikt scDynOmics een low-rank projectie (geïnspireerd door Linformer) om de attention-ruimte te reduceren van grootte $L$ (aantal genen) naar $l$ (ongeveer het aantal activerende transcriptiefactoren, TFs).
  • Dit verlaagt de complexiteit van $O(L^2)$ naar $O(L)$, waardoor verwerking van het volledige coderende genoom mogelijk wordt.
  • De projectie is gebaseerd op de hypothese dat genregulatie netwerken (GRNs) een low-rank structuur hebben, waarbij TFs de drijvende krachten zijn.

• Hybride Encoder Architectuur:

  • Het model wisselt twee soorten lagen af om een balans te vinden tussen biologische kennis en exploratie:
    1. TF-Encoders: Beperken de Key (K) en Value (V) projecties uitsluitend tot bekende, gedocumenteerde transcriptiefactoren. Dit zorgt voor biologische consistentie.
    2. Full-Encoders: Gebruiken learnable dense projecties over het volledige coderende genoom. Dit stelt het model in staat om ongedocumenteerde regulatoire elementen te ontdekken.

• Multimodal Pretraining:

  • Het model wordt voorgetraind op gekoppelde single-cell transcriptomische en chromatin-toegankelijkheidsprofielen (scRNA-seq + scATAC-seq).
  • De pretraining gebruikt een Masked Input Prediction (MIP) doelstelling. De input wordt gestructureerd om biologische dynamiek te modelleren: chromatin-toegankelijkheid fungeert als analogie voor "unspliced" pre-mRNA (nascent transcription), en genexpressie als "spliced" mRNA. Dit leert het model causale en temporale afhankelijkheden.

• Parameter-Efficiënte Fine-tuning (PEFT):

  • Voor downstream-taken (zoals celtype-classificatie of voorspelling van celfate) wordt Low-Rank Adaptation (LoRA) gebruikt.
  • De zware encoder wordt bevroren, en slechts lichte adapter-modules worden getraind. Dit maakt aanpassing mogelijk met beperkte rekenkracht en kleinere datasets.

• Interpretatie:

  • Omdat de attention-matrices door de projectie niet direct interpreteerbaar zijn, gebruikt het model een gradient-based attribution framework (gebaseerd op Integrated Gradients) om de bijdrage van specifieke genen aan voorspellingen te kwantificeren.

Belangrijkste Resultaten

Het paper presenteert uitgebreide evaluaties die de superioriteit van scDynOmics aantonen:

1. Schaalbaarheid en Architectuur:

   • Een hybride architectuur met een latent dimensie van $l=500$ en 12 lagen (L12H12) bleek de optimale balans tussen reconstructie-accuratie en rekenefficiëntie.
   • Het model kan het volledige coderende genoom verwerken zonder feature-selectie, in tegenstelling tot eerdere foundation modellen.

2. Transfer Learning en Classificatie:

   • Mouse Gastrulation: scDynOmics bereikte state-of-the-art prestaties (median accuracy ~0.82) in het classificeren van celtypen, presterend beter dan lineaire baselines (Logistic Regression, XGBoost) en vergelijkbaar met geavanceerde VAE-modellen zoals scANVI.
   • Cross-Modal Transfer: Het model kon effectief worden overgedragen van een multimodale pretraining (RNA + ATAC) naar een monomodale downstream taak (alleen RNA), wat aantoont dat het complexe dynamische relaties heeft geleerd.
   • Human PBMC: Zelfs bij pretraining op een beperkte, gespecialiseerde dataset (48k menselijke immuuncellen), presteerde scDynOmics beter dan bestaande foundation modellen (scBERT, Geneformer, CellFM) bij het voorspellen van celtypen in het grote Zheng68k dataset.

3. Biologische Interpretatie en Ontdekking:

   • Ontwikkelingsdynamiek: Bij het analyseren van differentiatie van embryonale stamcellen (mESC), identificeerde scDynOmics kritieke regulatoren zoals Pou5f1, Jdp2 en Mbd3. Deze genen werden over het hoofd gezien door standaard differentie-expressie-analyse (DEG) en andere modellen, maar zijn biologisch cruciaal voor pluripotentie en chromatin-remodeling.
   • Celfate Voorspelling: In een "time-reversed" taak (voorspellen van progenitor-fate op basis van volwassen cel-signaturen) presteerde scDynOmics (accuracy 0.78) beter dan optimaal transport-methoden zoals CoSpar en CellRank.
   • Ruimtelijke Heterogeniteit: Bij het analyseren van Tbx6-knockout embryo's (waarbij somieten zich ontwikkelen tot ectopische neurale buizen), slaagde scDynOmics erin coherente ruimtelijke domeinen te reconstrueren die door standaard clustering-methoden werden gemist. Het model prioriteerde specifieke regulatoren (Meis2, Ddx3x) die essentieel zijn voor neurogenese.

Bijdragen en Significantie

• Schaalbaarheid: scDynOmics doorbreekt de barrière van kwadratische complexiteit, waardoor het mogelijk wordt om foundation modellen te trainen op het volledige coderende genoom zonder feature-selectie.
• Biologische Integratie: Door GRN-principes (transcriptiefactoren) direct in de attention-mechanismen te integreren, combineert het model rekenkracht met biologische interpretatie.
• Efficiëntie: De combinatie van Linformer-achtige attention en LoRA-finetuning maakt het model toegankelijk voor labs met beperkte GPU-resources en kleine datasets.
• Inzicht: Het model biedt niet alleen betere voorspellingen, maar levert ook interpreteerbare inzichten in complexe biologische processen (zoals ontwikkeling en ziekte) die met traditionele statistische methoden niet zichtbaar zijn.

Concluderend biedt scDynOmics een schaalbaar, interpreteerbaar en efficiënt raamwerk voor het ontrafelen van celheterogeniteit en dynamiek, en zet het de standaard voor de volgende generatie single-cell foundation modellen.