CellPace: A temporal diffusion-forcing framework for simulation, interpolation and forecasting of single-cell dynamics

CellPace is een generatief model dat op basis van een transformer-gebaseerde tijdsdiffusie-architectuur continue ontwikkelingsdynamieken in single-cell data kan simuleren, interpoleren en voorspellen, zelfs bij onregelmatige bemonstering of ontbrekende tijdstippen.

De kern

Stel je voor dat je een film wilt maken, maar je hebt alleen maar losse, willekeurige foto's van de acteurs. Je hebt een foto van een kind, een foto van een tiener en een foto van een volwassene. Maar je mist de foto's van de jaren daar tussenin, en je hebt geen idee hoe ze precies van het ene stadium naar het andere zijn veranderd.

In de biologie is dit precies het probleem met single-cell sequencing (het bestuderen van individuele cellen). Wetenschappers kunnen op één moment duizenden cellen "fotograferen", maar omdat het proces de cellen vernietigt, krijgen ze nooit een doorlopende video. Ze krijgen alleen maar statische snapshots. Het is alsof je probeert een dans te begrijpen door alleen maar naar willekeurige beelden van de danser te kijken, zonder te weten hoe de bewegingen in elkaar overlopen.

Hier komt CellPace om de hoek kijken. Het is een slim computerprogramma dat deze losse foto's omzet in een vloeiende, continue film van hoe cellen zich ontwikkelen.

Hier is hoe het werkt, uitgelegd met alledaagse vergelijkingen:

1. Het probleem: De "Puzzel zonder randstukken"

Stel je voor dat je een puzzel probeert te leggen, maar je mist de stukjes voor de middelste delen en je hebt ook geen idee hoe het plaatje eruitziet als je verder kijkt dan de laatste stukjes die je hebt.

• Oude methoden: Ze konden wel een nieuwe puzzelstukje maken dat leek op de stukjes die je al had, maar ze konden geen stukjes "tussenin" maken (interpolaat) of voorspellen wat er na de laatste foto zou komen (extrapolatie). Ze zagen tijd als losse, aparte vakjes (zoals "klas 1", "klas 2"), niet als een vloeiende lijn.
• CellPace: Ziet tijd als een echte lijn. Het begrijpt dat er een verschil is tussen een stap van 1 minuut en een stap van 1 uur.

2. De oplossing: Een "Tijdmachine" voor cellen

CellPace is gebouwd op een techniek die diffusie heet. Dat klinkt ingewikkeld, maar denk er zo over:

• Het proces: Stel je voor dat je een heldere foto van een cel hebt en je gooit er langzaam wat "ruis" (statiek) overheen tot het een wazige, witte vlek is.
• De truc: CellPace leert hoe je die witte vlek weer terug kunt draaien naar de heldere foto. Maar het doet dit niet zomaar. Het leert de regels van de tijd.
• De "Gap-Aware" (Gaten-gevoelige) slimheid: Dit is het meest unieke. Stel je voor dat je een verhaal vertelt. Als je een gat in je verhaal laat (bijvoorbeeld: "Hij was 5, en toen was hij 20"), moet je weten dat er veel gebeurd is in die tijd. CellPace weet precies hoe lang die "gaten" zijn. Het kan dus een cel "reconstrueren" die 10 dagen later is dan de vorige, of juist 1 uur later, en het resultaat is altijd logisch.

3. Wat kan CellPace doen? (De drie superkrachten)

1. Simulatie (Het maken van nieuwe foto's):
   Het kan nieuwe, realistische cellen "dromen" uit het niets (uit ruis). Het is alsof je een AI vraagt: "Teken een cel die eruitziet als een cel van dag 10." En de AI tekent er eentje die er perfect uitziet, alsof je hem echt hebt gemeten.

2. Interpolatie (Het invullen van de gaten):
   Dit is als het invullen van een ontbrekende scène in een film. Als je een cel hebt van dag 10 en een van dag 20, maar mist dag 15, kan CellPace de cel van dag 15 "rekenen" en genereren. Het voorspelt hoe de cel eruit zou hebben gezien op dat moment, en het doet dit zo goed dat het biologisch klopt (bijvoorbeeld: genen die aan het uitschakelen zijn, worden correct uitgeschakeld).

3. Extrapolatie (Het voorspellen van de toekomst):
   Dit is de echte kracht. Als je alleen data hebt tot dag 20, kan CellPace voorspellen hoe de cel eruitziet op dag 30 of 40. Het heeft de "danspasjes" van de ontwikkeling geleerd en kan de dans verder dansen, zelfs als je de muziek nog niet hebt gehoord.

4. Waarom is dit belangrijk? (De "GPS" voor cellen)

CellPace doet meer dan alleen cijfers invullen. Het begrijpt de biologische logica:

• Locatie: Het weet precies waar in het lichaam een cel thuishoort. Als je het een cel laat maken, kun je die cel in een kaart van een muisembryo plaatsen en hij belandt op het juiste plekje (bijvoorbeeld in de lever of het hart).
• Regels: Het begrijpt welke "schakelaars" (genen) aan en uit gaan. Het is alsof het niet alleen de vorm van de cel tekent, maar ook het interne verhaal van de cel begrijpt.
• Meerdere lagen: Het kan zelfs twee soorten informatie tegelijk verwerken: RNA (de instructies) en Chromatine (hoe de instructies zijn ingepakt). Dit is alsof het niet alleen de tekst van een boek leest, maar ook begrijpt hoe de pagina's zijn gebonden.

Samenvattend

CellPace is als een tijdmachine voor biologie. Waar wetenschappers voorheen alleen losse foto's hadden van cellen, geeft CellPace hen een volledige, vloeiende video. Het vult de ontbrekende scènes in, voorspelt de toekomstige ontwikkelingen en zorgt ervoor dat we eindelijk kunnen zien hoe het leven zich van het begin tot het einde ontvouwt, zelfs als we de camera niet de hele tijd aan hebben gehad.

Dit helpt onderzoekers om ziekten beter te begrijpen, te zien hoe embryo's zich vormen, en misschien in de toekomst zelfs nieuwe behandelingen te ontwerpen door te kijken hoe cellen zich moeten gedragen.

Technische samenvatting

Probleemstelling

Enkelcellen-omics technologieën (zoals scRNA-seq) bieden inzicht in cellulaire heterogeniteit, maar leveren slechts statische momentopnames van continue ontwikkelingsprocessen. Omdat de metingen destructief zijn, kunnen individuele cellen niet over tijd worden gevolgd. In plaats daarvan worden cellen op discrete, vaak onregelmatig gespatieerde tijdstippen bemonsterd.
Bestaande computationele methoden hebben beperkingen:

• Traject-inferentie-methoden (zoals PAGA, CellRank) ordenen bestaande cellen maar genereren geen moleculaire profielen voor ontbrekende staten.
• Neurale ODE/SDE-modellen (zoals scNODE, scIMF) vereisen echte startcellen en modelleren vaak autonome dynamiek zonder populatie-interacties.
• Generatieve modellen (zoals scDiffusion, CFGen) behandelen tijd vaak als een categorische label (discrete klassen). Hierdoor missen ze de intrinsieke logica om te interpoleren tussen ontbrekende tijdstippen of te extrapoleren naar toekomstige, ongemeten stadia. Ze kunnen geen continue temporele dynamiek modelleren.

Methodologie: CellPace

CellPace is een diep generatief model dat continue ontwikkelingsdynamiek leert uit discretie bemonsterde transcriptomische snapshots. Het bestaat uit twee hoofdfasen:

1. Latente Representatie Learning (VAE):

   • Eerst worden celprofielen gecodeerd naar een laagdimensionale latente ruimte.
   • Voor scRNA-seq data wordt scVI gebruikt (Zero-Inflated Negative Binomial likelihood).
   • Voor multi-omics data (RNA-ATAC) wordt MultiVI gebruikt voor een gezamenlijke latente representatie.

2. Temporal Diffusion Forcing (TDiF):

   • Dit is de kerninnovatie: een transformer-gebaseerde diffusiearchitectuur die is ontworpen voor onregelmatige tijdsintervallen.
   • Gap-Aware Temporal Encoding: In plaats van vaste positiële embeddings, gebruikt het model een continu, "gap-aware" tijdsvector voor elke positie in de sequentie. Deze vector bevat:
     • De genormaliseerde ontwikkelingspositie ($\tau$).
     • De verstreken tijdsduur sinds de vorige stap ($\Delta$).
     • Dit stelt het model in staat om zowel korte overgangen als lange ontwikkelingsstappen te leren.
   • Conditionering: De tijdsfeatures worden via Adaptive Layer Normalization (AdaLN) in de transformer-blokken ingebracht, waardoor de neurale activaties worden gemoduleerd op basis van de ontwikkelingsfase en de tijdsafstand.
   • Causale Maskering: Een causale attention-mask zorgt ervoor dat toekomstige staten geen informatie lekken naar het heden, strikt de tijdsrichting respecterend.
   • Training: Het model wordt getraind met onafhankelijke ruisniveaus per tijdstip (per-position noise levels), wat "continuous masking" mogelijk maakt. Het doel is het reconstrueren van schone latente vectoren uit ruis.
   • Inferentie: CellPace genereert sequenties vanuit pure ruis. Voor lange sequenties wordt een sliding-window strategie gebruikt. Een Pyramid Schedule zorgt ervoor dat eerdere tijdstippen eerst worden gedenoised, zodat deze als schone context dienen voor het genereren van latere staten.

Belangrijkste Bijdragen

• Eerste Diffusie-Framework voor Continue Tijd: CellPace is het eerste diffusie-gebaseerde framework dat simultane simulatie, interpolatie (ontbrekende tussenstappen) en extrapolatie (voorspelling van toekomstige staten) ondersteunt voor enkelcellen-data.
• Omgaan met Onregelmatige Sampling: Door expliciete modellering van tijdsintervallen ($\Delta$) kan het model trainen op data met ongelijke tijdsafstanden zonder de aanname van uniforme bemonstering.
• Multi-omics Uitbreidbaarheid: Het framework is naadloos uitbreidbaar naar gepaarde RNA-ATAC data door gebruik te maken van MultiVI in de latente ruimte.
• Pseudotijd-ondersteuning: Het model kan werken met data waarbij de temporele volgorde is afgeleid via pseudotijd (bijv. via CellRank), zelfs zonder expliciete tijdsmetingen.

Resultaten

CellPace werd geëvalueerd op meerdere muizen-ontwikkelingsdatasets (retinale progenitorcellen, epitheelcellen, endotheelcellen, achterste embryo en palatum).

1. Simulatie op Geobserveerde Stadia:

   • CellPace genereerde realistische celprofielen die de globale populatiestatistieken en fijne biologische structuren (marker-gene expressie) nauwkeurig nabootsten.
   • Het presteerde superieur aan zes state-of-the-art baselines (inclusief scDiffusion, CFGen, scIMF) op metrics zoals miLISI, MMD en Wasserstein-afstand.

2. Interpolatie en Extrapolatie:

   • Interpolatie: CellPace kon succesvol ontbrekende tussenstappen (bijv. somite 12, 15, 18) genereren die naadloos aansloten bij de echte data-manifold. Andere modellen faalden vaak bij deze taken.
   • Extrapolatie: Het model kon toekomstige staten (bijv. somite 33, 34) voorspellen die buiten het trainingsbereik lagen, met behoud van biologische coherentie.
   • CellPace behaalde de beste prestaties op alle drie de taken (simulatie, interpolatie, extrapolatie).

3. Biologische Fidelity:

   • Genregulatie: De gegenereerde data behielden complexe genregulatoire netwerken (GRN) en de temporele activiteit van regulons (bijv. Etv4 en Hoxa10) nauwkeurig.
   • Ruimtelijke Lokalisatie: Bij mapping naar de Mouse Organogenesis Spatiotemporal Transcriptomic Atlas (MOSTA) toonden gegenereerde cellen dezelfde ruimtelijke verdeling en anatomische localisatie als echte cellen.
   • Topologie: PAGA-graafanalyses toonden aan dat CellPace de onderliggende topologie van ontwikkelingsroutes beter herstelde dan methoden die ontbrekende stadia niet konden vullen.

4. Multi-omics (RNA-ATAC):

   • In een dataset van muizenpalatum-ontwikkeling (RNA-ATAC) overtrof CellPace CFGen (de enige andere multi-omics baseline) significant, vooral bij extrapolatie. Het slaagde erin om de vertakkende lijnen van late ontwikkelingsstadia te reconstrueren, terwijl CFGen deze ineenstortte tot een diffuse wolk.

Significantie

CellPace vormt een doorbraak in computationele biologie door de kloof te overbruggen tussen cross-sectionele enkelcellen-datasets en continue ontwikkelingsprocessen.

• Het stelt onderzoekers in staat om hypothetische experimenten te simuleren (bijv. "hoe ziet cel X eruit op tijdstip Y dat we niet hebben gemeten?").
• Het biedt een robuust kader voor het analyseren van datasets met spaarzame of onregelmatige tijdsbemonstering, wat vaak het geval is in grote atlas-projecten.
• De mogelijkheid om multi-omics dynamiek te modelleren en te voorspellen opent nieuwe wegen voor het begrijpen van co-regulatie tussen transcriptie en chromatin-toegang tijdens ontwikkeling.

Samenvattend positioneert CellPace zich als een robuust, flexibel en biologisch accuraat framework voor het modelleren en genereren van continue ontwikkelingsdynamiek, wat essentieel is voor het ontrafelen van complexe biologische processen uit statische data.