Benchmarking zero-shot single-cell foundation model embeddings for cellular dynamics reconstruction

Deze studie toont aan dat zero-shot embeddings van single-cell foundation modellen momenteel onderpresteren ten opzichte van traditionele HVG-baselines voor het reconstrueren van celtrajecten, vanwege een fundamenteel 'temporeel-compressie'-probleem dat complexe biologische vertakkingen vereenvoudigt tot kunstmatige lineaire structuren.

De kern

Titel: Waarom de "oude school" nog steeds wint bij het voorspellen van cellen

Stel je voor dat je een enorme fotoalbum hebt van een stad, maar je hebt alleen foto's gemaakt op maandag, woensdag en vrijdag. Je wilt weten wat er precies op dinsdag en donderdag is gebeurd, en zelfs voorspellen wat er zaterdag gaat gebeuren. In de biologie is dit precies wat wetenschappers proberen te doen met cellen: ze kijken naar snapshots van cellen op verschillende momenten en proberen de "reis" van een cel te reconstrueren, van een jonge cel naar een gespecialiseerde cel (zoals een huidcel of een zenuwcel).

Deze studie is een grote test om te zien welke "rekenmachine" het beste is om die reis te voorspellen.

De twee kampioenen

Er waren twee teams die het tegen elkaar opnamen:

1. Het Nieuwe Team (De "Foundation Models"): Dit zijn de supermoderne, AI-achtige modellen. Denk hieraan als een geniale, maar soms te drukke chef-kok die miljoenen recepten heeft gelezen. Hij probeert een heel algemeen beeld te krijgen van hoe koken werkt. Hij is geweldig in het herkennen van "dit is een pizza" of "dit is pasta", maar omdat hij zo veel heeft gelezen, negeert hij soms de subtiele details die nodig zijn om precies te zeggen hoe het deeg nu net is veranderd.
2. Het Oude Team (HVG-baseline): Dit is de ervaren, nuchtere bakker die gewoon kijkt naar de belangrijkste ingrediënten die veranderen. Hij gebruikt een simpele, bewezen methode: hij pakt de meest veranderlijke deeltjes (de "Highly Variable Genes") en bouwt daar een kaart van. Hij is niet zo slim als de AI-chef, maar hij let op de details die echt belangrijk zijn voor de verandering.

De proef

De onderzoekers gaven beide teams dezelfde opdracht:

• Terugkijken: Kijk naar de foto's van vandaag en probeer te raden hoe de cel er gisteren uitzag.
• Tussenin vullen: Kijk naar maandag en woensdag, en probeer te raden wat er op dinsdag gebeurde.
• Vooruitkijken: Kijk naar maandag en woensdag, en probeer te voorspellen wat er vrijdag gaat gebeuren.

Ze gebruikten verschillende wiskundige methoden om de "reis" van de cellen te tekenen.

Het verrassende resultaat

Je zou denken dat de super-slimme AI (het nieuwe team) het beste zou doen. Maar het tegendeel was waar.

• De AI-chef faalde: De moderne modellen waren te goed in het "gladstrijken" van de data. Ze zagen de kleine, tijdelijke veranderingen als ruis (als achtergrondgeluid) en probeerden die weg te halen. Hierdoor werden de complexe vertakkingen in de celreis (waar een cel een keuze maakt tussen twee paden) vaag en lijnair. Het was alsof de chef-kok probeerde een ingewikkeld gebakje te maken, maar alle lagen samenvoegde tot één grote, saaie bal. De AI zag de celreis als een rechte lijn, terwijl het in werkelijkheid een vertakt bos was.
• De oude bakker won: Het simpele model dat gewoon keek naar de belangrijkste veranderende deeltjes, hield de details scherp. Het kon de vertakkingen zien, de tijdsverschillen behouden en voorspelde de toekomstige staat van de cel veel nauwkeuriger.

Waarom is dit zo?

De onderzoekers ontdekten een interessant probleem: De AI is te bang voor ruis.

Tijdens het trainen van deze AI-modellen leerden ze om technische verschillen (zoals verschillende camera's of lichtomstandigheden) te negeren. Maar helaas leerden ze ook om biologische tijdsverschillen te negeren. Ze behandelden de verandering van een cel in de tijd alsof het een foutje was dat weggewerkt moest worden. Hierdoor "verliezen" ze de tijdsgevoelige signalen die essentieel zijn om te begrijpen hoe cellen zich ontwikkelen.

De les voor de toekomst

De boodschap van dit onderzoek is duidelijk:
Hoewel deze nieuwe AI-modellen fantastisch zijn voor het categoriseren van cellen (bijvoorbeeld: "dit is een levercel"), zijn ze nog niet klaar om complexe, dynamische processen te voorspellen. Ze zijn te veel gericht op het vinden van een statisch, algemeen plaatje.

Om de volgende generatie AI te bouwen die echt begrijpt hoe leven zich ontwikkelt, moeten wetenschappers de modellen leren om de "tijdsruis" niet weg te gooien, maar juist te omarmen. Ze moeten de subtiele, tijdelijke veranderingen zien als de belangrijkste signalen, niet als ruis.

Kortom: Soms is de simpele, nuchtere blik van de oude bakker beter dan de geavanceerde, maar te algemene visie van de AI-chef als je wilt weten hoe een cel zich in de tijd ontwikkelt.

Technische samenvatting

Titel: Benchmarking van zero-shot embeddings van single-cell foundation modellen voor reconstructie van celdynamica

1. Het Probleem

Het reconstrueren van cellulaire trajecten (dynamica) uit tijdsopgeloste single-cell transcriptoomdata is fundamenteel voor het begrijpen van processen zoals embryonale ontwikkeling en kankerprogressie. Omdat single-cell RNA-sequencing (scRNA-seq) destructief is, kunnen we geen individuele cellen over tijd volgen; we krijgen in plaats daarvan een reeks niet-gealigneerde "snapshots".
Traditionele methoden gebruiken Hoog Variabele Genen (HVG) gecombineerd met dimensiereductie (zoals PCA) om een laag-dimensionale ruimte te creëren waarin optimal transport (OT) methoden worden toegepast om populatie-stromen te modelleren.

Recent zijn er Single-Cell Foundation Modellen (scFMs) (zoals Geneformer, scGPT, Genecompass) ontwikkeld die op grote schaal zijn voorgeïntroduceerd om universele biologische representaties te leren. De hypothese was dat deze zero-shot embeddings, dankzij hun training op enorme datasets, subtielere overgangstoestanden beter zouden kunnen vastleggen dan traditionele HVG-baselines. Echter, het is onduidelijk of deze modellen geschikt zijn voor dynamische taken (zoals het voorspellen van toekomstige toestanden of het reconstrueren van verleden toestanden), aangezien eerdere benchmarks zich vooral richtten op statische taken (clustering, annotatie).

2. Methodologie

De auteurs hebben een systematische benchmark ontwikkeld om de prestaties van zero-shot scFM-embeddings te vergelijken met een traditionele HVG-PCA-baseline voor het reconstrueren van celdynamica.

• Datasets: Vijf diverse tijdsreeks-datasets werden gebruikt, variërend in grootte (3.000 tot 49.000 cellen) en biologische context:
  • Epitheel-mesenchymale overgang (EMT).
  • Muizen hematopoëtische stam- en progenitorcellen (HSPC).
  • Menselijke pancreasdifferentiatie (Veres dataset).
  • Embryoïde lichamen (EBdata).
  • HSPC respons op ontstekingsstimulatie (IFNα).
• Embeddings: Zeven pipelines werden vergeleken:
  • Baseline: HVG (Top 2.000) + PCA.
  • Foundation Models: Geneformer, Genecompass, scGPT, UCE, en scFoundation.
• Traject-inferentie: Vier optimal transport (OT) methoden werden toegepast op de embeddings om de dynamica te modelleren:
  • Dynamical Optimal Transport (DOT).
  • Unbalanced Dynamical Optimal Transport (UOT).
  • Dynamical Schrödinger Bridge.
  • Regularized Unbalanced Optimal Transport (RUOT).
• Evalueringsopdrachten: Drie dynamische scenario's werden getest om generalisatievermogen te meten:
  1. Backtracking: Het reconstrueren van voorouderlijke toestanden (progenitors) op basis van latere tijdstippen.
  2. Interpolatie: Het voorspellen van overgangstoestanden tussen twee bekende tijdstippen.
  3. Extrapolatie: Het voorspellen van toekomstige toestanden buiten het waargenomen tijdsvenster.
• Evaluatiemetrics: Om eerlijke vergelijking mogelijk te maken, werden alle embeddings gealigneerd naar een gemeenschappelijke latente ruimte (via Generalized Procrustes Analysis). Drie metrics werden gebruikt:
  1. Distributieherstel: Wasserstein-1 afstand (EMD) tussen voorspelde en waargenomen celverdelingen.
  2. Temporele orde: Spearman-correlatie met referentie-pseudotijd.
  3. Lokale snelheidscoherentie: Mate van overeenstemming tussen snelheidsvectoren van naburige cellen (richtingsconsistentie).

3. Belangrijkste Resultaten

De benchmark toonde aan dat zero-shot scFM-embeddings systematisch onderpresteren ten opzichte van de simpele HVG-PCA-baseline op de meeste taken en metrics.

• Distributieherstel: De HVG-baseline leverde de laagste Wasserstein-1 afstanden op, wat betekent dat deze de verdeling van onwaargenomen cellen (bij backtracking en extrapolatie) het beste kon reconstrueren. Foundation modellen vertoonden vaak een "collapse" van de representatie, waardoor complexe, multimodale overgangen verloren gingen.
• Temporele en Vertakkingsstructuur: Mechanistische analyse toonde aan dat scFMs subtiele temporale signalen overmatig comprimeren.
  • Temporele Variatie Ratio (TVR): ScFMs behielden minder variatie die specifiek gerelateerd was aan tijd in vergelijking met HVG.
  • Vertakkingsverlies: In datasets met vertakkende lijnen (bijv. differentiatie naar verschillende celtypen), neigden scFMs ertoe deze vertakkingen te "lineariseren". Bijvoorbeeld, in de pancreas-differentiatie dataset werden de SC-β en SC-EC populaties in scFM-ruimtes minder duidelijk gescheiden dan in de HVG-ruimte, wat leidde tot minder nauwkeurige voorspellingen van de eindbestemmingen.
• Snelheidscoherentie: Hoewel sommige modellen (zoals scFoundation) in specifieke scenario's vergelijkbare snelheidscoherentie lieten zien, was de HVG-baseline over het algemeen robuuster in het herstellen van vloeiende, zelf-consistente dynamische stromen.
• Oorzaak: De auteurs concluderen dat de trainingsdoelen van scFMs (zoals masked token prediction) neigen naar het maximaliseren van invariantheid voor technische variatie en stabiele celidentiteit. Hierbij worden transiënte, tijdsgebonden signalen (die essentieel zijn voor dynamica) behandeld als ruis en onderdrukt. Dit resulteert in een "temporele compressie" die de complexe niet-lineariteiten van biologische trajecten vervormt.

4. Bijdragen en Significantie

• Eerste Systematische Benchmark: Dit is een van de eerste studies die specifiek scFMs test op dynamische reconstructietaken in plaats van statische analyse.
• Fundamentele Beperking Geïdentificeerd: De studie onthult een fundamenteel "temporeel-compressie" knelpunt in huidige foundation modellen. Ze zijn uitstekend voor het vastleggen van statische celidentiteiten, maar falen in het behoud van de fijne tijdsafhankelijke dynamica die nodig is voor trajectinferentie.
• Praktische Implicatie: Voor onderzoekers die celdynamica willen reconstrueren uit snapshot-data, blijft de traditionele HVG-PCA-baseline momenteel de superieure keuze boven zero-shot foundation modellen.
• Toekomstige Richting: De bevindingen suggereren dat de volgende generatie foundation modellen expliciet getraind moet worden om temporale verschillen en vertakkingsstructuren te behouden, in plaats van deze te behandelen als ruis. Dit vereist een verschuiving in inductieve bias van "stabiliteit van identiteit" naar "behoud van dynamische structuur".

Conclusie: Hoewel single-cell foundation modellen veelbelovend zijn voor veel biologische taken, zijn hun huidige zero-shot embeddings niet geschikt voor het reconstrueren van complexe celdynamica en kunnen ze zelfs misleidend zijn door biologisch relevante temporale en vertakkingsinformatie te verliezen.