An Empirical Comparison of Virtual Cell Models: Perturbation Prediction, Representation, and the Baseline Gap

Technische Samenvatting: Een Empirische Vergelijking van Virtuele Celmodellen

Probleemstelling
Het vakgebied van de computationele biologie is samengekomen rond de visie van een "AI virtuele cel" (AIVC): een geleerd model dat in staat is cellulaire toestanden te representeren en reacties op genetische en chemische perturbaties te simuleren. Hoewel er een diverse "zoo" aan kandidaat-modellen bestaat—variërend van doelgerichte perturbatie-voorspellers (bijv. GEARS, CPA, scGen) tot foundation-model embeddings (bijv. Geneformer, scGPT, scFoundation) en geïntegreerde systemen (bijv. State)—blijven hun capaciteiten onduidelijk door heterogene evaluatiepraktijken. Modellen worden getraind op verschillende datasets, gebruiken variërende data-splits en rapporteren uiteenlopende metrieken, waardoor vergelijkingen tussen papers onmogelijk zijn. Bovendien is er een gebrek aan consensus over de vraag of complexe deep learning-architecturen werkelijk beter presteren dan eenvoudige, interpreteerbare baselines, vooral gezien recente kritieken die suggereren dat diepe modellen mogelijk niet beter presteren dan lineaire voorspellers op ongeziene single-gene perturbaties.

Methodologie
Om deze inconsistenties aan te pakken, hebben de auteurs een verenigde benchmark geconstrueerd die elf methoden over vijf modelfamilies evalueert. De studie houdt data-splits, preprocessing-pipelines en evaluatiemetrieken constant om een eerlijke vergelijking te garanderen.

• Geëvalueerde Modellen:
  • Eenvoudige Baselines: Cell-mean (het voorspellen van het ongeperturbreerde controleprofiel) en Lineair/additief (ridge-geregulariseerde lineaire mapping van de identiteit van de perturbatie naar expressieverschuivingen).
  • Generatieve Modellen: scGen, CPA, chemCPA (latente variabele modellen).
  • Graph Modellen: GEARS (gebruikmakend van gen-gen structuur).
  • Foundation Embeddings: Geneformer, scGPT, scFoundation, UCE (voorgetraind op atlas-schaal corpora, aangepast via fine-tuning of in-silico interventie).
  • Geïntegreerd Model: State (koppeling van State Embedding en State Transition transformers getraind op ~170M observationele en ~100M perturbatieve cellen).
• Datasets en Taken: De benchmark beslaat negen publieke datasets die genetische Perturb-seq (Adamson, Norman, Replogle), chemische schermen (sci-Plex, Tahoe-100M) en representatie-taken (celtype-annotatie, batch-integratie) bestrijken.
• Evaluatie-splits: Drie generalisatiescenario's werden getest:
  1. Ongeziene Perturbatie: Hele genen of drugs worden buiten beschouwing gelaten.
  2. Combinatorisch: Single-genen zijn bekend, maar specifieke genparen worden buiten beschouwing gelaten om non-additieve interacties te testen.
  3. Cross-Context: Hele celtypen of lijnen worden buiten beschouwing gelaten om transfereerbaarheid te testen.
• Metrieken:
  • Perturbatie Voorspelling: Delta-Pearson op de top-20 differentieel tot expressie gebrachte (DE) genen ($p\Delta$), Differential-Expression Score (DES), Perturbation-Discrimination Score (PDS), Mean Absolute Error (MAE) en Energy Distance. De studie bekritiseert expliciet het wijdverbreide gebruik van "All-gene Pearson correlation", door aan te tonen dat dit gevoelig is voor triviale baselines.
  • Representatie: Celtype-annotatie nauwkeurigheid en scIB integratie scores.

Belangrijkste Resultaten

1. Perturbatie Voorspelling vs. Lineaire Baselines:
   Op ongeziene single-gene perturbaties presteert geen enkele deep learning methode spectaculair beter dan een goed afgestelde lineaire/additieve baseline. Het best presterende model, State, verbeterde met 26% ten opzichte van een cell-mean baseline, vergeleken met 19% voor de lineaire baseline en 22% voor GEARS. Verschillende foundation-model voorspellers (bijv. scGPT) vielen onder de lineaire baseline. De marge tussen het beste diepe model en de lineaire baseline is klein (0.043 in $p\Delta$) en valt vaak binnen de ruis van cross-split variatie.

2. Metrieke Gevoeligheid en Valkuilen:
   De studie identificeert een kritieke evaluatiefout: All-gene Pearson correlation wordt gemaximaliseerd door modellen die "geen verandering" voorspellen (de cell-mean baseline), aangezien de meeste genen niet veranderen onder perturbatie. Deze metriek slaagt er niet in nuttige voorspellers te onderscheiden van nutteloze. In tegenstelling hiertoe bieden metrieken die gericht zijn op veranderingen ($p\Delta$, DES, PDS) zinvolle rangschikkingen waarbij de lineaire baseline competitief maar niet dominant is.

3. Waar Diepe Modellen Excelleren:
   Diepe modellen vertonen duidelijke, reproduceerbare winsten in specifieke niches:

   • Combinatorische Perturbaties: Bij non-additieve genetische interacties (synergie, suppressie, neomorfisme), presteren diepe modellen (State, GEARS) significant beter dan additieve baselines, die deze complexe interacties niet kunnen vatten.
   • Chemische Perturbaties: Modellen zoals State en chemCPA laten grotere marges zien ten opzichte van lineaire baselines op dose-response data (sci-Plex), hoewel de prestaties scherp dalen in cross-cell-line settings.
   • Cross-Context Transfer: Hoewel alle modellen lijden onder distributieverschuiving bij het voorspellen van reacties in ongeziene celtypen, behouden modellen met sterke pretrained priors (State, scGPT) een hoger deel van hun prestaties (67–69%) vergeleken met lineaire baselines (49%).

4. Representatie vs. Voorspelling:
   Er bestaat een scherpe dichotomie tussen representatie- en voorspellingscapaciteiten. Foundation embeddings verslaan de lineaire baselines beslissend op representatie-taken (celtype-annotatie en batch-integratie), waarbij ze 6–8 procentpunten hogere nauwkeurigheid bereiken op moeilijke datasets. Daarentegen worstelen deze zelfde modellen om de lineaire baselines te verslaan op perturbatie-voorspelling.

5. Computatie-efficiëntie:
   De lineaire baseline bereikt ~73% van de verbetering van het beste diepe model ten opzichte van de cell-mean baseline tegen een verwaarloosbare trainingskosten (<0.1 GPU-uren versus ~42.000 GPU-uren voor State). De "accuracy-compute frontier" voor perturbatie-voorspelling wordt gedomineerd door de goedkope lineaire baseline, terwijl representatie-taken de hoge kosten van foundation modellen rechtvaardigen.

Betekenis en Claims
Het artikel betoogt dat het veld momenteel dichter bij een "nuttige virtuele microscoop" staat dan bij een "virtuele simulator". Hoewel foundation modellen succesvol het representatieprobleem hebben opgelost (het coderen van georganiseerde, grotendeels correlationele celtype-structuren), hebben ze de simulatie van counterfactual perturbaties nog niet onder de knie, wat causale regulatoire logica vereist in plaats van enkel correlatie.

De auteurs claimen drie primaire bijdragen:

1. Standaardisatie: Het bieden van een verenigde benchmark die de werkelijke relatieve prestaties van diverse modelfamilies onder vaste condities onthult.
2. Correctie van Evaluatie: Het aantonen dat de afhankelijkheid van het veld van all-gene correlatie het falen van modellen om werkelijke biologische veranderingen te voorspellen maskeert, en het vaststellen dat eenvoudige lineaire baselines de ware lat vormen voor perturbatie-voorspelling.
3. Realistische Verwachtingen: Verhelderen dat diepe modellen echte waarde bieden, primair voor non-additieve interacties, cross-context transfer en representatie, in plaats van voor algemene single-gene perturbatie-voorspelling.

De studie concludeert dat de visie op de "virtuele cel" nog gespleten is: representatie is een volwassen regime waarin pretrained modellen excelleren, terwijl simulatie een open uitdaging blijft waar eenvoudige, interpreteerbare baselines zeer competitief blijven. De auteurs stellen de benchmark code en splits vrij om ervoor te zorgen dat toekomstige modellen worden gemeten tegen deze "onverbiddelijke lat".