Method Choice, Not Biology, Determines In Silico Perturbation Results: A Systematic Evaluation of Eight Methods Across Four Datasets

Technische Samenvatting: Methodekeuze, niet Biologie, Bepaalt de Resultaten van In Silico Perturbatie

Probleemstelling
Huidige in silico perturbatiemethoden voor single-cell transcriptomics lijden aan een kritische validatiekloof: ze worden doorgaans gebenchmarkt op individuele datasets, waardoor hun betrouwbaarheid, generaliseerbaarheid en het vermogen om ware causale signalen te herstellen onbekend blijven. Dit gebrek aan systematische cross-methode en cross-dataset evaluatie maakt het moeilijk om te bepalen of geobserveerde biologische conclusies worden gedreven door onderliggende biologie of door artefacten van specifieke algoritmische keuzes.

Methodologie
De auteurs voerden een systematische benchmarkingstudie uit waarbij acht verschillende in silico perturbatiemethoden werden geëvalueerd. Deze methoden beslaan zes verschillende wiskundige kaders en werden getest over vier diverse datasets. De evaluatiestrategie omvatte:

• Cross-Methode en Cross-Dataset Benchmarking: Het vergelijken van prestatieconsistentie over verschillende biologische contexten.
• Signaaldetectieanalyse: Het beoordelen van het vermogen van methoden om de directionele regulatie van TF-naar-pathway (transcriptiefactor-naar-pathway) te detecteren, met specifieke focus op het TF-naar-glycolyse signaal.
• Biologische Coherentiecontroles: Het analyseren van TF-pathway associaties in PBMC monocyten, inclusief verrijkingsproeven voor specifieke paren (bijv. SPI1 naar glycolyse, FOS naar AP-1 targets) en het gebruik van SOX9 als negatieve controle voor pathway-specificiteit.
• Correlatie en Rangschikkingsconsistentie: Het meten van de correlatie tussen methode-rangschikkingen om anti-gecorreleerde resultaten te identificeren die biologische conclusies zouden kunnen omkeren.
• Experimentele Validatie: Het valideren van voorspellingen tegenover CRISPRi Perturb-seq data van K562-cellen, specifiek door voorspelde perturbatierichtingen te vergelijken met experimentele knockdown-uitkomsten voor genen zoals JUN, CEBPB, SPI1 en FOS.
• Diagnostische Falingsmodusanalyse: Het gebruik van VAE latent space profiling, correlatiedistributievergelijkingen en gen-gen graafanalyse om specifieke technische falen in onderpresterende methoden aan te wijzen.
• Ablatiestudies: Testen of het integreren van een Gene Regulatory Network (GRN) prior in de DDIM-methode de target recall verbeterde.

Belangrijkste Resultaten

• Wijdverbreid Falen van Huidige Methoden: Zes van de acht geëvalueerde methoden, inclusend veelgebruikte Variational Autoencoder (VAE)-gebaseerde en tensor decompositie benaderingen, faalden in het produceren van detecteerbare TF-naar-pathway signalen.
• Beperkt Succes: Alleen CellOracle en DDIM detecteerden consistent de directionele TF-naar-glycolyse regulatie. Hoewel beide methoden slaagden in de initiële benchmark, faalden de voorspellingen van CellOracle bij de daaropvolgende experimentele validatie.
• Methode-afhankelijke Conclusies: De keuze van de methode alleen kan biologische conclusies omkeren. Zo waren de rangschikkingen geproduceerd door DDIM en scTenifoldKnk significant anti-gecorreleerd ($\rho = -0.811$, $p = 0.027$).
• Validatie-discrepantie: Hoewel CRISPRi Perturb-seq bevestigde dat TF-knockdown de expressie van glycolyse-genen onderdrukt (bijv. JUN $\delta = -1.72$, SPI1 $\delta = -1.57$), vertoonden de voorspelde perturbatierichtingen van CellOracle slechts 40,9% overeenkomst met de experimentele richtingen—een percentage dat niet significant verschilt van toeval. Dit benadrukt een fundamentele kloof tussen steady-state correlatie en causale perturbatie-inferentie.
• Geïdentificeerde Falingsmodi: Diagnostische analyses onthulden specifieke redenen voor methode-falen:
  • VAE Latent Space Competitie: Slechte signaal-ruisverhoudingen (bijv. STAT3 signaal-ruisverhouding van 0.44 vs. SPI1's 4.25).
  • Correlatieruis: TF-glycolyse correlaties ($|r|=0.038$) waren niet te onderscheiden van achtergrondruis ($|r|=0.047$).
  • Graaf Non-Specificiteit: Verrijkingsfactoren zo laag als 0.84x.
• Ablatiebevindingen: Het toevoegen van een GRN prior aan DDIM verbeterde de target recall niet ($\delta = 0$ voor alle TFs), wat bevestigt dat prestatieverschillen multifactorieel zijn en niet uitsluitend op te lossen zijn door de integratie van priors.

Belangrijkste Bijdragen

• Systematische Benchmarking: De studie biedt de eerste cross-methode, cross-dataset evaluatie van acht in silico perturbatiemethoden, waarmee verder wordt gekeken dan enkelvoudige dataset-validatie.
• Empirisch Bewijs van Methodebias: Het artikel toont aan dat methodekeuze een primaire determinant van resultaten is, in staat om tegenstrijdige biologische narratieven te genereren.
• Diagnostisch Kader: Het introduceert specifieke diagnostische instrumenten (latent space profiling, correlatiedistributievergelijking, graafanalyse) om te identificeren waarom specifieke methoden falen in bepaalde contexten.
• Identificatie van de Validatiekloof: Het werk kwantificeert expliciet de disconnect tussen steady-state correlatie-gebaseerde voorspellingen en experimentele perturbatie-uitkomsten.

Betekenis en Richtlijnen
Het artikel stelt vast dat biologische conclusies getrokken uit in silico perturbatie sterk afhankelijk zijn van het gekozen algoritme in plaats van puur reflectief te zijn van de biologische waarheid. Bij consequent bieden de auteurs een voorlopige, op data gebaseerde richtlijn voor methodekeuze om deze risico's te beperken. Deze richtlijn omvat:

• Het implementeren van cross-pathway validatie.
• Het adopteren van richting-bewuste benchmarking protocollen.
• Het naleven van minimale datavereisten om robuuste signaaldetectie te garanderen, specifiek met de aanbeveling van datasets met $\ge$500 cellen en $\ge$1.000 Highly Variable Genes (HVGs).

De bevindingen onderstrepen de noodzaak van rigoureuze, veelzijdige validatie voordat men kan vertrouwen op computationele perturbatie-resultaten voor biologische inferentie.