💻 bio-informatica

Building computational benchmarks: an Omnibenchmark reimplementation of a single-cell preprocessing pipeline evaluation

Dit artikel presenteert Omnibenchmark, een reproduceerbaar en gestandaardiseerd framework dat de evaluatie van single-cell RNA-sequencing preprocessing pipelines verenigt om inconsistenties in bestaande benchmarks aan te pakken en meer flexibele, uitbreidbare methodevergelijkingen te faciliteren.

Oorspronkelijke auteurs: Choudhury, A., Kitak, T., Carrillo, B., Busch, P., Emons, M., Gunz, S., Koderman, M., Luo, S., Mallona, I., Meara, A., Wissel, D., Robinson, M. D.

Gepubliceerd 2026-10-26

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Choudhury, A., Kitak, T., Carrillo, B., Busch, P., Emons, M., Gunz, S., Koderman, M., Luo, S., Mallona, I., Meara, A., Wissel, D., Robinson, M. D.

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ⚕️ Dit is een AI-gegenereerde uitleg van een preprint die niet peer-reviewed is. Dit is geen medisch advies. Neem geen gezondheidsbeslissingen op basis van deze inhoud. Lees de volledige disclaimer

In het afgelopen decennium hebben wetenschappers een manier ontwikkeld om de genetische instructies binnen individuele cellen te lezen, in plaats van alleen de signalen van een miljoen gemengde cellen te middelen. Deze verschuiving heeft ons begrip van de biologie getransformeerd door te onthullen dat weefsels geen uniforme blokken weefsel zijn, maar complexe mozaïeken van verschillende celtypen, elk met een eigen rol. Om de enorme hoeveelheden gegevens die door deze experimenten worden gegenereerd te begrijpen, vertrouwen onderzoekers op computerprogramma's die de ruwe getallen opschonen, organiseren en vergelijkbare cellen bij elkaar groeperen. Deze programma's, vaak pipelines genoemd, zijn essentiële hulpmiddelen. Omdat er nu echter honderden verschillende softwarepakketten beschikbaar zijn, die elk net iets andere keuzes maken over hoe de gegevens te verwerken, is het voor wetenschappers moeilijk geworden om te weten welk instrument het beste is voor een specifieke taak. Het ene programma kan cellen anders groeperen dan het andere, niet omdat de biologie veranderde, maar omdat de software de wiskunde anders afhandelde. Zonder een duidelijke manier om ze te vergelijken, lopen onderzoekers het risico conclusies te trekken op basis van de eigenaardigheden van een specifiek programma, in plaats van op de werkelijkheid van de cellen die ze bestuderen.

Een team van onderzoekers aan de Universiteit van Zürich en het Zwitserse Instituut voor Bioinformatica besloot deze verwarring aan te pakken door een gestandaardiseerde testomgeving te bouwen. Ze namen een bestaande studie die vijf populaire softwarepipelines voor het analyseren van single-cell data vergeleken en bouwden deze van de grond af opnieuw op om meer rigoureus, transparant en reproduceerbaar te zijn. Hun doel was niet alleen om te zien welk programma het snelst of het meest accuraat was, maar om een raamwerk te creëren dat gemakkelijk kan worden bijgewerkt en uitgebreid door de bredere wetenschappelijke gemeenschap. Ze richtten zich op vijf belangrijke pipelines: Seurat, Scrapper, OSCA, Scanpy en Rapids. Al deze tools voeren dezelfde algemene taken uit: ze filteren gegevens van lage kwaliteit eruit, selecteren de meest informatieve genen, verminderen de complexiteit van de gegevens tot een eenvoudigere vorm, en groeperen uiteindelijk de cellen in clusters. De onderzoekers draaiden deze pipelines op drie verschillende datasets met duizenden cellen, waarbij ze de pipelines testten over een breed scala aan instellingen om te zien hoe kleine veranderingen in de configuratie van de software de uiteindelijke resultaten beïnvloedden.

Het team ontdekte dat de snelheid en nauwkeurigheid van deze pipelines aanzienlijk varieerden afhankelijk van de specifieke keuzes gemaakt door de gebruiker. Zo werd de tijd die nodig was om de analyse uit te voeren sterk beïnvloed door het aantal geselecteerde kenmerken en de complexiteit van de grafiek die wordt gebruikt om vergelijkbare cellen te verbinden. Sommige pipelines, met name de pipelines die ontworien zijn om op gespecialiseerde grafische processoren te draaien, waren veel sneller dan andere, maar deze snelheid garandeerde niet altijd een betere nauwkeurigheid. Sterker nog, de onderzoekers kwamen tot de conclusie dat geen enkele pipeline de beste presteerder was over alle datasets heen. Een tool die uitblonk in het groeperen van cellen in één experiment, kon moeite hebben met een ander dataset. Deze inconsistentie benadrukte dat de "beste" tool geen vaststaand antwoord is, maar afhangt van de specifieke data en de gekozen parameters. Een van de belangrijkste bevindingen was dat de manier waarop verschillende softwarepakketten omgingen met een belangrijke instelling genaamd de "resolutie"-parameter, niet consistent was. Omdat de tools deze instelling verschillend interpreteerden, was het moeilijk om ze eerlijk te vergelijken. Om dit op te lossen, pasten de onderzoekers hun benchmark aan door de focus te leggen op het werkelijke aantal celgroepen dat werd geproduceerd, in plaats van op de abstracte instelling die werd gebruikt om ze te creëren, wat zorgde voor een directere vergelijking.

Buiten het simpelweg rangschikken van de tools, toonde de studie aan dat het proces van het bouwen van benchmarks zelf moet veranderen. De onderzoekers lieten zien dat door te standaardiseren hoe data in deze programma's wordt gevoed en hoe resultaten worden verzameld, het mogelijk wordt om automatisch honderden variaties van een experiment uit te voeren. Ze ontdekten dat zelfs kleine verschillen in de softwareversie of de onderliggende computerhardware de resultaten konden veranderen, wat soms leidde tot significante fouten. Bijvoorbeeld, toen ze een specifieke update van een van de softwarepakketten testten, merkten ze een plotselinge daling in prestaties op die terug te voeren was op een subtiele verandering in de manier waarop het programma een wiskundig probleem oploste. Dit suggereert dat softwaretools continu getest moeten worden, vergelijkbaar met hoe een automodel wordt getest onder verschillende omstandigheden, in plaats van slechts één keer wanneer het wordt uitgebracht. De onderzoekers merkten ook op dat hoewel sommige tools beweerden meerdere computerkernen te gebruiken om de verwerking te versnellen, ze niet altijd de verwachte winst behaalden, wat aangeeft dat efficiëntie niet gegarandeerd is enkel omdat een functie bestaat.

De uiteindelijke waarde van dit werk ligt in het raamwerk dat het team heeft gecreëerd, dat ze Omnibenchmark noemen. Dit systeem stelt andere wetenschappers in staat om nieuwe datasets, nieuwe software of nieuwe manieren om succes te meten in te pluggen zonder het hele experiment vanaf nul opnieuw te hoeven opbouwen. Door de code, de data en de softwareomgevingen openbaar en gemakkelijk aanpasbaar te maken, hebben de onderzoekers een sjabloon geboden voor hoe computationele biologie vooruit kan gaan. In plaats van geïsoleerde studies die moeilijk te reproduceren zijn, kan het vakgebied nu een gedeelde, levende bibliotheek van benchmarks opbouwen die evolueert naarmate de technologie verbetert. De studie concludeert dat hoewel er geen enkele perfecte pipeline voor elke situatie is, het hebben van een gestandaardiseerde, transparante manier om ze te evalueren de gemeenschap in staat stelt om beter geïnformeerde keuzes te maken. Het verandert het chaotische landschap van beschikbare tools in een navigeerbare kaart, waar de sterktes en zwaktes van elke methode duidelijk zichtbaar zijn, wat wetenschappers helpt zich te concentreren op de biologie in plaats van op de software.

Technische Samenvatting: Het bouwen van computationele benchmarks: Een Omnibenchmark-reimplementatie van een evaluatie van een single-cell preprocessing pipeline

Probleemstelling
De snelle proliferatie van single-cell RNA-sequencing (scRNA-seq) technieken en datasets is gepaard gegaan met een explosie van computationele analyse-instrumenten en frameworks. Hoewel er talrijke "neutrale" benchmarks bestaan om specifieke computationele taken te evalueren, lijden deze vaak aan een gebrek aan standaardisatie. Kritieke problemen omvatten het gebruik van incompatibele datasets, metrieken of parametersets over verschillende studies heen, wat vergelijkingen tussen studies bemoeilijkt. Bovendien missen bestaande benchmarks vaak reproduceerbaarheid door ontbrekende artefacten, onvolledige herkomst, niet-beschikbare simulatiecode en fragiele softwareomgevingen. Het vakgebied kampt met een gebrek aan een verenigd, uitbreidbaar framework dat de systematische investigatie van volledige analyse-pipelines mogelijk maakt, inclusief de isolatie van specifieke stappen en de exploratie van brede parameterruimtes.

Methodologie
De auteurs presenteren scrna-bench, een reimplementatie en verbetering van een eerdere "end-to-end" pipeline benchmark [21], gebouwd met het Omnibenchmark framework [17]. Het doel was om een reproduceerbare, gestandaardiseerde en uitbreidbare template te creëren voor het evalueren van scRNA-seq pipelines.

Framework Structuur: De benchmark is georganiseerd in vier afzonderlijke stadia: datasets, methoden, metrieken en een rapport (metric collector). De workflow wordt georkestreerd via een zelfbeschrijvend YAML benchmarkplan dat inputs, outputs, softwareomgevingen en coderepositories voor elk stadium definieert.
Datasets en Pipelines: De studie richt zich op drie datasets (sc-mix, cb, en be1) en vijf belangrijke analyse-pipelines: Seurat, Scrapper, OSCA, Scanpy, en Rapids-singlecell.
Standaardisatie en Harmonisatie: De auteurs hebben codefragmenten geïnjecteerd om inputs en outputs over alle stadia heen te harmoniseren. Ze hebben veelvoorkomende getunede parameters blootgelegd om een bredere grid search over de parameterruimte mogelijk te maken, inclusief:
- Aantal PCA-componenten ( $n\_comp$ )
- Aantal dichtstbijzijnde buren ( $n\_neig$ )
- Aantal hoogvariabele genen ( $n\_hvg$ )
- Cluster count offset ( $\delta_{cluster}$ ), gedefinieerd als de gesigneerde offset van het werkelijke aantal clusters.
- Filteringstrategieën (manueel versus geautomatiseerd).
Reproduceerbaarheid: Om reproduceerbaarheid te garanderen en versie-specifieke instabiliteiten aan te pakken, hebben de auteurs drie Apptainer (container) images gemaakt. Er zijn twee Python-gebaseerde images gebouwd om verschillende versies van het rapids-singlecell pakket te testen (v0.13.5 en v0.14.1), aangezien de oorspronkelijke studie significante prestatieverliezen ondervond met de oudere versie door instabiliteiten in het PCA-algoritme.
Metrieken: Prestaties werden geëvalueerd met behulp van de Adjusted Rand Index (ARI) als primaire metriek voor clusteringaccuratesse (gebruikmakend van ground-truth celannotaties), naast andere label-overeenkomstmetrieken (NMI, Fowlkes-Mallows, etc.) en interne clusterstructuurmetrieken (Silhouette, Davies-Bouldin). Computationele tijden voor individuele pipeline-stappen (filtering, PCA, UMAP, Leiden clustering) werden eveneens geregistreerd.
Statistische Analyse: Er zijn lineaire modellen (zowel met vaste als willekeurige effecten) gefit om de invloed van de gekozen pipeline en parameterinstellingen op de ARI-prestaties te bepalen.

Belangrijkste Resultaten

Computationele Prestaties: De runtime varieerde aanzienlijk tussen pipelines en parameters. Rapids (GPU-versneld) en Scrapper (C++ met R-bindings) waren de snelste pipelines overall. OSCA vertoonde een tragere PCA-implementatie, terwijl Scanpy een tragere UMAP-implementatie liet zien. De studie merkte op dat runtime-vergelijkingen tussen CPU en GPU pipelines architecturale verschillen reflecteren en niet louter als maatstaf voor algoritmische efficiëntie moeten worden geïnterpreteerd.
Clustering Accuratesse:
- Het aantal gespecificeerde clusters was de sterkste drijfveer voor clusteringprestaties (ARI).
- Er was geen enkele "top performer" over alle datasets heen; stabiliteit varieerde sterk afhankelijk van de parametrisatie, met name voor de cb dataset.
- Een opmerkelijke bevinding is dat de resolutieparameter anders wordt geïmplementeerd in verschillende pipelines. Daarom hebben de auteurs de parameter van belang verschoven naar het aantal clusters in plaats van de resolutieparameter om een eerlijke vergelijking te waarborgen.
- Rapids en Scrapper behielden over het algemeen een hoge accuratesse, hoewel een omkering in top-prestaties werd waargenomen tussen de be1 en cb datasets. Scanpy, Rapids en Seurat vertoonden suboptimale prestaties op de be1 dataset.
Parametersensitiviteit: Het uitbreiden van de parameterraster onthulde dat hoewel sommige configuraties de ARI verbeterden ten opzichte van de defaults uit de oorspronkelijke studie, andere juist slechter presteerden, vooral op de cb dataset. Lineaire modellering gaf aan dat dataset-specifieke effecten dominant waren, waarbij de keuze van de pipeline en het aantal clusters de primaire drijvers waren van de variantie in ARI.
Uitdagingen voor Reproduceerbaarheid: De reimplementatie bracht een significante instabiliteit in rapids-singlecell v0.13.5 aan het licht, waarbij de ARI-scores over alle parametrisaties heen daalden door onderliggende problemen in het PCA-algoritme. Dit onderstreepte de noodzaak om meerdere softwareversies te testen en benchmarks te behandelen als continue tests voor evoluerende pakketten.

Betekenis en Claims
Het artikel positioneert scrna-bench niet enkel als een verzameling resultaten, maar als een template en canvas voor toekomstige benchmarking-inspanningen. De primaire betekenis ligt in:

Standaardisatie: Het unificeert het proces van benchmarkconstructie, wat consistente methodevergelijkingen mogelijk maakt en de uitbreiding van benchmarks naar bredere parameter sweeps, verschillende softwareversies en aanvullende pipelines faciliteert.
Reproduceerbaarheid en Uitbreidbaarheid: Door alle artefacten op Zenodo te archiveren en gebruik te maken van gecontaineriseerde omgevingen, is de gehele benchmark reproduceerbaar, forkbaar en modificeerbaar. Dit pakt de terugkerende barrières van ontbrekende artefacten en fragiele omgevingen aan die in eerdere studies werden gevonden.
Community Collaboratie: De auteurs beschouwen de benchmark als een "conceptuele template" die bedoeld is om iteratief te worden verbeterd door de community. Zij stellen dat benchmarks "continue entiteiten" moeten worden die meevolgen met methoden en datasets.
Generaliseerbaarheid: Hoewel gericht op scRNA-seq, beargumenteren de auteurs dat deze strategie van gestandaardiseerde, uitbreidbare benchmarking-templates kan worden toegepast op andere gebieden van de computationele biologie en computationele subvelden om open-source modules mogelijk te maken die herbruikbaar en continu bij te werken zijn.

De auteurs blijven bescheiden over de reikwijdte en erkennen dat zij momenteel slechts drie datasets en vijf pipelines hebben geëvalueerd, en dat CPU-gebaseerde methoden op enkele kernen zijn getest. Zij identificeren de uitbreiding van softwareomgevingen over pakketversies en de inclusie van integratiestappen (voor multi-sample verwerking) als noodzakelijke toekomstige uitbreidingen.

Meer zoals dit