Benchmarking computational decontamination of ambient RNA

Deze studie evalueert zeven geavanceerde methoden voor het verwijderen van omgevings-RNA uit single-cell RNA-sequencing-data en concludeert dat hoewel geen enkele methode overal superieur is, CellBender, DecontX en SoupX over het algemeen de beste prestaties leveren.

De kern

Titel: De "Geest van de Kamer" uit je cel-data halen: Een simpele uitleg van een groot wetenschappelijk onderzoek

Stel je voor dat je een gigantische feestzaal binnenstapt, vol met honderden verschillende groepen mensen die allemaal over iets anders praten. Je wilt precies horen wat elke individuele groep zegt, zodat je kunt begrijpen hoe de hele zaal functioneert. Dit is wat wetenschappers doen met single-cell RNA-sequencing: ze luisteren naar de "stemmen" (genen) van individuele cellen om te zien hoe ze werken.

Maar er is een groot probleem: de zaal is niet schoon. Er hangt een wazige mist van eerdere gesprekken in de lucht. Dit noemen we Ambient RNA (omgevings-RNA).

Wat is dit "omgevings-RNA"?

Stel je voor dat tijdens het verzamelen van de mensen voor je experiment, een paar mensen per ongeluk hun jas uitdoen en hun kledingstukken (hun RNA) in de lucht laten dwarrelen. Of dat een paar mensen hun jas vergeten hebben en hun spullen achterlaten.

Wanneer je nu een nieuwe groep mensen in een kamer zet en hun stemmen opneemt, vangt je microfoon niet alleen hun stemmen op, maar ook die losse kledingstukken en echo's van de vorige gasten. In de biologie gebeurt dit als cellen tijdens het voorbereiden van het monster beschadigd raken en hun inhoud lekken. Die "lekke inhoud" zweeft rond en wordt per ongeluk gemeten bij de gezonde cellen.

Dit maakt je data vies. Het lijkt alsof een cel bepaalde genen heeft die hij eigenlijk niet heeft, wat kan leiden tot verkeerde conclusies. Het is alsof je denkt dat iemand van de "Bakkers-groep" is, alleen maar omdat er meel in de lucht hing en op zijn jas zat.

Het probleem: Welke reinigingsmethode werkt het beste?

Om dit probleem op te lossen, hebben programmeurs verschillende computersoftware-tools bedacht. Deze tools zijn als slimme filters of "digitale stofzuigers" die proberen de losse kledingstukken (omgevings-RNA) uit de opnames te halen, zonder de echte stemmen van de mensen (de cellen) weg te zuigen.

Maar welke stofzuiger is het beste?

• Is de ene te agressief en zuigt hij ook de echte stemmen weg?
• Is de andere te lui en laat hij nog steeds veel rommel achter?
• Werkt de ene alleen op grote huishoudens (grote datasets) en de andere op kleine appartementen?

Tot nu toe wist niemand het zeker, omdat er nog nooit een eerlijke test was gedaan waarbij alle tools op dezelfde manier werden getest.

De Grote Test (De Benchmark)

De auteurs van dit paper (Cecilie, Jakob en Jesper) hebben een enorme test opgezet. Ze hebben 7 verschillende software-tools (zoals CellBender, DecontX, SoupX, scAR, etc.) tegen elkaar laten strijden.

Ze gebruikten drie soorten proefballen:

1. Gesimuleerde data: Ze creëerden een virtuele wereld waar ze precies wisten hoeveel "rommel" er in de lucht hing. Hier konden ze perfect zien welke tool de rommel het beste verwijderde.
2. Dierenmix-experimenten: Ze namen cellen van een muis en cellen van een mens en mengden ze. Omdat je weet dat een muis geen menselijke genen heeft, kun je precies zien welke "menselijke" geluiden in de muiscel horen (en dus rommel zijn).
3. Zuivere controles: Ze namen data waar er geen rommel was, om te zien welke software per ongeluk te veel weghaalde (over-reiniging).

Wat ontdekten ze? (De resultaten)

Het goede nieuws: Er zijn tools die het heel goed doen.
Het slechte nieuws: Er is geen enkele tool die in elke situatie de winnaar is. Het hangt allemaal af van je situatie.

Hier zijn de belangrijkste lessen, vertaald naar alledaagse taal:

• CellBender: Dit is de krachtpatser. Hij is heel goed in het verwijderen van rommel en houdt de echte signalen goed vast. Maar hij is zwaar: hij heeft een krachtige computer (een GPU) nodig en doet het werk langzaam. Hij is als een professionele schoonmaakbrigade die alles perfect doet, maar veel tijd en energie kost.
• DecontX: Dit is de veilige allrounder. Hij werkt heel goed, is iets sneller dan CellBender en maakt minder fouten als je niet zeker weet of er überhaupt rommel is. Hij is als een betrouwbare vakman die je kunt inhuren voor bijna elk klusje.
• SoupX: Dit is de slimme no-nonsense tool. Hij werkt het beste als je geen toegang hebt tot de ruwe, onbewerkte data (alleen de "gefilterde" versie). Hij is snel en licht, maar hij is iets minder streng in het verwijderen van de rommel dan CellBender. Hij is als een handige doos met gereedschap die je altijd bij je hebt.
• scAR: Deze tool is te agressief. Hij haalt de rommel weg, maar hij neemt ook veel van de echte signalen mee! Het is alsof je de vloer zo goed poetsen dat je de vloerbedekking er ook afkrabt. De auteurs raden aan om voorzichtig te zijn met deze tool.

De conclusie voor de gebruiker

De onderzoekers geven je een simpel advies, afhankelijk van wat je hebt:

1. Heb je een krachtige computer en de ruwe data? Gebruik CellBender. Hij geeft de schoonste resultaten.
2. Wil je een goede balans en heb je de ruwe data? Gebruik DecontX.
3. Heb je alleen de "schone" data (gefilterd) of een zwakke computer? Gebruik SoupX (in de "reduced mode").

De belangrijkste boodschap:
Voorheen dachten veel mensen: "Ik zet gewoon een filter aan en klaar is Kees." Dit onderzoek laat zien dat je moet opletten. Als je de verkeerde tool kiest, of als je een tool gebruikt op data die al schoon is, kun je je eigen resultaten verpesten. Het is net als met een wasmachine: als je te veel wasmiddel gebruikt op een schone trui, maak je hem juist vies.

Kortom: Er is geen magische knop, maar met de juiste tool voor jouw specifieke situatie, kun je de "geesten" uit je data verdrijven en de echte biologische waarheid zien.

Technische samenvatting

Probleemstelling

Single-cell en single-nucleus RNA-sequencing (sxRNA-seq) hebben de genomica gerevolutioneerd door het mogelijk te maken om genexpressie op resolutie van individuele cellen te analyseren. Een significant obstakel bij deze technologie is de aanwezigheid van ambient RNA (omgevings-RNA). Dit zijn exogene RNA-moleculen die niet afkomstig zijn van de cel van interesse, maar wel in het experimentele milieu aanwezig zijn.

De oorzaken zijn veelal:

• Cellyse tijdens preparatie: Harde omstandigheden (enzymatische digestie, fysieke schuring, detergenten) leiden tot het lekken van intracellulair RNA.
• Andere bronnen: Barcode-swapping in gemultiplexte experimenten, kruisbesmetting tussen putjes en contaminatie uit het milieu (media/reagentia).

De onbedoelde opname van ambient RNA leidt tot valse resultaten, verstoort de accurate classificatie van celtypen en belemmert downstream-analyses. Hoewel er computergestuurde methoden zijn ontwikkeld om dit te corrigeren, ontbreekt er een onafhankelijke benchmark die alle beschikbare methoden vergelijkt over diverse datasets. Dit maakt het moeilijk voor onderzoekers om het juiste hulpmiddel te kiezen en voor ontwikkelaars om zwakke plekken te identificeren.

Methodologie

De auteurs hebben een uitgebreide, onafhankelijke benchmark uitgevoerd van 7 state-of-the-art computergestuurde methoden voor het verwijderen van ambient RNA:

1. CellBender
2. DecontX
3. FastCAR
4. scAR
5. scCDC
6. SoupX
7. CellClear

Datasets en Ground Truth:
Om de prestaties objectief te meten, gebruikten ze een combinatie van datasets met bekende "ground truth":

• Gesimuleerde datasets: Genereerd op basis van negatief-binomiale verdelingen van echte cellijnen, met gedefinieerde verhoudingen van ambient RNA.
• Species-mixing experimenten: Mengsels van cellen van verschillende soorten (bijv. mens en muis). Ambient RNA wordt hier geïdentificeerd als reads die afwijken van het dominante soort in een cel.
• Genotype-mixing experimenten: Mengsels van muizenstammen. Ambient RNA wordt gedetecteerd via stam-specifieke SNP's (Single Nucleotide Polymorphisms).
• Negatieve controles: Smart-seq2 datasets (waar geen ambient RNA wordt verwacht) en gesimuleerde datasets zonder contaminatie, om overcorrectie te testen.

Evaluatiemetrics:
De methoden werden beoordeeld op drie hoofdcategorieën:

1. Verwijdering van ambient RNA (ARS): Hoe goed wordt het vreemde RNA verwijderd?
2. Behoud van endogeen RNA (ERS): Hoe goed blijft de biologische signatuur van de echte cel behouden?
3. Invloed op biologische interpretatie: Impact op clustering, label-overdracht (label transfer), batch-integratie en de kwaliteit van marker-genen.

Belangrijkste Resultaten

1. Karakteristieken van Ambient RNA:

• Ambient RNA is wijdverbreid: 81,56% van de onderzochte cellen/kernen bevat een zekere mate van contaminatie.
• snRNA-seq vs. scRNA-seq: Single-nucleus data heeft gemiddeld meer ambient RNA (11,80%) dan single-cell data (7,79%).
• Bron: De contaminatie komt voornamelijk van universeel tot expressie gebrachte, volwassen cytoplasmatische mRNA's. De hoeveelheid ambient RNA is sterk gecorreleerd met de expressiefrequentie van een gen in lege druppels.
• Er is geen sterke correlatie tussen ambient load en standaard kwaliteitsmetrics (zoals mitochondriaal percentage), wat suggereert dat het een stochastisch proces is dat niet direct gerelateerd is aan de kwaliteit van de individuele cel.

2. Prestaties van de Methoden:
Er is geen enkele methode die in alle scenario's en op alle metrics het beste presteert. De prestaties variëren sterk:

• scAR: Heeft de beste score voor het verwijderen van ambient RNA, maar verwijdert ook een aanzienlijk deel van het endogeen signaal (vooral van laag tot expressie gebrachte genen). Dit leidt vaak tot overcorrectie en een verslechtering van de biologische interpretatie.
• CellBender: Presteert zeer goed in het verwijderen van ambient RNA terwijl het endogeen signaal goed behouden blijft. Het verbetert de biologische interpretatie (clustering en label-overdracht) significant.
• DecontX en SoupX: Scoren gemiddeld op verwijdering, maar behouden endogeen RNA uitstekend. Ze hebben een lage bias en verbeteren de biologische interpretatie.
• CellClear, FastCAR, scCDC: Toonden minder consistente resultaten. CellClear verwijdert bijvoorbeeld vooral ambient RNA van laag tot expressie gebrachte genen, maar verstoort ook het endogeen profiel aanzienlijk.

3. Invloed op Biologische Interpretatie:

• Alleen CellBender verbeterde de scheiding van celtypen in unsupervised clustering in zwaar vervuilde synthetische data.
• Methoden zoals scAR en CellClear kunnen de kwaliteit van "cellular neighborhoods" en batch-integratie verslechteren, vooral in datasets zonder contaminatie (overcorrectie).
• SoupX en DecontX hebben een minimaal negatief effect op negatieve controles, wat ze veiliger maakt als de mate van contaminatie onbekend is.

Aanbevelingen en Conclusies

De auteurs raden aan om de keuze van de methode te baseren op de beschikbaarheid van data, de verwachte mate van contaminatie en de rekenkracht:

1. CellBender: Aanbevolen voor datasets met hoge contaminatie waar de volledige (on-gefilterde) count-matrix beschikbaar is en GPU-resources beschikbaar zijn. Het heeft de beste algehele prestatie.
2. DecontX (Full mode): Een sterke tweede keuze die biologische interpretatie zelfs iets beter verbetert dan CellBender in sommige gevallen, maar minder ambient RNA verwijdert.
3. SoupX (Reduced mode): De aanbevolen keuze als geen toegang is tot de volledige count-matrix (allemaal gefilterde matrices) of als er geen sterke verwachting is van contaminatie. Het is minder vatbaar voor overcorrectie.

Significantie:
Deze studie biedt een cruciale richtlijn voor de sxRNA-seq gemeenschap. Het benadrukt dat automatische toepassing van decontaminatie zonder voorafgaande evaluatie riskant is en kan leiden tot data-verlies. Door open-source code en een gestructureerde benchmark te bieden, helpen de auteurs ontwikkelaars om betere tools te bouwen en onderzoekers om de juiste tool te selecteren voor hun specifieke experimentele opzet. De studie onderstreept dat de balans tussen het verwijderen van ruis en het behoud van biologisch signaal de sleutel is tot succesvolle analyse.