2,234 attempts to harmonize a multi-platform B-cell lymphoma bulk transcriptomic dataset: ComBat is superior by cross-batch prediction quality

In de wereld van de moderne geneeskunde proberen wetenschappers ziekten te begrijpen door de genetische instructies binnen cellen te lezen. Deze instructies, bekend als genexpressie, fungeren als een gedetailleerd logboek van wat een cel op een specifiek moment doet. Wanneer onderzoekers condities zoals lymfoom bestuderen, een vorm van bloedkanker, hopen ze patronen in deze logboeken te vinden die voorspellen hoe een patiënt zal reageren op een behandeling of hoe lang zij mogelijk zullen overleven. Echter, een grote hindernis staat in de weg van deze ontdekkingen: de data zelf is vaak inconsistent. Genexpressie-logboeken worden geschreven door verschillende machines, met verschillende chemische recepten, en worden op verschillende manieren opgeslagen in laboratoria over de hele wereld. Net zoals een temperatuurmeting die met een kwikthermometer in het ene land wordt genomen, niet overeenkomt met een digitale meting in een ander land, zien genexpressie-logs uit verschillende bronnen er vaak totaal anders uit, zelfs wanneer ze dezelfde biologische realiteit beschrijven. Deze inconsistentie, een batch-effect genoemd, kan de subtiele signalen van ziekte verbergen of valse signalen creëren, waardoor het bijna onmogelijk is om data uit verschillende studies te combineren om betrouwbare antwoorden te vinden.

Om dit op te lossen, hebben wetenschappers wiskundige instrumenten ontwikkeld die ontworpen zijn om deze verschillen glad te strijken, een proces dat harmonisatie wordt genoemd. Het doel is om data uit verschillende bronnen eruit te laten zien alsof ze allemaal in hetzelfde laboratorium zijn gegenereerd, zonder de ware biologische verschillen tussen gezonde en zieke cellen uit te wissen. Maar er is een addertje onder het gras: er is geen enkele algemeen aanvaarde manier om te meten of deze instrumenten goed werken. Sommige wetenschappers kijken naar hoe goed de datapunten op een kaart bij elkaar clusteren, terwijl anderen controleren of een computerprogramma na de aanpassing nog steeds correct het type kanker kan identificeren. Omdat deze verschillende manieren om succes te meten vaak naar verschillende oplossingen wijzen, zijn onderzoekers overgelaten aan het gissen welke tool ze moeten vertrouwen. Een nieuwe studie door Daniil Nikitin en Arsen Arakelyan pakt deze verwarring aan door duizenden verschillende manieren om data te harmoniseren te testen, waarbij zij onthullen dat het "beste" instrument volledig afhangt van wat je probeert te meten, en dat de meest populaire methoden misschien niet de meest betrouwbare zijn voor het voorspellen van patiëntuitkomsten.

De onderzoekers begonnen met een enorme collectie genetische data van meer dan 7.000 patiënten met B-cellymfoom, verzameld van 88 verschillende onderzoeksgroepen. Deze dataset was een lappendeken van monsters die door diverse technologieën waren verwerkt, wat een complex puzzelstuk van technische ruis creëerde. Ze namen 2.234 verschillende combinaties van wiskundige methoden om deze data op te schonen. Elke combinatie vertegenwoordigde een unieke strategie: sommige probeerden de technische ruis voorzichtig te verwijderen, terwijl andere de data agressief hervormden om alles in een uniform patroon te dwingen. Het team evalueerde vervolgens elke van deze 2.234 pogingen met een breed scala aan tests. Ze gebruikten niet slechts één liniaal; ze gebruikten vijf verschillende categorieën van meting. Sommige tests controleerden of de data er vloeiend en uniform uitzag, andere controleerden of de biologische groepen onderscheidend bleven, en een derde reeks tests probeerde het type lymfoom te voorspellen in een batch monsters die de computer nog nooit eerder had gezien, wat een klinische test in de echte wereld simuleerde.

De resultaten waren verrassend en onthulden een diep conflict tussen de verschillende manieren om succes te beoordelen. Wanneer de onderzoekers keken naar methoden die de data agressief hervormden om alle batches identiek te laten lijken, scoorden deze methoden zeer hoog op tests die maten hoe goed de datapunten bij elkaar mengden. Echter, deze agressieve methoden faalden rampzalig wanneer ze werden getest op hun vermogen om de ware biologische signalen te behouden. Ze vlaken in feite de zeer relevante verschillen die artsen juist moeten zien weg. Omgekeerd behielden methoden die zeer kleine, voorzichtige veranderingen aan de data aanbrachten de biologische signalen perfect, maar faalden ze in het mengen van de batches, waardoor de technische ruis nog steeds zichtbaar bleef. De studie vond dat er geen enkele methode de perfecte held was. In plaats daarvan werkten de tools die het beste werkten voor het ene type test vaak slecht voor een ander. Zo waren methoden die uitstekend waren in het uniform maken van de data, verschrikkelijk in het voorspellen van welk type kanker patiënten hadden.

De meest cruciale bevinding kwam naar voren toen de onderzoekers zich concentreerden op het vermogen om ziektesubtypen te voorspellen in nieuwe, ongeziene data. Dit is de ultieme test voor elk medisch instrument: als je een computer traint op data van een bepaalde set ziekenhuizen, kan deze dan de diagnose stellen bij patiënten uit een volledig ander ziekenhuis? In deze specifieke test presteerde een familie van tools bekend als ComBat consequent beter dan alle anderen. Deze methoden slaagden erin de technische ruis te verwijderen terwijl ze de biologische signalen intact hielden, waardoor de computer nauwkeurige voorspellingen kon doen. In contrast hiermee bleken sommige methoden die in andere studies eerder werden gevierd vanwege hun vermogen om datapunten te mengen, schadelijk te zijn. Ze vervormden de genetische informatie zo ernstig dat ze het vermogen vernietigden om onderscheid te maken tussen verschillende typen lymfoom. De studie toonde ook aan dat de meest populaire methoden die werden geselecteerd via visuele inspectie of eenvoudige clusteringkaarten, vaak niet de beste waren bij deze voorspellende tests, wat suggereert dat wat er goed uitziet op een grafiek, niet altijd vertaalt naar bruikbaarheid in de echte wereld.

De onderzoekers concludeerden dat er geen universele "beste" manier is om genetische data te harmoniseren. De keuze van de methode hangt volledig af van het doel. Als het doel simpelweg is om data uniform te laten lijken, kunnen agressieve methoden werken, maar lopen ze het risico de biologische waarheid te vernietigen. Als het doel is om een model te bouwen dat ziekten in nieuwe patiënten kan voorspellen, zijn zachte, specifieke methoden zoals ComBat superieur. De studie stelt een nieuw, zesstaps framework voor toekomstig onderzoek voor. Dit framework suggereert dat wetenschappers niet op één enkele test moeten vertrouwen om hun data te beoordelen. In plaats daarvan moeten ze meerdere zaken controleren: lijkt de data nog steeds op de oorspronkelijke biologie? Komen de verschillende batches met elkaar overeen? En het belangrijkste: kan de schoongemaakte data de ziekte nog steeds accuraat voorspellen? Door dit meerlagige proces te gebruiken, kunnen onderzoekers de valstrik vermijden van het kiezen van een tool die er op papier goed uitziet maar faalt in de klinische praktijk, waardoor ze ervoor zorgen dat de genetische inzichten die ze ontdekken echt en betrouwbaar zijn.