In de complexe wereld van de moderne geneeskunde proberen wetenschappers ziekten vaak te begrijpen door te kijken naar een mengsel van cellen, vergelijkbaar met het proberen te identificeren van de ingrediënten in een soep door de bouillon te proeven. Wanneer een patiënt een infectie, kanker of een auto-immuunziekte heeft, verandert het aantal specifieke immuuncellen in hun bloed of weefsel vaak. Om erachter te komen hoe precies hoeveel van welk celtype aanwezig is zonder elke cel fysiek te tellen, gebruiken onderzoekers een wiskundige techniek genaamd deconvolutie. Deze methode analyseert het genetisch materiaal van een volledige weefselmonster en gebruikt computermodellen om de proporties van verschillende celtypen te schatten die daarin verborgen zitten. Deze schattingen zijn een standaardinstrument geworden, dat beslissingen stuurt over welke medicijnen te testen, hoe klinische studies te ontwerpen en zelfs hoe uit te leggen waarom een ziekte plaatsvindt. De aanname is lang geweest dat als het computermodel goed overeenkomt met de genetische data, de geschatte celaantallen betrouwbaar genoeg zijn om op te vertrouwen.

Echter, een nieuwe studie daagt deze langgekoesterde aanname uit, door te onthullen dat deze computerschattingen vaak misleidend zijn. De onderzoekers ontdekten dat de modellen vaak veranderingen in de "stemming" of activiteitstoestand van cellen verwarren met veranderingen in het werkelijke aantal cellen. Wanneer cellen ziek zijn of onder stress staan, verschuift hun genetische activiteit, en de computermodellen interpreteren deze verschuiving alsof de populatie van die cellen is gegroeid of gekrompen. Deze fout is geen kleine glitch; het is een fundamentele tekortkoming die het wetenschappelijk verslag heeft vertekend. De studie laat zien dat de modellen in veel gevallen vol vertrouwen fout zijn, waardoor ze de illusie van celveranderingen creëren waar die niet bestaan, of echte veranderingen verbergen die wel plaatsvinden. Door deze computerschattingen te vergelijken met werkelijke celmetingen van dezelfde patiënten, toonden de onderzoekers aan dat de standaardmethoden de werkelijke biologische realiteit niet kunnen vangen, wat leidt tot onjuiste conclusies over ziekteprocessen en behandelingsreacties.

Het team achter dit werk, geleid door onderzoekers van het Peking Union Medical College Hospital en andere instellingen, zette zich in om de betrouwbaarheid van deze veelgebruikte schattingen te testen. Ze verzamelden gegevens van duizenden mensen met zesentwintig verschillende ziekten, waaronder reumatoïde artritis, lupus en diverse vormen van kanker. In elk geval hadden ze zowel de genetische gegevens die voor de computerschattingen werden gebruikt als de werkelijke fysieke tellingen van cellen van dezelfde individuen. Deze directe vergelijking stelde hen in staat om precies te zien waar de modellen faalden. Ze ontdekten dat de standaard validatiemethoden, die controleren of de schattingen van het model correleren met de data, deze fouten niet oppikten. Een model kon een zeer hoge correlatie vertonen met de genetische data en er toch volledig naast zitten wat betreft het aantal cellen. Het probleem ontstaat doordat de ziekte het gedrag van de cellen verandert, en de modellen deze gedragsverandering verwarren met een verandering in de populatieomvang.

De gevolgen van deze fout zijn verreikend. De studie toonde aan dat de computermodellen in bloedziekteonderzoeken in veertig twee procent van de gevallen fout waren over de richting of significantie van celveranderingen. Nog opmerkelijker was dat in tumorenstudies de pathologische tellingen van dezelfde weefselmonsters negentig acht procent van de door de modellen gerapporteerde significante celveranderingen weerlegden. Deze fouten zijn niet slechts academisch; ze hebben al invloed gehad op medische beslissingen in de echte wereld. Zo werden de computerschattingen in een gerandomiseerde klinische studie naar reumatoïde artritis gebruikt om patiënten te groeperen en te beslissen wie een specifiek medicijn zou krijgen. Wanneer de onderzoekers de computerschattingen vervingen door werkelijke celtellingen uit weefselmonsters, veranderde de groepering aanzienlijk. Dertien van de twintig patiënten die het computermodel in de groep plaatste die baat zou hebben bij het medicijn, behoorden volgens directe metingen eigenlijk tot een andere groep. Deze verschuiving wist de statistische interactie uit die suggereerde dat het medicijn beter werkte voor die specifieke groep, waardoor de p-waarde veranderde van een significant resultaat naar een niet-significant resultaat.

De onderzoekers keken ook naar hoe deze fouten de bredere wetenschappelijke literatuur en publieke databases beïnvloeden. Ze ontdekten dat vooraf berekende bronnen, die door duizenden wetenschappers worden gebruikt om hun eigen studies te ontwerpen, dezezelfde fouten bevatten. In één analyse van borstkankerdata rapporteerden de computermodellen een significant verschil in immuuncellen tussen twee soorten tumoren, terwijl de werkelijke celtellingen helemaal geen verschil lieten zien. Deze onjuiste bevindingen zijn duizenden keren geciteerd en hebben geleid tot de selectie van genen en moleculen voor verder onderzoek die mogelijk niet relevant zijn. De studie onderzocht ook hoe deze fouten het ontwerp van toekomstige experimenten beïnvloeden. Wanneer wetenschappers deze gebrekkige schattingen gebruiken om te berekenen hoeveel patiënten ze voor een studie nodig hebben, eindigen ze vaak met ontwerpen die onderbezet zijn of gebaseerd zijn op de verkeerde richting van verandering, wat middelen verspilt en vooruitgang vertraagt.

Om dit probleem aan te pakken, ontwikkelde het team een nieuwe benadering genaamd corrdeconv. In plaats van te vertrouwen op de standaardmethoden die de celtoestand verwarren met het cel aantal, gebruikt deze nieuwe methode de werkelijke celtellingen van een brongroep om de schattingen voor een doelgroep te corrigeren. Het vereist geen nieuwe metingen voor elke individuele patiënt, maar gebruikt de bekende fouten uit vergelijkbare groepen om de resultaten aan te passen. De onderzoekers testten deze nieuwe methode tegenover elke andere gepubliceerde deconvolutie-techniek. In elk scenario, of ze nu geen celtellingen, enkele tellingen of tellingen voor een oudergroep van cellen hadden, presteerde de nieuwe methode beter dan alle anderen. Het verminderde het aantal onjuiste conclusies met bijna de helft vergeleken met de huidige best presterende methode. Bovendien corrigeerde het de foutieve beslissingen wanneer de onderzoekers deze correctie toepasten op eerdere studies, waarmee bewezen werd dat de fouten inderdaad te wijten waren aan de methode van schatting en niet aan de biologie zelf.

De studie concludeert dat claims over het aantal cellen in een ziekte ondersteund moeten worden door werkelijke tellingen, en niet alleen door computerschattingen. Hoewel de computermodellen nog steeds nuttig zijn voor het voorspellen van de activiteit of toestand van cellen, kunnen ze niet worden vertrouwd om ons te vertellen hoeveel cellen er aanwezig zijn. De onderzoekers betogen dat het vakgebied de manier waarop deze methoden worden gevalideerd moet veranderen, waarbij de focus moet verschuiven van eenvoudige correlaties naar controle met werkelijke celtellingen. Ze hebben hun correctietools en een database met gecorrigeerde resultaten beschikbaar gesteld aan de wetenschappelijke gemeenschap, als een manier om eerdere fouten te herstellen en toekomstig onderzoek te verbeteren. Dit werk dient als een cruciale herinnering dat, in de haast om enorme hoeveelheden genetische data te analyseren, de fundamentele waarheid over wat er fysiek aanwezig is in het lichaam niet verloren mag gaan aan het gemak van een wiskundig model.