Auditing missingness and input-outcome circularity in unsupervised clinical phenotyping: an empirical case study in hospitalized traumatic brain injury

Stel je voor dat je een detective bent die een rommelige stapel mysterieuze dozen probeert te sorteren in nette groepen op basis van wat erin zit. In de wereld van de geneeskunde doen wetenschappers dit vaak met patiëntgegevens, een proces dat "unsupervised phenotyping" wordt genoemd. In plaats van te gokken welke patiënten op elkaar lijken, gebruiken ze computers om verborgen patronen te vinden in routinematige controlecijfers, zoals hoe goed een patiënt dingen onthoudt, hoe iemand zich emotioneel voelt, of hoe gemakkelijk iemand kan bewegen. Het doel is om natuurlijke "subgroepen" van patiënten te ontdekken die artsen kunnen gebruiken om betere, meer gepersonaliseerde zorg te bieden.

Echter, er zijn twee sluwe vallen die het detectivewerk kunnen verpesten. Ten eerste zijn de gegevens zelden perfect; sommige dozen missen labels of inhoud (dit wordt "missing data" genoemd). Als je alleen maar raadt wat er ontbreekt, creëer je misschien per ongeluk groepen die alleen bestaan omdat van jouw gissingen, en niet omdat de patiënten daadwerkelijk verschillend zijn. Ten tweede is er een valstrik genaamd "circulariteit". Dit gebeurt als je een specifieke aanwijzing gebruikt om de dozen te sorteren, en vervolgens verbaasd bent wanneer diezelfde aanwijzing de belangrijkste reden is waarom de dozen van elkaar verschillen. Het is alsof je een kaartspel sorteert op kleur, en dan beweert dat je een magische nieuwe regel hebt ontdekt dat "rode kaarten rood zijn."

Een team van onderzoekers besloot te testen hoe goed deze detectiemethoden standhouden wanneer ze worden toegepast op echte ziekenhuisgegevens van patiënten met traumatisch hersenletsel (TBI). Ze wildien te zien of de groepen patiënten die de computer vond echt, stabiel en nuttig waren, of dat ze slechts een kaartenhuis waren gebouwd op ontbrekende getallen en circulaire logica.

Het Grote Patiënten-sorteerexperiment

De onderzoekers bekeken 582 patiënten die waren opgenomen voor hersenletsel. Ze hadden vijf verschillende "rapportcijfers" voor elke patiënt: tests voor geheugen en denken (MMSE en MoCA), tests voor depressie (GDS en Hamilton), en een test voor hoe goed ze dagelijkse taken konden uitvoeren zoals eten en aankleden (Barthel ADL).

In een perfecte wereld zou elke patiënt een score hebben voor elke enkele test. Maar in de rommelige realiteit van een druk ziekenhuis raken gegevens zoek. In deze studie had slechts 17,7% van de patiënten (103 van de 582) alle vijf de scores. De depressietest en de test voor dagelijks functioneren waren het meest waarschijnlijk ontbrekend, wat voorkwam in bijna 40% en 30% van de dossiers respectievelijk.

Het team draaide een standaard computerprogramma om deze patiënten in groepen te sorteren. Het programma, dat gebruikmaakt van een methode genaamd "median imputation" (wat in feite de gaten opvult met de middelste waarde van de bestaande gegevens), besloot dat de beste manier om iedereen te sorteren het verdelen in vijf duidelijke groepen was. Een van deze groepen zag er bijzonder interessant uit: een "Hamilton-extreme" groep patiënten met zeer hoge depressiescores.

Maar toen begonnen de onderzoekers hun "stress test" om te zien of deze groepen echt of een illusie waren.

De Stabiliteitstest: Blijven de groepen bij elkaar?
Ze probeerden de gegevens te schudden door herhaaldelijk willekeurig patiënten te selecteren (een techniek genaamd bootstrapping). Als de groepen echt waren, zouden dezelfde patiënten elke keer in dezelfde groepen terechtkomen. In plaats daarvan vielen de groepen uit elkaar als een zandkasteel dat nat is geworden. De stabiliteitsscores waren erg laag (tussen 0,211 en 0,454), ver onder de drempelwaarde van 0,75 die nodig is om te zeggen: "Ja, dit is een solide groep." Wanneer ze andere sorteeralgoritmen probeerden, was er nauwelijks overeenstemming tussen de resultaten.

De Ontbrekende Gegevens Test: Maakt de methode van het invullen van de gaten uit?
Vervolgens probeerden ze de ontbrekende scores in te vullen met een complexere methode genaamd "Multiple Imputation" (MICE), die 20 verschillende versies van de dataset maakt met verschillende gissingen voor de ontbrekende getallen. Toen ze de sortering op deze 20 versies uitvoerden, waren de resulterende groepen bijna volledig anders dan de oorspronkelijke vijf groepen. De overeenstemmingsscore was een minieme 0,157. Dit suggereert dat de oorspronkelijke vijf groepen geen ontdekking waren van de ware aard van de patiënten, maar eerder een reflectie van hoe de onderzoekers kozen om de gaten op te vullen.

De "Complete Case" Test: Wat als we alleen naar perfecte gegevens kijken?
Ze probeerden alleen de 103 patiënten te sorteren die al hun scores hadden. Wanneer ze dit deden, wilde de computer niet langer vijf groepen; hij gaf de voorkeur aan drie. De "Hamilton-extreme" groep die in de volledige dataset zo belangrijk leek, verdween of veranderde volledig. Sterker nog, in deze kleinere groep hadden de patiënten met hoge depressiescores juist betere geheugenscores, wat het tegenovergestelde was van wat de oorspronkelijke analyse suggereerde. De onderzoekers concludeerden dat deze specifieke "depressieve" groep waarschijnlijk een artefact was—een nep-patroon gecreëerd door de manier waarop de ontbrekende gegevens werden afgehandeld.

De Circulariteit-valstrik: Gebruikten we de uitkomst om de input te definiëren?
Ten slotte testten ze het probleem van "circulariteit". In de oorspronkelijke analyse gebruikten ze de score voor "dagelijks functioneren" (Barthel ADL) om de patiënten te helpen sorteren, en controleerden ze toen of de groepen goed waren in het voorspellen van de "dagelijkse functioneringsscore". Onverwacht waren de groepen hier erg goed in! De statistische link was zeer sterk.

Maar toen verwijderden ze de score voor "dagelijks functioneren" volledig uit het sorteerproces en gebruikten ze alleen de denk- en stemmingstests. Toen ze probeerden de "dagelijkse functioneringsscore" opnieuw te voorspellen met deze nieuwe groepen, verdween de link. De statistische score daalde van een sterke 0,395 naar een minieme 0,005. Dit bewees dat de "sterke verbinding" die ze dachten te hebben gevonden, niet kwam doordat de groepen van nature verschillend waren in hun functioneren; het was simpelweg omdat ze de functie-score hadden gebruikt om de groepen te bouwen. Het was een klassiek geval van in een spiegel kijken en denken dat je een nieuw gezicht hebt ontdekt.

De Conclusie

De studie concludeert dat hoewel unsupervised phenotyping klinkt als een krachtig hulpmiddel om nieuwe patiënt-subtypen te vinden, het uiterst fragiel is. In dit specifieke geval van traumatisch hersenletsel waren de "groepen" die de computer vond zeer gevoelig voor de manier waarop ontbrekende gegevens werden afgehandeld en waren ze grotendeels een illusie veroorzaakt door het gebruik van de uitkomst als input.

De onderzoekers suggereren dat voordat artsen beginnen met het gebruik van deze door computers gegenereerde groepen om klinische beslissingen te nemen, wetenschappers een rigoureuze audit moeten uitvoeren. Ze moeten controleren of de groepen stabiel blijven wanneer gegevens opnieuw worden gesampled, of ze overleven bij verschillende manieren van het invullen van ontbrekende getallen, en het allerbelangrijkste: ze moeten ervoor zorgen dat ze niet per ongeluk het resultaat gebruiken om de groep te definiëren. Totdat deze controles zijn uitgevoerd, moet de "subtype" die in routinematige ziekenhuisgegevens wordt gevonden, worden behandeld als een interessante hypothese om te onderzoeken, en niet als een bewezen feit.