Temporally non-local harmonisation and cardiovascular model transport between England and China: a measurement-methods study

In de wereld van de volksgezondheid proberen onderzoekers vaak een enkele risicokaart te maken die artsen op veel verschillende plaatsen kan begeleiden. Ze verzamelen gegevens van grote groepen mensen gedurende vele jaren, waarbij ze bijhouden wie hartziekten ontwikkelt en wie dat niet. Het doel is om een voorspellingsinstrument te creëren dat overal werkt, dat een arts in één land vertelt hoe groot de kans is dat een patiënt een hartaanval krijgt op basis van leeftijd, rookgewoonten en medische geschiedenis. Deze instrumenten vertrouwen echter op de verhalen die mensen vertellen over hun verleden met betrekking tot hun gezondheid. Een grote uitdaging ontstaat wanneer onderzoekers gegevens uit verschillende landen of verschillende perioden proberen te combineren. Soms verandert de medische geschiedenis van een persoon tussen interviews door. Een diagnose die jaren later wordt gerapporteerd, kan worden gebruikt om te herschrijven wat er aan het begin van de studie over hun gezondheid bekend was. Dit creëert een probleem: als het startpunt van het verhaal verandert, kan de hele reis van het voorspellingsinstrument verschuiven, wat potentieel leidt tot andere conclusies over wie een risico loopt en hoe goed het instrument werkt.

Twee grote studies, waarvan één oudere volwassenen in Engeland volgde en een andere een vergelijkbare groep in China, boden een unieke gelegenheid om te testen hoe deze verschuivende geschiedenissen de medische voorspellingen beïnvloeden. Onderzoekers van University College London en een ziekenhuis in China besloten te onderzoeken of de manier waarop deze geschiedenissen worden vastgelegd, de betrouwbaarheid van hartziektemodellen verandert wanneer deze van het ene land naar het andere worden verplaatst. Ze richtten zich op een specifiek probleem: het verschil tussen een "vrijgegeven" geschiedenis, die alle informatie bevat die op het moment van analyse beschikbaar was, en een "tijdgeankerde" geschiedenis, die reconstrueert wat de patiënt en de onderzoekers op het exacte moment van het interview daadwerkelijk wisten, waarbij latere correcties worden genegeerd. Door deze twee versies met elkaar te vergelijken, wilden ze zien of het vastleggen van de tijdlijn van de gegevens de nauwkeurigheid van de voorspellingen verbeterde of dat het simpelweg de samenstelling van de mensen veranderde die werden bestudeerd.

De onderzoekers namen de gegevens uit beide landen en bouwden twee versies van de gezondheidsgeschiedenis voor elke deelnemer. In de eerste versie gebruikten ze de standaard gegevensbestanden, die vaak diagnoses bevatten die in latere interviews zijn gerapporteerd om eerdere dossiers bij te werken. In de tweede versie verwijderden ze die latere updates en vergrendelden ze de geschiedenis aan wat op het specifieke moment van elk interview bekend was. Ze testten vervolgens hoe goed een model gebouwd in China de hartziekte in Engeland kon voorspellen, en vice versa, met behoud van beide versies van de geschiedenis. De resultaten toonden aan dat het veranderen van de tijdlijn van de gegevens een reëel en meetbaar effect had. In de Chinese studie veranderde bijna 9 procent van de deelnemers van status met betrekking tot hartziekte wanneer de tijdlijn werd gecorrigeerd. In de Engelse studie was het aantal ongeveer 4,5 procent. Belangrijker nog was dat het totale aantal mensen dat van status wisselde binnen de "gezonde" groep veel hoger was, met meer dan 10 procent in de Chinese groep en bijna 6 procent in de Engelse groep. Dit betekende dat de groep mensen die werd bestudeerd niet hetzelfde was in beide versies, ook al leek het totale aantal deelnemers vergelijkbaar.

Toen de onderzoekers de voorspellingsmodellen testten, kw je dat het corrigeren van de tijdlijn de modellen niet universeel beter maakte. In de richting van China naar Engeland verbeterde het vermogen van het model om mensen op risico te rangschikken licht, wat betekende dat het beter kon identificeren wie waarschijnlijker ziek zou worden dan wie minder waarschijnlijk ziek zou worden. Het model werd echter niet beter in het voorspellen van de werkelijke waarschijnlijkheid van ziekte worden. In de tegenovergestelde richting, van Engeland naar China, verbeterde de rangschikking, maar nam de fout in het voorspellen van het werkelijke risico aanzienlijk toe. Het model bleef het risico voor de Engels-naar-China-groep onderschatten, ongeacht of de tijdlijn werd gecorrigeerd. De onderzoekers ontdekten dat de verbeteringen in de rangschikking niet voortkwamen uit het feit dat het model betere regels leerde over hoe risicofactoren werken. In plaats daarvan kwamen de verbeteringen doordat de correctie van de tijdlijn veranderde wie er in de studie werd toegelaten. Door mensen te verwijderen wier gezondheidsstatus werd herzien, veranderden de onderzoekers de samenstelling van de groep, wat de resultaten deed verschuiven.

De studie keek ook of deze veranderingen mannen en vrouwen verschillend beïnvloedden of dat ze meer van toepassing waren op hartaanvallen dan op beroertes. De gegevens toonden geen bewijs dat het effect van de tijdlijncorrectie afhankelijk was van geslacht. Hoewel vrouwen in de Chinese studie vaker hun geschiedenis lieten herzien worden dan mannen, was de impact op de voorspellingsmodellen hetzelfde voor beide groepen. Eveneens, hoewel geschiedenissen van hartziekten vaker werden herzien dan die van beroertes, leidde dit verschil niet tot andere uitkomsten in de prestaties van de modellen. De kernbevinding bleef consistent: het handeling van het vastleggen van de tijdlijn veranderde de groep mensen die werd geanalyseerd, en deze verandering in de groep was verantwoordelijk voor de verschuivingen in de prestaties van het model.

Uiteindelijk suggereert het onderzoek dat het simpelweg opschonen van de tijdlijn van medische geschiedenissen geen magische oplossing is voor grensoverschrijdende voorspellingsinstrumenten. Hoewel het belangrijk is om precies te weten wat er op het moment van een interview bekend was, betekent het doen hiervan niet automatisch dat een in een ander land ontwikkeld model perfect werkt in een ander land. De studie benadrukt dat de mensen die aan een studie deelnemen net zo belangrijk zijn als de regels die hun toekomst voorspellen. Wanneer de tijdlijn wordt aangepast, verandert de mix van mensen, en deze verandering drijft de resultaten aan, meer dan enige verbetering in de voorspellingsregels zelf. Voor artsen en onderzoekers betekent dit dat zij, voordat ze een voorspellingsmodel uit het ene land in het andere gebruiken, niet alleen de medische geschiedenis van de patiënten moeten begrijpen, maar ook hoe de gegevens zijn verzameld en hoe de groep mensen is geselecteerd. De studie concludeert dat hoewel het vastleggen van de tijd (time-anchoring) helpt om de volgorde van gebeurtenissen te verduidelijken, het niet het diepere probleem oplost van het overdragen van risicovoorspellingen naar verschillende populaties, en dat er meer werk nodig is om te begrijpen hoe deze instrumenten werkelijk betrouwbaar kunnen zijn voor iedereen.