Temporally non-local harmonisation and cardiovascular model transport between England and China: a measurement-methods study

In der Welt der öffentlichen Gesundheit versuchen Forscher oft, eine einzige Risikokarte zu erstellen, die Ärzten an vielen verschiedenen Orten Orientierung bieten kann. Sie sammeln Daten über große Personengruppen über viele Jahre hinweg und verfolgen dabei, wer eine Herzkrankheit entwickelt und wer nicht. Das Ziel ist es, ein Vorhersagewerkzeug zu schaffen, das überall funktioniert und einem Arzt in einem Land sagen kann, wie wahrscheinlich es für einen Patienten ist, einen Herzinfarkt zu erleiden, basierend auf Alter, Rauchgewohnheiten und Krankengeschichte. Diese Werkzeuge stützen sich jedoch auf die Geschichten, die Menschen über ihre vergangene Gesundheit erzählen. Eine große Herausforderung entsteht, wenn Forscher versuchen, Daten aus verschiedenen Ländern oder verschiedenen Zeiträumen zu kombinieren. Manchmal ändert sich die medizinische Vorgeschichte einer Person zwischen den Interviews. Eine Diagnose, die Jahre später gemeldet wird, könnte dazu verwendet werden, das, was zu Beginn der Studie über ihre Gesundheit bekannt war, neu zu schreiben. Dies schafft ein Problem: Wenn sich der Ausgangspunkt der Geschichte ändert, kann sich der gesamte Weg des Vorhersagewerkzeugs verschieben, was potenziell zu unterschiedlichen Schlussfolgerungen darüber führt, wer gefährdet ist und wie gut das Werkzeug funktioniert.

Zwei große Studien, von denen eine ältere Erwachsene in England und eine andere eine ähnliche Gruppe in China begleitete, boten eine einzigartige Gelegenheit zu testen, wie diese sich verschiebenden Geschichten die medizinischen Vorhersagen beeinflussen. Forscher des University College London und eines Krankenhauses in China beschlossen zu untersuchen, ob die Art und Weise, wie diese Geschichten aufgezeichnet werden, die Zuverlässigkeit von Herzmodellen verändert, wenn diese von einem Land in das andere übertragen werden. Sie konzentrierten sich auf ein spezifisches Problem: den Unterschied zwischen einer „freigegebenen“ (released) Geschichte, die alle zum Zeitpunkt der Analyse verfügbaren Informationen enthält, und einer „zeitankerten“ (time-anchored) Geschichte, die rekonstruiert, was zum exakten Zeitpunkt des Interviews dem Patienten und den Forschern tatsächlich bekannt war, unter Ignorierung späterer Korrekturen. Durch den Vergleich dieser beiden Versionen wollten sie sehen, ob das Korrigieren des Zeitstrahls die Genauigkeit der Vorhersagen verbesserte oder ob es einfach die Zusammensetzung der untersuchten Personen veränderte.

Die Forscher nahmen die Daten aus beiden Ländern und erstellten für jeden Teilnehmer zwei Versionen der Krankengeschichte. In der ersten Version verwendeten sie die Standard-Datendateien, die oft Diagnosen einbeziehen, die in späteren Interviews gemeldet wurden, um frühere Aufzeichnungen zu aktualisieren. In der zweiten Version entfernten sie diese späteren Aktualisierungen und fixierten die Geschichte auf das, was zum jeweiligen Zeitpunkt des Interviews bekannt war. Sie testeten dann, wie gut ein in China entwickeltes Modell die Herzerkrankungen in England vorhersagen konnte und umgekehrt, wobei sie beide Versionen der Geschichte verwendeten. Die Ergebnisse zeigten, dass die Änderung des Zeitstrahls der Daten eine reale und messbare Auswirkung hatte. In der chinesischen Studie wurde der Status der Herzkrankheit bei fast 9 Prozent der Teilnehmer geändert, als der Zeitstrahl korrigiert wurde. In der englischen Studie lag die Zahl bei etwa 4,5 Prozent. Wichtiger noch war, dass die Gesamtzahl der Menschen, die in die Gruppe der „Gesunden“ hinein oder heraus wechselten, viel höher war, mit über 10 Prozent in der chinesischen Gruppe und fast 6 Prozent in der englischen Gruppe. Dies bedeutete, dass die Gruppe der Menschen, die untersucht wurde, in beiden Versionen nicht dieselbe war, obwohl die Gesamtzahl der Teilnehmer ähnlich aussah.

Als die Forscher die Vorhersagemodelle testeten, stellten sie fest, dass die Korrektur des Zeitstrahls die Modelle nicht universell besser machte. In der Richtung von China nach England verbesserte das Modell die Fähigkeit, Menschen nach Risiko zu ordnen, was bedeutet, dass es besser identifizieren konnte, wer wahrscheinlicher krank werden würde als wer nicht. Das Modell wurde jedoch nicht besser darin, die tatsächliche Wahrscheinlichkeit einer Erkrankung vorherzusagen. In der entgegengesetzten Richtung, von England nach China, verbesserte sich die Rangfolge, aber der Fehler bei der Vorhersage des tatsächlichen Risikos nahm signifikant zu. Das Modell unterschätzte das Risiko für die England-zu-China-Gruppe weiterhin, unabhängig davon, ob der Zeitstrahl korrigiert wurde oder nicht. Die Forscher entdeckten, dass die Verbesserungen in der Rangfolge nicht darauf zurückzuführen waren, dass das Modell bessere Regeln darüber erlernte, wie Risikofaktoren wirken. Stattdessen kamen die Verbesserungen daher, dass die Korrektur des Zeitstrahls änderte, wer überhaupt in die Studie aufgenommen wurde. Durch das Entfernen von Personen, deren Gesundheitsstatus revidiert wurde, veränderten die Forscher die Zusammensetzung der Gruppe, was die Ergebnisse verschob.

Die Studie untersuchte auch, ob diese Änderungen Männer und Frauen unterschiedlich betrafen oder ob sie eher auf Herzinfarkte als auf Schlaganfälle zutrafen. Die Daten zeigten keine Hinweise darauf, dass der Effekt der Zeitstrahlkorrektur vom Geschlecht abhing. Während Frauen in der chinesischen Studie wahrscheinlicher ihre Krankengeschichte revidiert bekamen als Männer, war die Auswirkung auf die Vorhersagemodelle für beide Gruppen gleich. Ebenso war die Korrektur der Herzkrankheitsgeschichten häufiger als die der Schlaganfallgeschichten, aber dieser Unterschied führte nicht zu unterschiedlichen Ergebnissen in der Leistung der Modelle. Die Kernaussage blieb konsistent: Der Akt des Korrigierens des Zeitstrahls änderte die Gruppe der analysierten Menschen, und diese Änderung in der Gruppe war für die Verschiebungen in der Modellleistung verantwortlich.

Letztendlich legt die Forschung nahe, dass das bloße Bereinigen des Zeitstrahls medizinischer Geschichten keine magische Lösung für länderübergreifende Vorhersagewerkzeuge ist. Obwohl es wichtig ist zu wissen, was zum Zeitpunkt eines Interviews genau bekannt war, führt dies nicht automatisch dazu, dass ein in einem Land entwickeltes Modell auch in einem anderen Land perfekt funktioniert. Die Studie unterstreicht, dass die Menschen, die in eine Studie eintreten, genauso wichtig sind wie die Regeln, die ihre Zukunft vorhersagen. Wenn der Zeitstrahl angepasst wird, ändert sich die Mischung der Menschen, und diese Änderung treibt die Ergebnisse stärker voran als jede Verbesserung der Vorhersageregeln selbst. Für Ärzte und Forscher bedeutet dies, dass sie vor der Verwendung eines Vorhersagemodells aus einem Land in einem anderen nicht nur die medizinische Vorgeschichte der Patienten verstehen müssen, sondern auch, wie die Daten erhoben wurden und wie die Gruppe der Menschen ausgewählt wurde. Die Studie kommt zu dem Schluss, dass die Zeitankerung zwar hilft, die Abfolge der Ereignisse zu klären, aber nicht das tiefer liegende Problem löst, Risikovorhersagen über verschiedene Populationen hinweg zu übertragen, und dass weitere Arbeit nötig ist, um zu verstehen, wie diese Werkzeuge für alle wirklich zuverlässig gemacht werden können.