When the record makes the result: exposure-linked recording of a continuous outcome can manufacture a spurious treatment effect in real- world evidence

Die verborgene Falle in den Daten: Wenn „Schätzen“ zu falscher Wissenschaft führt

Stellen Sie sich vor, Sie sind ein Detektiv, der versucht, ein Rätsel mithilfe eines riesigen Stapels Polizeiberichte zu lösen. Sie möchten wissen, ob eine neue Art von Schloss Einbrüche besser verhindert als die alte. In der modernen Wissenschaft machen Forscher etwas sehr Ähnliches. Anstatt Polizeiberichte verwenden sie „Real-World Evidence“ (Evidenz aus der realen Welt) – massive digitale Datensätze aus Krankenhäusern, wie etwa elektronische Patientenakten, um zu sehen, ob neue Behandlungen tatsächlich wirken. Dies ist ein mächtiges Werkzeug, da es sich echte Patienten im echten Leben ansieht und nicht nur Menschen in einem kontrollierten Labor.

Aber es gibt einen Haken. Manchmal schreiben die Leute die Berichte nicht mit einem Lineal, sondern nutzen ihre Augen zum Schätzen. Wenn ein Arzt schätzen muss, wie viel Blut ein Patient verloren hat, oder wie groß eine Wunde ist, schreibt er vielleicht eine Zahl auf, die sich für ihn „richtig anfühlt“, anstatt die exakte Wahrheit. Wissenschaftler nennen dies „Schätzung“. Normalerweise denken wir, dass diese Schätzungen nur ein wenig Rauschen hinzufügen, wie das statische Rauschen im Radio. Aber was, wenn das Rauschen nicht zufällig ist? Was, wenn die Art und Weise, wie der Arzt schätzt, davon abhängt, welche Medizin der Patient erhalten hat? Das ist die beängstigende Frage, die dieses Paper untersucht. Es erforscht eine verborgene Falle, bei der die Art und Weise, wie wir die Ergebnisse aufschreiben, versehentlich ein Wunderheilmittel erfinden kann, das eigentlich gar nicht existiert.

Der Fall der „magischen“ Medizin, die es nicht gab

In dieser Studie untersuchten Forscher eine massive Sammlung von 8 Jahren Krankenhausdaten aus einem einzigen Krankenhaus in Taiwan. Sie untersuchten ein Medikament namens Carbetocin, das eingesetzt wird, um Blutungen nach einer Geburt zu stoppen. Hier ist die Wendung: Das Medikament wurde nicht von der Versicherung übernommen, sodass die Patienten es selbst bezahlen mussten. Dies bedeutete, dass die Ärzte genau wussten, wer das Medikament erhielt und wer nicht, was ein perfektes „natürliches Experiment“ schuf, um zu sehen, ob das Medikament wirkte.

Die Forscher konzentrierten sich auf ein spezifisches Ergebnis: wie viel Blut die Mutter während einer vaginalen Entbindung verloren hatte. In vielen Krankenhäusern wird diese Zahl nicht mit einer Waage gemessen; sie wird vom Arzt oder der Pflegekraft visuell geschätzt (visual estimation). Sie betrachten das Blut und schreiben eine Zahl auf, wie zum Beispiel „150 ml“ oder „200 ml“.

Als die Forscher die Zahlen auf die „Standardmethode“ anwendeten, sahen die Ergebnisse unglaublich aus. Die Daten deuteten darauf hin, dass das Medikament den Blutverlust massiv um 62 % reduzierte. Das Vertrauen in diese Zahl war so hoch, dass es wie eine eindeutige wissenschaftliche Entdeckung aussah. Die behandelte Gruppe schien fast gar kein Blut verloren zu haben, während die Kontrollgruppe viel verloren hatte.

Doch die Autoren dieses Papers hörten dort nicht auf. Sie begannen, wie Detektive vorzugehen und nach Hinweisen zu suchen, dass etwas faul war.

Der Hinweis der „runden Zahl“

Das Erste, was sie bemerkten, war ein seltsames Muster in den Zahlen, wie ein Fingerabdruck an einem Tatort. In der Gruppe, die das Medikament erhielt, wiesen etwa 60 % der aufgezeichneten Blutverlustwerte exakt 30 ml oder 50 ml auf. Im Gegensatz dazu hatten nur 2,4 % der Kontrollgruppe diese exakten niedrigen Werte.

Es stellt sich heraus, dass Ärzte oft die Angewohnheit haben, ihre Schätzungen auf schöne, runde Zahlen abzurunden (wie 50 oder 100). Aber hier schienen die Ärzte eine geheime Regel zu haben: Wenn der Patient das Medikament nahm, schrieben sie fast immer „50 ml“ auf, selbst wenn der tatsächliche Verlust höher war. Es war, als hätten die Ärzte eine Vorlage mit der Aufschrift: „Wenn sie die magische Pille genommen haben, schreibe '50'“. Dies wird als „Zifferenpräferenz“ oder „Werthäufung“ (Value Heaping) bezeichnet. Die behandelte Gruppe verlor nicht nur weniger Blut; sie wurde aufgrund einer Aufzeichnungsgewohnheit als geringer Blutverlust dokumentiert.

Der „Zeitreise“-Test

Um sicherzugehen, dass dies kein Zufall war, überprüften die Forscher, ob sich das Muster über die Zeit änderte. Wenn das Medikament wirklich wirkte, sollte der Effekt Jahr für Jahr konsistent sein. Und das war er! Von 2019 bis 2025 war der Median des Blutverlusts in der Medikamentengruppe jedes Jahr exakt auf 50 ml festgenagelt. Unterdessen schwankte die Kontrollgruppe zwischen 150 ml und 200 ml.

Dies ist ein riesiges Warnsignal. Echte biologische Effekte bleiben normalerweise nicht sieben Jahre in Folge exakt bei derselbe Zahl stehen. Diese Art von Starrheit deutet auf eine Aufzeichnungsregel hin, nicht auf ein biologisches Wunder. Die Forscher versuchten auch, die Daten mit Standard-Statistiktricks zu korrigieren (wie der Anpassung an das Jahr oder die Gesundheit des Patienten), aber die „62 % Reduktion“ blieb exakt gleich. Dies bewies, dass das Problem nicht darin bestand, dass die Gruppen unterschiedlich waren, sondern dass die Art und Weise, wie die Ergebnisse aufgeschrieben wurden, unterschiedlich war.

Der „Schwellenwert“-Realitätscheck

Der erschütterndste Beweis kam, als sie die Zahlen durch eine andere Linse betrachteten. Sie fragten: „Wie viele Frauen hatten tatsächlich eine gefährliche Menge an Blutungen (Postpartale Hämorrhagie), definiert als ein Verlust von 500 ml oder mehr?“

Als sie diese binäre „Ja oder Nein“-Frage betrachteten, verschwand die Magie.

• Medikamentengruppe: 3,2 % hatten starke Blutungen.
• Kontrollgruppe: 4,2 % hatten starke Blutungen.
• Ergebnis: Es gab keinen signifikanten Unterschied.

Die „62 % Reduktion“ existierte nur in den ungenauen, geschätzten Zahlen. Als sie den eigentlichen Schwellenwert für Gefahr betrachteten, schien das Medikament überhaupt nicht zu helfen. Tatsächlich gab es am extremen Ende (bei einem Verlust von 1.000 ml oder mehr) in der Medikamentengruppe sogar etwas mehr Fälle als in der Kontrollgruppe, was das Gegenteil dessen ist, was ein Wunderheilmittel bewirken sollte.

Die Simulation: Den Trugschluss beweisen

Um zu beweisen, dass allein diese Aufzeichnungsgewohnheit ein solches falsches Ergebnis erzeugen konnte, bauten die Forscher eine Computersimulation. Sie erschufen eine fiktive Welt, in der das Medikament absolut gar nichts bewirkte (der wahre Effekt war Null). Sie programmierten den Computer so, dass er die Blutverluste der „behandelten“ Gruppe mit derselben Voreingenommenheit aufzeichnete: indem er niedrige Werte auf 30 oder 50 ml festnagelte, während die Kontrollgruppe natürlicher blieb.

Das Ergebnis? Der Computer generierte eine künstliche „62 % Reduktion“, die genauso beeindruckend und statistisch signifikant aussah wie die echten Daten. Dies bestätigte, dass die differenzielle Aufzeichnung allein ausreichte, um aus dem Nichts einen massiven, überzeugenden Behandlungseffekt zu erschaffen.

Das Fazeresum: Vertrauen Sie dem Lineal, nicht der Schätzung

Dieses Paper sagt nicht unbedingt, dass das Medikament definitiv nicht wirkt; es sagt, dass die gefundene „62 % Reduktion“ in den geschätzten Blutverlustzahlen wahrscheinlich eine Lüge ist, die dadurch entstanden ist, wie die Ärzte die Daten aufgeschrieben haben.

Die Autoren kommen zu dem Schluss, dass wir vorsichtig sein müssen, wenn wir Real-World-Daten verwenden, die auf Ergebnissen basieren, die nur „geschätzt“ oder „eingeschätzt“ wurden. Wenn sich die Art und Weise, wie wir die Daten aufzeichnen, je nachdem ändert, wer die Behandlung erhalten hat, können wir versehentlich ein Heilmittel erfinden.

Die Lektion für die Zukunft:

1. Prüfen Sie die „Rundung“: Bevor Sie ein großes Ergebnis aus geschätzten Daten glauben, prüfen Sie, ob eine Gruppe ihre Zahlen auf 50 oder 100 rundet, während die andere dies nicht tut.
2. Betrachten Sie die „echten“ Schwellenwerte: Vertrauen Sie nicht nur auf den Durchschnittswert. Prüfen Sie, ob die Behandlung Menschen tatsächlich über die Grenze der Gefahr (wie den 500-ml-Blutverlust-Schwellenwert) hilft.
3. Verwenden Sie objektive Messungen: Verwenden Sie nach Möglichkeit Messungen, die Maschinen vornehmen (wie ein Hämoglobin-Bluttest), anstatt menschliche Schätzungen.

Kurz gesagt: Ein großer, präzise aussehender Effekt in einer Studie, die auf menschlichen Schätzungen basiert, könnte nur ein Spiegelbild des Stifts des Arztes sein, nicht des Körpers des Patienten. Die „Magie“ lag im Notizbuch, nicht in der Medizin.