Reconsidering the case against risk prediction in self-harm: routinely collected health data distinguishes groups at higher and lower risk of adverse outcomes following paracetamol overdose

Das Dilemma des Detektivs: Kann die Datenlage den Sturm vor seinem Ausbruch sehen?

Stellen Sie sich vor, Sie sind ein Wettervorhersager, der versucht, einen plötzlichen, gefährlichen Sturm vorherzusagen. In der Welt der Medizin, speziell wenn Menschen nach einer zu hohen Einnahme von Paracetamol (einem gängigen Schmerzmittel) ins Krankenhaus kommen, um sich selbst zu schaden, gibt es eine große Debatte darüber, ob wir den „Sturm“ eines zukünftigen Suizids oder einer Rückkehr ins Krankenhaus vorhersagen können. Lange Zeit lautete die offizielle Regel im Vereinigten Königreich: „Versuchen Sie nicht, es vorherzusagen.“ Die Denkweise war, dass die Daten, die Ärzte jeden Tag sammeln – wie Alter, vergangene Krankenhausbesuche und Verschreibungslisten –, einfach zu verrauscht und nutzlos sind, um uns zu sagen, wer einem Risiko ausgesetzt ist. Es ist, als würde man versuchen, das Wetter anhand eines einzelnen, verschwommenen Fotos einer Wolke zu erraten; die Experten sagten, das Foto besitze einfach nicht genug Details, um nützlich zu sein.

Aber was wäre, wenn dieses Foto tatsächlich ein geheimes Muster besitzt? Was wäre, wenn wir, indem wir ein superintelligentes Computergehirn (maschinelles Lernen) nutzen, um gleichzeitig auf Tausende dieser verschwommenen Fotos zu schauen, eine Form entdecken könnten, die dem menschlichen Auge entgeht? Das ist die Frage, die sich Wissenschaftler gestellt haben. Sie wollen wissen, ob die „routinemäßig erhobenen Gesundheitsdaten“ – die langweiligen, alltäglichen Aufzeichnungen, die Ärzte notieren – tatsächlich ein verborgenes Signal enthalten, das Menschen, die einen schlechten Ausgang erleben werden, von denen unterscheiden kann, die es nicht werden. Wenn die Antwort „Ja“ lautet, bedeutet das nicht, dass wir ein Kristallornament besitzen, aber es könnte bedeuten, dass wir die Landkarte noch nicht hätten wegwerfen dürfen. Wenn die Antwort „Nein“ lautet, dann wissen wir sicher, dass wir an anderer Stelle nach Hilfe suchen müssen.

Das große Paracetamol-Rätsel: Das Signal im Rauschen finden

In dieser Studie beschloss ein Team von Forschern, die Theorie vom „nutzlosen Datensatz“ auf die Probe zu stellen. Sie versuchten nicht, ein magisches Werkzeug zu bauen, um Suizide zu verhindern; statie vielmehr wie Detektive, die nach einem einzigen Hinweis suchen. Sie sammel way die Krankenakten von 4.095 Erwachsenen, die zwischen 2017 und 2023 in den Notaufnahmen von NHS Lothian (Schottland) aufgrund einer Paracetamol-Überdosierung behandelt wurden.

Betrachten Sie diese Akten als ein riesiges Puzzlestück-Set. Darin befanden sich 37 verschiedene Informationsteile, die ein Arzt bereits in dem Moment wüsste, in dem der Patient eintrifft: ihr Alter, ihr Wohnort (was Hinweise darauf gibt, wie benachteiligt das Gebiet ist), welche Medikamente sie bereits einnehmen und ob sie zuvor einen Facharzt für psychische Gesundheit aufgesucht haben. Die Forscher speisten diese Puzzleteile in ein intelligentes Computermodell namens „Elastic-Net-Logistische-Regression“ ein. Sie können sich dieses Modell als einen sehr strengen Bibliothekar vorstellen, der versucht, einen riesigen Stapel Bücher in zwei Stapel zu sortieren: „Bücher über Menschen, die einen schlechten Ausgang erleben werden“ und „Bücher über Menschen, die es nicht werden“.

Die Forscher betrachteten drei verschiedene Zeiträume nach dem Verlassen des Krankenhauses durch den Patienten:

1. Die erste Woche (0–7 Tage): Starben sie oder wurden sie auf eine psychiatrische Station eingeliefert?
2. Der nächste Monat (8–30 Tage): Setzte sich die Notlage fort?
3. Das ganze Jahr (31–365 Tage): Brach der Sturm schließlich aus?

Die große Entdeckung
Die Ergebnisse waren überraschend. Das Computermodell fand tatsächlich ein Muster. Es war nicht perfekt, aber es war definitiv besser als ein Münzwurf.

• In der ersten Woche konnte das Modell Patienten in etwa 65 % bis 82 % der Fälle korrekt einordnen (je nachdem, wie man es misst).
• Im Fenster von 8 bis 30 Tagen lag es zwischen 63 % und 90 %.
• Über das gesamte Jahr hinweg lag es zwischen 71 % und 85 %.

In der Welt der Statistik ist ein Wert von 50 % bloßes Raten. Alles über diesem Wert bedeutet, dass das Modell tatsächlich etwas Reales sieht. Die Forscher fanden heraus, dass das Modell gut darin war, zu erkennen, wer einem höheren Risiko ausgesetzt war, und es war sehr gut darin, sicherzustellen, dass die von ihm gelieferten Zahlen mit den realen Ergebnissen übereinstimmten (dies wird als „Kalibrierung“ bezeichnet).

Woher kamen die Hinweise?
Man könnte denken, das Modell habe nur nach Alter oder Geschlecht gesucht, wie ein stereotypischer Detektiv. Aber die Forscher fanden heraus, dass dies nicht die Hauptgeschichte war. Die wahren „Superkräfte“ des Modells kamen aus psychisch gesundheitsbezogenen Hinweisen. Das Modell erhielt seine besten Vorhersagen durch Dinge wie:

• Ob die Person Antipsychotika oder Angstlöser verschrieben bekommen hatte.
• Ob eine Vorgeschichte des Besuchs bei einem Psychiater vorlag.
• Ob eine Diagnose wie Schizophrenie oder alkoholbedingte Lebererkrankung vorlag.
• Wie viele verschiedene Arten von Medikamenten die Person einnahm (Polypharmazie).

Das Alter wurde zwar immer noch vom Modell genutzt, aber es war nicht der entscheidende Faktor. Das wahre Signal war in der komplexen Geschichte der psychischen Gesundheit einer Person verborgen.

Was dieses Papier sagt (und was es nicht sagt)

Es ist sehr wichtig zu verstehen, was diese Studie nicht behauptet. Die Autoren behaupten nicht, dass wir nun genau vorhersagen können, welche einzelne Person als Nächstin einen Suizidversuch unternehmen wird. Sie sagen auch nicht, dass wir morgen damit beginnen sollten, dieses Computermodell in Krankenhäusern einzusetzen, um zu entscheiden, wer eine Behandlung erhält.

Tatsächlich warnen sie ausdrücklich davor. Die Genauigkeit des Modells ist zwar besser als der Zufall, aber nicht hoch genug, um als endgültiger Richter für eine einzelne Person zu dienen. Wenn Sie dieses Werkzeug bei einer Person anwenden würden, könnte es immer noch falsch liegen. Das Papier argumentet, dass die aktuellen Regeln im Vereinigten Königreich, die besagen: „Keine Werkzeuge zur Risikovorhersage überhaupt“, das Kind mit dem Bade ausschütten könnten. Die Regel basierte auf der Idee, dass kein nützliches Signal in den Daten existiert. Diese Studie legt nahe, dass ein nützliches Signal existiert, es aber noch nicht stark genug ist, um ein eigenständiges Kristallornament zu sein.

Die Forscher weisen auch darauf darauf hin, dass die „langweiligen“ strukturierten Daten (die 37 Checkboxen) eine Obergrenze haben. Es ist, als würde man versuchen, einen Film zu verstehen, indem man nur die Besetzungsliste und die Laufzeit liest; man verpasst die Handlung, die Emotionen und die Dialoge. Die wahren, tiefen Hinweise auf das Risiko einer Person – wie ihre spezifischen Gedanken, ihre Gefühle der Hoffnungslosigkeit oder ihr Unterstützungssystem – stehen meist im Freitext der ärztlichen Notizen, nicht in den Checkboxen. Das Papier legt nahe, dass wir, wenn wir Computer lehren, diese Notizen zu lesen (mittels etwas, das „Natural Language Processing“ genannt wird), vielleicht ein noch stärkeres Signal finden könnten.

Das Fazit

Was ist also das Urteil? Das Papier kommt zu dem Schluss, dass die Vorstellung, dass „routinemäßig erhobene Gesundheitsdaten kein nützliches prädiktives Signal enthalten“, nicht wahr ist. Die Daten haben ein Signal; sie können Gruppen von Menschen mit höherem und niedrigerem Risiko voneinander unterscheiden. Das Signal ist jedoch derzeit zu schwach, um für lebensentscheidende Fragen über einzelne Individuen genutzt zu werden.

Die Autoren sagen im Wesentlichen: „Schließen Sie das Buch über diese Forschung nicht, nur weil das aktuelle Kapitel nicht perfekt ist.“ Sie drängen die Wissenschaftler dazu, weiterzusuchen, indem sie vielleicht lernen, die unordentlichen, menschlichen Teile medizinischer Notizen zu lesen, anstatt der Idee aufzugeben, dass Daten helfen können, Leben zu retten. Die Tür zu einer besseren Vorhersage steht noch offen; wir brauchen nur bessere Werkzeuge, um hindurchzugehen.