Generalizability of a prediction model for walking ability at discharge in older adults after hip fracture surgery: a multicenter study

Das große Krankenhaus-Ratespiel

Stellen Sie sich vor, Sie sind ein Arzt, der versucht, die Zukunft vorherzusagen. Speziell wollen Sie wissen: „Wird dieser Patient nach der Reparatur seiner gebrochenen Hüfte in der Lage sein, auf eigenen Füßen aus dem Krankenhaus zu gehen?“ Dies ist kein bloßes Ratespiel; es ist ein entscheidendes Werkzeug namens klinisches Vorhersagemodell. Betrachten Sie diese Modelle wie eine hochtechnologische Wettervorhersage für den Körper. Genau wie Meteorologen Temperatur, Luftfeuchtigkeit und Windgeschwindigkeit nutzen, um Regen vorherzusagen, nutzen Ärzte das Alter, das Gedächtnis und das Gangbild des Patienten vor der Verletzung, um die Genesung vorherzusagen.

Aber hier liegt der Haken: Eine Wettervorhersage, die in London perfekt funktioniert, kann in Tokio völlig nutzlos sein, weil dort die Windmuster anders sind. In der Medizin kann ein Vorhersagemodell, das in einem Krankenhaus entwickelt wurde, in einem anderen scheitern, weil jedes Krankenhaus seine eigene „Persönlichkeit“ hat – unterschiedliche Ärzte, unterschiedliche Reha-Routinen und unterschiedliche Arten, Erfolg zu messen. Dieses Paper taucht ein in die Welt der Generalisierbarkeit, was nur ein schicker Begriff dafür ist, die Frage zu stellen: „Funktioniert dieses Vorhersagewerkzeug überall oder nur an dem Ort, an dem es erfunden wurde?“ Wenn ein Modell zu wählerisch ist, wo es eingesetzt wird, kann es Patienten in anderen Städten nicht helfen, was es für die Menschen, die es am dringendsten benötigen, weniger nützlich macht.

---

Der große Test: Kann eine Karte für alle Städte funktionieren?

In dieser Studie beschloss ein Team von Forschern, ein spezifisches Vorhersagemodell dem ultimativen Test zu unterziehen. Sie wollten sehen, ob ein Werkzeug, das darauf ausgelegt ist, vorherzusagen, ob ältere Erwachsene nach einer Hüftfraktur-Operation wieder gehen können, in 19 verschiedenen Krankenhäusern in Japan funktionieren würde. Sie sammelten Daten von 2.548 Patienten, die sich die Hüfte gebrochen hatten, operiert wurden und vor dem Unfall eigenständig gehen konnten.

Um den Test fair und anspruchsvoll zu gestalten, verwendeten sie eine clevere Methode namens Internal-External Cross-Validation (IECV). Stellen Sie sich vor, Sie haben eine Karte einer Stadt. Normalerweise zeichnen Sie die Karte mit Daten der gesamten Stadt und prüfen dann, ob sie funktioniert. Aber dieses Team machte etwas anderes: Sie nahmen die Daten aus 18 Krankenhäusern, um die Karte zu erstellen, und testeten sie dann am 19. Krankenhaus. Dann tauschten sie die Rollen: Sie nutzten 18 andere Krankenhäuser, um eine neue Karte zu erstellen, und testeten sie an dem einen, das übrig blieb. Dies machten sie immer wieder und rotierten dabei, welches Krankenhaus das „Testobjekt“ war. Das ist so, als würde man eine Videospiel-Strategie auf jedem einzelnen Level des Spiels testen, um zu sehen, ob sie überall funktioniert und nicht nur auf dem ersten Level.

Die Ergebnisse: Ein Märchen von zwei Ausgängen

Die Forscher fanden einige interessante Dinge heraus, aber die Hauptgeschichte ist ein „Ja, aber...“.

Die gute Nachricht:
Als sie untersuchten, wie gut das Modell zwischen Patienten unterscheiden konnte, die gehen würden, und denen, die es nicht würden (ein Wert namens AUC), schnitt es im Durchschnitt ziemlich gut ab. Der Durchschnittswert lag bei 0,81. Wenn 1,0 eine perfekte Kristallkugel und 0,5 ein Münzwurf ist, dann ist 0,81 eine ziemlich starke Vorhersage.

Die schlechte Nachricht (Die Wendung der Geschichte):
Hier wird die Geschichte kompliziert. Während die Durchschnittsprognose gut war, schwankte das Modell bei der Anwendung auf spezifische Krankenhäuser stark. Die Forscher berechneten ein 95%-Prädiktionsintervall für die AUC, das von 0,62 bis 0,92 reichte.

• Was das bedeutet: In einigen Krankenhäusern war das Modell ein brillanter Vorhersager (0,92). In anderen war es kaum besser als ein Münzwurf (0,62).
• Die Kalibrierung: Das Modell hatte auch Schwierigkeiten, die Zahlen richtig zu treffen. Die „Kalibrierungssteigung“ (wie gut das vorhergesagte Risiko mit dem tatsächlichen Risiko übereinstimmte) variierte massiv, mit einer Spanne von 0,34 bis 1,58. Der „Kalibrierungs-Intercept“ (ein Maß dafür, ob das Modell zu optimistisch oder zu pessimistisch war) reichte von -1,56 bis 1,77.

Da die Ergebnisse von Krankenhaus zu Krankenhaus so unterschiedlich waren, kamen die Forscher zu dem Schluss, dass die Generalisierbarkeit des Modells begrenzt ist. Mit anderen Worten: Man kann dieses Vorhersagewerkzeug nicht einfach nehmen und in jedem beliebigen Krankenhaus verwenden und erwarten, dass es immer gleich funktioniert. Die „Heterogenität zwischen den Krankenhäusern“ (die Unterschiede zwischen den Häusern) war zu stark.

Warum konnte es nicht reisen?

Die Autoren gaben sich nicht damit zufrieden, einfach nur zu sagen: „Es hat nicht funktioniert.“ Sie gingen der Frage nach, warum. Sie bemerkten, dass die Patienten in den verschiedenen Krankenhäusern zwar recht ähnlich waren, aber der Zeitpunkt der Tests unterschiedlich war.

• Das Entlassungs-Dilemma: Das Modell versuchte vorherzusagen, ob ein Patient zum Zeitpunkt der Entlassung gehen kann. Aber Krankenhäuser entlassen Patienten zu unterschiedlichen Zeiten!
  • In Krankenhaus A bleiben Patienten vielleicht 40 Tage. Bis sie gehen, hatten sie viel Zeit zur Genesung, daher können viele von ihnen gehen.
  • In Krankenhaus B bleiben Patienten vielleicht nur 15 Tage. Sie werden vielleicht entlassen, bevor sie sich vollständig erholt haben, weshalb weniger von ihnen gehen können.
• Der Sensitivitätstest: Um zu beweisen, dass dies der Übeltäter war, führten die Forscher eine „Sensitivitätsanalyse“ durch. Sie betrachteten ein anderes Ergebnis: die Gehfähigkeit nur eine Woche nach der Operation. Da eine Woche für alle die gleiche Zeitspanne ist, standen die Krankenhäuser auf Augenhöhe.
  • Das Ergebnis: Als sie sich den Zeitpunkt nach einer Woche ansah, wurde das Modell viel konsistenter! Das Prädiktionsintervall für die AUC verengte sich auf 0,78–0,89, und die Kalibrierungswerte wurden viel stabiler.

Dies deutet darauf an, dass das Modell nicht im Hinblick auf die untersuchten Patienten „kaputt“ war, sondern lediglich durch die unterschiedlichen Zeitpläne der Krankenhäuser verwirrt wurde. Es ist, als würde man versuchen, die Geschwindigkeit eines Läufers zu beurteilen, indem man fragt: „Wie weit bist du gelaufen, als du aufgehört hast?“ Wenn ein Läufer nach 10 Minuten stoppt und ein anderer nach 30 Minuten, kann man sie nicht fair vergleichen. Aber wenn man fragt: „Wie weit bist du in genau 10 Minuten gelaufen?“, wird der Vergleich fair.

Das Fazit

Die Studie kommt zu dem Schluss, dass wir zwar ein Modell haben, das die Gehfähigkeit vorhersagen kann, dieses aber nicht gut reist, wenn das Ziel darin besteht, den Status bei der Entlassung vorherzusagen. Die Unterschiede darin, wie lange Patienten im Krankenhaus bleiben (und wann sie getestet werden), stören die Vorhersagen.

Die Autoren schlagen vor, dass wir, um diese Werkzeuge für alle wirklich nützlich zu machen, den Erfolg vielleicht nicht mehr an der „Ziellinie“ der Entlassung (die für jeden anders ist) messen sollten, sondern zu einem festen Zeitpunkt, wie etwa einer Woche nach der Operation. Bis wir diese Zeitprobleme lösen, bleibt die Fähigkeit des Modells, die Zukunft eines Patienten in einem neuen Krankenhaus vorherzusagen, ungewiss. Das Paper behauptet nicht, dass das Modell nutzlos ist, warnt aber davor, dass wir nicht davon ausgehen können, dass es ohne sorgfältige Anpassungen überall gleich funktioniert.