📊 statistics

Compatibility of Missing Data Handling Methods across the Stages of Producing Clinical Prediction Models

Diese Arbeit zeigt, dass Forscher, um eine unverzerrte Vorhersageleistung und Kompatibilität über den gesamten Lebenszyklus eines klinischen Vorhersagemodells hinweg zu gewährleisten, ihre Strategien zum Umgang mit fehlenden Daten während der Entwicklung und Validierung auf die spezifischen Einschränkungen der Modellimplementierung abstimmen müssen, wie etwa durch die Verwendung multipler Imputation, wenn fehlende Daten ausgeschlossen werden, oder durch die Beibehaltung konsistenter Imputationsmethoden, wenn fehlende Daten zulässig sind.

Ursprüngliche Autoren: Antonia Tsvetanova, Matthew Sperrin, David A. Jenkins, Niels Peek, Iain Buchan, Stephanie Hyland, Marcus Taylor, Angela Wood, Richard D. Riley, Glen P. Martin

Veröffentlicht 2026-02-04

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Antonia Tsvetanova, Matthew Sperrin, David A. Jenkins, Niels Peek, Iain Buchan, Stephanie Hyland, Marcus Taylor, Angela Wood, Richard D. Riley, Glen P. Martin

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie sind ein Chefkoch, der versucht, das perfekte Rezept für ein neues Gericht (ein klinisches Vorhersagemodell) zu kreieren. Ihr Ziel ist es, vorherzusagen, wie ein Kunde auf das Gericht reagieren wird. Um dies zu tun, benötigen Sie bestimmte Zutaten (Prädiktoren wie Alter, Blutdruck usw.). Aber manchmal haben Sie beim Kochen nicht alle Zutaten zur Hand, oder Ihre Kunden haben möglicherweise nicht alle Informationen über ihre Ernährungsvorlieben angegeben.

In dieser Arbeit geht es darum, wie man mit diesen „fehlenden Zutaten“ in drei verschiedenen Phasen Ihres Kochprozesses umgeht:

Entwicklung: Das Rezept in Ihrer Testküche erstellen.
Validierung: Das Rezept einer neuen Gruppe von Menschen vorsetzen, um zu sehen, ob es funktioniert.
Bereitstellung (Deployment): Das Gericht der echten Öffentlichkeit servieren.

Die Autoren haben herausgefunden, dass die Art und Weise, wie Sie mit fehlenden Zutaten in Ihrer Testküche und bei Ihrer Verkostung umgehen, mit der Art und Weise übereinstimmen muss, wie Sie planen, das Gericht der Öffentlichkeit zu servieren. Wenn Sie nicht übereinstimmen, wird Ihr Rezept scheitern oder Sie werden glauben, es schmecke großartig, obwohl es eigentlich schrecklich schmeckt.

Hier ist die Aufschlüsselung ihrer Erkenntnisse unter Verwendung einfacher Analogien:

Die zwei Hauptregeln des Spiels

Die Autoren schlagen zwei goldene Regeln für den Umgang mit fehlenden Daten vor:

Die „Keine Degradations“-Regel: Wenn Sie Ihr Rezept entwickeln, müssen Sie die fehlenden Zutaten so handhaben, dass das fertige Gericht genauso gut schmeckt wie die „perfekte“ Version (bei der Sie alle Zutaten hatten).
Die „Wahrheitsfindungs“-Regel: Wenn Sie Ihr Rezept validieren (testen), müssen Sie die fehlenden Zutaten so handhaben, dass Sie eine ehrliche Bewertung erhalten. Sie wollen sich nicht selbst täuschen, indem Sie glauben, das Rezept sei besser oder schlechter, als es tatsächlich ist.

Szenario A: Das „strenge“ Restaurant (Keine fehlenden Daten erlaubt)

Stellen Sie sich ein gehobenes Restaurant vor, in dem der Koch verweigert, ein Gericht zu kochen, sofern der Kunde nicht jede einzelne Zutat aus der Speisekarte angibt. Wenn einem Kunden eine Zutat fehlt, sagt der Koch: „Tut mir leid, ich kann nicht für Sie kochen.“

Der Rat des Papers: Wenn Sie dieser strenge Koch sein wollen, müssen Sie Ihr Rezept unter Verwendung von Multiple Imputation (MI) entwickeln und testen.
- Die Analogie: Betrachten Sie Multiple Imputation als einen „magischen Ratgeber“, der die fehlenden Zutaten basierend auf dem ergänzt, was Sie bereits wissen, aber dies auf eine Weise tut, die die Unsicherheit berücksichtigt. Entscheidend ist, dass dieser „magische Ratgeber“ das Endergebnis (hat dem Kunden das Gericht geschmeckt?) kennen muss, um während der Entwicklungsphase gute Schätzungen abgeben zu können.
- Die Falle: Wenn Sie Ihr Rezept mittels „Mean Imputation“ (einfach nur den Durchschnitt der Zutat für alle annehmen) oder „Complete Case Analysis“ (jeden Kunden wegwerfen, der eine Zutat vergessen hat) entwickeln, wird Ihr Rezept schwach sein. Wenn Sie es dann versuchen, dem strengen Publikum zu servieren, wird es schlecht schmecken (Modell-Degradation).

Szenario B: Der „flexible“ Foodtruck (Fehlende Daten erlaubt)

Nun stellen Sie sich einen Foodtruck vor, bei dem der Koch mit fehlenden Zutaten einverstanden ist. Wenn ein Kunde vergessen hat anzugeben, ob er eine Nussallergie hat, verwendet der Koch einfach einen Standard-„Standardwert“ oder eine spezifische „Schätzmethode“, um die Lücke zu füllen, damit das Kochen fortgesetzt werden kann.

Der Rat des Papers: Wenn Sie dieser flexible Foodtruck sein wollen, müssen Sie die exakt gleiche Methode verwenden, um die fehlenden Zutaten während der Entwicklung, beim Testen und beim Servieren aufzufüllen.
- Die Analogie: Wenn Sie entscheiden, eine „Regressionsimputation“ (eine bestimmte Art von intelligenter Schätzung basierend auf anderen Zutaten) zu verwenden, um die Lücken für Ihre Kunden zu füllen, dann müssen Sie genau diese „intelligente Schätzmethode“ auch verwenden, wenn Sie das Rezept erstellen und wenn Sie das Rezept testen.
- Die Falle: Wenn Sie das Rezept mit „Mean Imputation“ (Durchschnitten) entwickeln, aber Ihren Kunden dann sagen: „Keine Sorge, wir nutzen eine ‚Intelligente Schätzmethode‘, um Ihre fehlenden Infos aufzufüllen“, wird das Rezept kaputtgehen. Die Mathematik wird nicht zusammenpassen. Das Paper fand heraus, dass das Mischen von Methoden (wie die Entwicklung mit einer Methode und die Validierung mit einer anderen) fast immer zu einer verzerrten Bewertung führt – Sie denken, Ihr Foodtruck ist erfolgreich, aber er scheitert eigentlich.

Das „Muster-Submodell“ (Der Sonderfall)

Das Paper untersuchte auch eine Methode namens Pattern Sub-Models.

Die Analogie: Anstatt eines großen Rezepts schreiben Sie vier verschiedene Mini-Rezepte:
1. Eines für Kunden, die alle Informationen gegeben haben.
2. Eines für Kunden, denen Zutat A fehlt.
3. Eines für Kunden, denen Zutat B fehlt.
4. Eines für Kunden, denen beide fehlen.
Der Rat des Papers: Wenn Sie diesen „Mini-Rezept“-Ansatz beim Foodtruck anwenden wollen, müssen Sie auch die Entwicklung und den Test mit genau diesem „Mini-Rezept“-Ansatz durchführen. Sie können nicht mit Mini-Rezepten entwickeln und dann testen, indem Sie alles zusammen mitteln.

Die wichtigste Erkenntnis

Die Autoren führten tausende Computersimulationen durch und überprüften reale chirurgische Daten, um ihren Punkt zu beweisen. Sie fanden heraus, dass gängige Praktiken oft falsch sind.

Häufiger Fehler: Viele Forscher entwickeln ein Modell mit einer Methode (wie Multiple Imputation), um die besten Statistiken zu erhalten, setzen es dann aber mit einer einfacheren Methode (wie Mean Imputation) ein, weil dies leichter in eine App programmiert werden kann.
Das Ergebnis: Dies erzeugt ein „Lügner-Paradoxon“. Das Modell sieht im Labor großartig aus, aber wenn es in der realen Welt ankommt, schneidet es schlecht ab oder die Leistungsbewertungen sind völlig falsch.

Zusammenfassung in einem Satz

Um ein zuverlässiges medizinisches Vorhersagewerkzeug zu bauen, müssen Sie zuerst entscheiden, wie Sie mit fehlenden Daten umgehen werden, wenn das Werkzeug tatsächlich in der realen Welt eingesetzt wird, und dann müssen Sie exakt dieselbe Methode verwenden, um das Werkzeug zu bauen und zu testen; das Mischen und Kombinieren von Methoden führt zu defekten Modellen und falscher Sicherheit.

Technisches Resümee: Kompatibilität von Methoden zur Handhabung fehlender Daten über die Stadien der Erstellung klinischer Vorhersagemodelle hinweg

Problemstellung
Fehlende Daten in Prädiktorvariablen sind eine allgegenwärtige Herausforderung während des gesamten Lebenszyklus klinischer Vorhersagemodelle (Clinical Prediction Models, CPMs), die von der Entwicklung über die Validierung bis hin zum Einsatz reichen. Während die methodische Forschung intensiv die Handhabung fehlender Daten für die kausale Inferenz adressiert hat (mit Fokus auf unverzerrte Parameterschätzungen), unterscheiden sich die Ziele der Vorhersagemodellierung: Das primäre Ziel ist eine genaue, gut kalibrierte Vorhersage bei neuen Individuen. Die aktuelle Praxis lässt oft eine Anleitung vermissen, wie die Entscheidungen zur Handhabung fehlender Daten in der Entwicklung und Validierung mit der beabsichtigten Einsatzstrategie im klinischen Alltag in Einklang gebracht werden sollten. Insbesondere ist unklar, ob die Methoden, die zur Handhabung von Fehlstellen während der Modellbildung und des Testens verwendet werden, „kompatibel“ mit der Art und Weise sind, wie das Modell letztlich in der klinischen Praxis eingesetzt wird. Inkonsistenzen – wie etwa die Verwendung von multipler Imputation (MI) während der Entwicklung, aber Mittelwertimputation während des Einsatzes – können zu verzerrten Leistungsabschätzungen oder einer Modelldegradierung führen.

Methodik
Die Autoren untersuchten dieses Problem durch zwei komplementäre Ansätze: eine groß angelegte Simulationsstudie und eine empirische Analyse realer chirurgischer Daten.

Simulationsstudie:
- Design: Unter Anwendung des ADEMP-Frameworks simulierten die Autoren eine Zielpopulation von 200.000 Individuen mit zwei Prädiktoren ( $X_1, X_2$ ) und einem binären Outcome. $X_1$ war einer Fehlstelle unterworfen, während $X_2$ und das Outcome vollständig beobachtet wurden.
- Mechanismen der Fehlstellen: Es wurden sechs gerichtete azyklische Graphen (Directed Acyclic Graphs, DAGs) verwendet, um Mechanismen wie Missing Completely at Random (MCAR), Missing at Random (MAR) und Missing Not at Random (MNAR) zu induzieren. Die Anteile der fehlenden Werte variierten zwischen 10 % und 50 %, und die Korrelationen zwischen den Prädiktoren wurden variiert.
- Handhabungsmethoden: Fünf Strategien wurden in jeder Phase (Entwicklung, Validierung, Einsatz) evaluiert:
  - Complete Case Analysis (CCA)
  - Mittelwert-/Modus-Imputation
  - Single Deterministic Regression Imputation (RI)
  - Multiple Imputation (MI), getestet sowohl mit Einbeziehung des Outcomes (MI-with-Y) als auch ohne Einbeziehung des Outcomes (MI-no-Y).
  - Pattern Sub-Models (PSM).
- Kompatibilitätskriterien: Die Studie definierte „Kompatibilität“ basierend auf zwei Prinzipien:
  1. Minimierung der Modelldegradierung: Der Unterschied zwischen der Leistung des eingesetzten Modells und der Leistung des wahren Modells unter einer spezifischen Einsatzstrategie.
  2. Unverzerrte Validierung: Der Validierungsprozess muss eine unverzerrte Schätzung der Leistung des Modells liefern, wenn dieses unter derselben Strategie eingesetzt wird.
- Szenarien: Die Studie testete alle Kombinationen von Entwicklungs-, Validierungs- und Einsatzstrategien über 600 Szenarien hinweg.
Empirische Analyse:
- Daten: Die Autoren nutzten das North-West Clinical Outcomes Research Registry (NCORR), das 6.600 Patienten umfasst, die sich einer Lungenresektion unterzogen haben.
- Aufgabe: Vorhersage der 90-Tage-Mortalität nach der Operation mittels eines logistischen Regressionsmodells basierend auf dem RESECT-90 CPM.
- Verfahren: Mittels Bootstrap-Sampling wurden 100 Entwicklungssätze erstellt. Modelle wurden unter Verwendung der verschiedenen Methoden zur Handhabung fehlender Daten entwickelt und anschließend gegen den Originaldatensatz validiert, wobei entsprechende Validierungsstrategien angewendet wurden, um die Verzerrung der Leistungsabschätzung zu bewerten.

Zentrale Ergebnisse
Die Simulations- und die empirischen Ergebnisse zeigten konsistent, dass die Kompatibilität hochgradig von der beabsichtigten Einsatzstrategie abhängt:

Einsatz, der vollständige Daten erfordert (E-all):
- Um die Degradierung zu minimieren und eine unverzerrte Validierung zu gewährleisten, sollten Modelle unter Verwendung von Multipler Imputation inklusive des Outcomes (MI-with-Y) oder vollständig beobachteter Daten entwickelt und validiert werden.
- Unter komplexen Fehlstellenmechanismen (z. B. MNAR) zeigte selbst MI-with-Y eine gewisse Degradierung, blieb jedoch gegenüber anderen Methoden überlegen.
- Die Verwendung von CCA oder Mittelwertimputation während der Entwicklung führte bei einem Einsatz unter einer E-all-Strategie zu signifikanter Modelldegradierung.
Einsatz, der fehlende Daten zulässt:
- Wenn ein CPM dazu bestimmt ist, mit fehlenden Daten eingesetzt zu werden (unter Verwendung einer spezifischen Imputationsmethode wie Mittelwertimputation, RI, MI-no-Y oder PSM), muss dieselbe Methode sowohl während der Entwicklung als auch während der Validierung verwendet werden.
- Mittelwert-/Modus-Imputation: Die Entwicklung mit MI und der Einsatz mit Mittelwertimputation führte zu verzerrten Leistungsabschätzungen und Kalibrierungsfehlern.
- Regressionsimputation (RI) & PSM: Diese Methoden funktionierten nur dann gut, wenn die Strategien für Entwicklung, Validierung und Einsatz identisch waren.
- MI-no-Y: Obwohl theoretisch attraktiv für den Einsatz, führte die Verwendung von MI-no-Y während der Entwicklung zu verzerrten Schätzungen der Prädiktor-Outcome-Assoziation, was bei einem Einsatz unter einer E-MI-Strategie zu Degradierung führte.
Validierungsverzerrung (Validation Bias):
- Eine entscheidende Erkenntnis war, dass die Validierungsverzerrung prim heavy durch die Methode getrieben wurde, die zur Handhabung fehlender Daten während der Validierung verwendet wurde, und nicht durch die Methode während der Entwicklung.
- Wenn ein Modell mit einer Methode validiert wird, die von der beabsichtigten Einsatzstrategie abweicht, sind die Leistungsabschätzungen verzerrt, unabhängig davon, wie das Modell ursprünglich aufgebaut wurde.

Bedeutung und Behauptungen
Die Arbeit argumenttiert, dass die Entscheidung darüber, wie mit fehlenden Daten beim Einsatz umgegangen wird, die Entscheidungen während der Entwicklung und Validierung grundlegend beeinflussen muss. Die Autoren behaupten:

Aktuelle Praktiken sind fehlerhaft: Häufig vorkommende Kombinationen von Methoden in der Literatur (z. B. Entwicklung mit MI und Validierung/Einsatz mit Mittelwertimputation) führen häufig zu verzerrten Leistungsabschätzungen und suboptimalen Modellen.
Ausrichtung ist essenziell: Um Kompatibilität zu erreichen, müssen Forscher rückwärts von der Einsatzstrategie arbeiten.
- Wenn das Ziel ein Modell für Patienten mit vollständigen Daten ist, verwenden Sie MI-with-Y (oder vollständige Daten) über den gesamten Prozess hinweg.
- Wenn das Ziel ein Modell für Patienten mit fehlenden Daten ist, verwenden Sie die identische Imputationsmethode (z. B. RI oder PSM) über Entwicklung, Validierung und Einsatz hinweg.
Praktische Auswirkungen: Die Autoren betonen, dass MI-with-Y statistisch robust für den Einsatz mit vollständigen Daten ist, jedoch oft unpraktikabel für den eigentlichen Einsatz (da Zugriff auf Originaldaten oder komplexe Rechenressourcen erforderlich sind). Wenn ein Modell also in der Praxis mit fehlenden Daten umgehen muss, sollten Entwickler von Beginn an deterministische Methoden wie die Regressionsimputation oder Pattern Sub-Models priorisieren, anstatt zu versuchen, ein für vollständige Daten gebautes Modell anzupassen.

Die Studie kommt zu dem Schluss, dass ohne diese Abstimmung die Translation von CPMs in die klinische Praxis auf Basis ungenauer Leistungsabschätzungen erfolgen kann, was potenziell die Patientenversorgung gefährdet.