📊 statistics

Position: Stop Chasing the C-index when Evaluating Survival Analysis Models

Dieses Positionspapier argumentiert, dass die Community der Überlebenszeitanalyse übermäßig auf nicht abgestimmte Metriken wie den C-Index vertraut hat, und fordert Forscher auf, Evaluierungspraktiken zu übernehmen, die Zensierungsannahmen explizit berücksichtigen und mit spezifischen Modellierungszielen übereinstimmen, um irreführende Schlussfolgerungen zu vermeiden.

Ursprüngliche Autoren: Christian Marius Lillelund, Shi-ang Qi, Russell Greiner, Christian Fischer Pedersen

Veröffentlicht 2026-05-29

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Christian Marius Lillelund, Shi-ang Qi, Russell Greiner, Christian Fischer Pedersen

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie sind ein Trainer, der ein neues Trainingsprogramm für einen Marathon bewertet. Sie haben zwei Ziele:

Rangfolge: Sie möchten wissen, welche Läufer die schnellsten sind (wer als Erster, Zweiter oder Dritter ins Ziel kommt).
Zeitmessung: Sie möchten genau wissen, wann jeder Läufer die Ziellinie überquert (z. B. nach 3 Stunden, 4 Stunden).

Stellen Sie sich nun vor, dass während des Rennens einige Läufer verletzt werden oder die Strecke vorzeitig verlassen müssen. In der Statistik nennt man dies Zensierung. Sie kennen ihre Endzeit nicht, nur dass sie zum Zeitpunkt ihres Ausscheidens noch nicht im Ziel waren.

Diese Arbeit argumentiert, dass die wissenschaftliche Gemeinschaft derzeit einen riesigen Fehler bei der Bewertung von Überlebensmodellen (den „Trainingsprogrammen" zur Vorhersage, wann Ereignisse eintreten, wie Krankheitsverläufe oder Maschinenausfälle) macht. Sie verwenden die falschen „Stoppuhren" und die falschen „Wertungsblätter".

Hier ist die Aufschlüsselung des Arguments der Arbeit anhand einfacher Analogien:

1. Das Problem: Das falsche Wertungsblatt

Die Arbeit behauptet, dass die meisten Forscher von einer Metrik namens C-Index besessen sind.

Die Analogie: Der C-Index ist wie ein Richter, dem nur die Reihenfolge interessiert, in der die Läufer ins Ziel kommen. Wenn Läufer A vor Läufer B ins Ziel kommt, gibt der Richter eine hohe Punktzahl.
Der Fehler: Dem C-Index ist es egal, ob Läufer A nach 2 Stunden oder nach 100 Stunden ins Ziel kam, solange er schneller war als Läufer B.
Die Diskrepanz: Viele Forscher behaupten, ihr Modell sei hervorragend darin, genaue Zeiten vorherzusagen (z. B. „Dieser Patient wird in 6 Monaten krank"). Aber als Beweis zeigen sie nur die C-Index-Punktzahl. Es ist, als würde ein Koch behaupten, seine Suppe habe die perfekte Temperatur, aber als einzigen Beweis dafür anführen, dass sie „salziger" schmeckt als die andere Suppe. Das Wertungsblatt passt nicht zur Behauptung.

2. Die versteckte Falle: Die „zufällige" Annahme

Die Arbeit hebt ein zweites, gefährlicheres Problem hervor: Annahmen zur Zensierung.

Die Analogie: Stellen Sie sich vor, Sie bewerten den Marathon, aber einige Läufer verlassen die Strecke.
- Zufällige Zensierung: Läufer verlassen die Strecke, weil sie zu einem zufälligen Zeitpunkt von einem Bus abgeholt werden, der nichts mit ihrer Müdigkeit zu tun hat. (Dies ist das „einfache" Szenario).
- Abhängige Zensierung: Läufer verlassen die Strecke, weil sie erschöpft oder verletzt sind. Ihr Grund für das Verlassen steht in direktem Zusammenhang mit ihrer Leistung. (Dies ist das „schwierige" Szenario).
Der Fehler: Die meisten Forscher tun so, als würden alle Läufer aus zufälligen Gründen gehen (wie der Bus). Sie verwenden Standardformeln, die diese „Zufälligkeit" annehmen.
Die Realität: In der realen Welt brechen Menschen Studien oft ab, weil sie kranker werden, oder Maschinen brechen schneller aus. Dies ist abhängige Zensierung. Wenn Forscher „zufällige" Formeln auf „abhängige" Daten anwenden, sind ihre Ergebnisse wie eine Karte, die sagt: „Nord ist Süd". Die Werte sehen gut aus, aber sie lügen.

3. Die „Doppel-Helix-Leiter"

Die Autoren führen ein Konzept namens Leiter-Hypothese ein.

Die Analogie: Stellen Sie sich eine Leiter vor, deren Sprossen verschiedene Schwierigkeitsgrade darstellen, wie Menschen aus einer Studie ausscheiden.
- Unterste Sprosse: Einfache Ausscheidungen (Zufällig).
- Mittlere Sprosse: Mittlere Ausscheidungen (Unabhängig).
- Oberste Sprosse: Schwierige Ausscheidungen (Abhängig).
Die Wendung: Die Arbeit zeigt, dass die Modelle (die Läufer) begonnen haben, die Leiter hinaufzuklettern, um die schwierigen Ausscheidungen zu bewältigen. Aber die Metriken (die Wertungsblätter) stecken immer noch an der untersten Sprosse fest.
Das Ergebnis: Sie versuchen, einen Kletterer zu messen, der sich auf halber Höhe eines Berges befindet, mit einem Lineal, das für das Erdgeschoss bestimmt ist. Die Messung ist nutzlos.

4. Was sie fanden (Die Beweise)

Die Autoren untersuchten 92 aktuelle Arbeiten (aus den Jahren 2023–2025) und stellten fest:

72 % davon waren „fehlgeleitet". Sie behaupteten, eine Sache zu tun (z. B. genaue Zeiten vorhersagen), verwendeten aber ein Wertungsblatt, das etwas anderes maß (z. B. nur die Rangfolge).
Sie ignorierten die „Ausscheidungs"-Regeln. Sie erklärten selten, warum sie annahmen, dass Menschen zufällig ausscheiden, selbst wenn die Daten etwas anderes nahelegten.
Der C-Index wird übermäßig verwendet. Er ist die „Standard"-Wahl, selbst wenn er das falsche Werkzeug für den Job ist.

5. Die Lösung: Eine neue Checkliste

Die Arbeit beschwert sich nicht nur; sie bietet einen praktischen Leitfaden (eine „Leiter") für Forscher an, um dies zu beheben:

Kenntnis Ihres Ziels: Versuchen Sie, Menschen zu rangieren, genaue Zeiten vorherzusagen oder zu prüfen, ob Wahrscheinlichkeiten genau sind?
Wählen Sie das richtige Werkzeug:
- Wenn Sie Rangfolge wollen, verwenden Sie den C-Index (aber seien Sie vorsichtig!).
- Wenn Sie genaue Zeiten wollen, verwenden Sie Fehlermetriken (wie MAE).
- Wenn Sie Wahrscheinlichkeiten wollen, verwenden Sie Kalibrierungsmetriken.
Prüfen Sie die „Ausscheidungs"-Regeln: Seien Sie ehrlich darüber, warum Daten fehlen. Wenn Menschen ausscheiden, weil sie krank sind (abhängige Zensierung), können Sie keine Standard-„zufälligen" Wertungsblätter verwenden. Sie benötigen spezielle Werkzeuge, die diesen Bias berücksichtigen.

Zusammenfassung

Die Arbeit ist ein Weckruf: Hören Sie auf, dem C-Index hinterherzujagen.

Nur weil ein Modell eine hohe Punktzahl beim C-Index erhält, bedeutet das nicht, dass es gut darin ist, reale Ergebnisse vorherzusagen, insbesondere wenn Menschen aus Studien ausscheiden, und zwar aus Gründen, die mit ihrer Gesundheit oder dem Zustand der Maschine zusammenhängen. Forscher müssen aufhören, ein „Rangfolge"-Wertungsblatt für „Zeitmessungs"-Probleme zu verwenden und müssen aufhören, so zu tun, als wären Ausscheidungen immer zufällig. Wenn sie das nicht tun, baut die wissenschaftliche Gemeinschaft ein Kartenhaus, das beeindruckend aussieht, aber unter realen Druck zusammenbricht.

Technische Zusammenfassung: Hören Sie auf, den C-Index bei der Bewertung von Überlebenszeitanalyse-Modellen zu verfolgen

Problemstellung

Der aktuelle Stand der Bewertung in der Überlebenszeitanalyse ist durch eine systematische Fehlausrichtung zwischen Modellierungszielen, Bewertungsmetriken und den zugrunde liegenden Annahmen bezüglich der Zensierung gekennzeichnet. Trotz des definierenden Merkmals von Überlebensdaten, nämlich der Zensierung (bei der Ereigniszeiten nur teilweise beobachtet werden), stützt sich ein erheblicher Teil der neueren Literatur auf Bewertungspraktiken, die diese strukturellen Merkmale ignorieren.

Die Autoren identifizieren zwei Hauptversagen in der aktuellen Praxis:

Fehlausrichtung von Ziel und Metrik: Forscher verwenden häufig diskriminierungsbasierte Metriken, insbesondere den C-Index, zur Bewertung von Modellen, selbst wenn das erklärte Ziel eine genaue Schätzung der Zeit bis zum Ereignis oder eine probabilistische Kalibrierung ist. Der C-Index misst die Fähigkeit zur Rangordnung, bewertet jedoch nicht die numerische Genauigkeit vorhergesagter Zeiten oder die Kalibrierung von Überlebenswahrscheinlichkeiten.
Unbegründete Annahmen zur Zensierung: Viele Bewertungen gehen so vor, als wäre die Zensierung „zufällig" (unabhängig vom Ereignisprozess), eine Annahme, die selten formuliert, gerechtfertigt oder empirisch korrigiert wird. In der Realität kann die Zensierung unabhängig (bedingt auf Kovariaten) oder abhängig (auch nach Konditionierung mit dem Ereignisprozess verknüpft) sein. Die Verwendung von Metriken, die eine zufällige Zensierung annehmen, auf Daten mit abhängiger Zensierung führt zu verzerrten Leistungsschätzungen und irreführenden Modellvergleichen.

Eine Umfrage unter 92 in den Jahren 2023 bis 2025 veröffentlichten Arbeiten zur Überlebenszeitanalyse ergab, dass etwa 72 % der Studien Bewertungsmetriken verwendeten, die nicht mit ihren erklärten Zielen übereinstimmten oder keine Berücksichtigung der Zensierungsannahmen fanden, was zu potenziell überhöhten Leistungsansprüchen führte.

Methodik und Rahmenwerk

Der Artikel schlägt ein strukturiertes Rahmenwerk zur Bewertung von Überlebensmodellen vor, das auf der Leiter-Hypothese der Modell-Metrik-Konsistenz basiert. Diese Hypothese besagt, dass ein Modell und seine Bewertungsmetrik auf derselben „Sprosse" der Annahmenleiter stehen müssen. Wenn ein Modell auf spezifischen Zensierungsannahmen beruht (z. B. abhängige Zensierung), muss die Bewertungsmetrik auch unter denselben Annahmen gültig sein.

Wichtige konzeptionelle Komponenten

Zensierungsannahmen: Die Autoren formalisieren drei distincte Annahmen bezüglich der Beziehung zwischen Ereigniszeit ( $E$ ) und Zensierungszeit ( $C$ ):
- Zufällige Zensierung: $E \perp\!\!\!\perp C$ . Die Zensierung steht in keinem Zusammenhang mit dem Ereignisprozess.
- Unabhängige Zensierung: $E \perp\!\!\!\perp C \mid X$ . Die Zensierung hängt von Kovariaten ab, ist aber bedingt unabhängig von der Ereigniszeit.
- Abhängige Zensierung: $E \not\perp\!\!\!\perp C \mid X$ . Die Zensierung bleibt auch nach Konditionierung auf beobachtete Kovariaten mit dem Ereignisprozess verknüpft.
Fünf desiderata für Metriken: Zur Leitlinie der Metrikauswahl schlagen die Autoren fünf Kriterien vor:
- D1 (Ordentliche Score-Regel): Die Metrik sollte nur dann minimiert/maximiert werden, wenn die Vorhersagen der wahren Verteilung entsprechen.
- D2 (Interpretierbarkeit): Werte sollten in domänenspezifischen Einheiten angegeben sein (z. B. Tage, Wahrscheinlichkeiten).
- D3 (Modellagnostisch): Die Metrik sollte nicht von Modellinternals oder spezifischen Parameterwahlen abhängen.
- D4 (Empfindlichkeit gegenüber Fehlkalibrierung): Die Metrik muss systematische Über-/Unterschätzungen von Wahrscheinlichkeiten erkennen.
- D5 (Robustheit gegenüber Zensierung): Die Metrik muss die Zensierung konsistent mit dem Generierungsmechanismus der Daten handhaben.
Die Doppelhelix-Leiter: Die Autoren visualisieren eine Kluft zwischen der Modellentwicklung und der Metrikentwicklung. Während Modelle Fortschritte gemacht haben, um abhängige Zensierung zu bewältigen (z. B. mittels Copulas), sind Bewertungsmetriken weitgehend stagniert und bleiben nur unter Annahmen zufälliger oder unabhängiger Zensierung gültig. Dies erzeugt eine „verdrehte" Leiter, bei der fortschrittliche Modelle oft mit veralteten, fehlgeleiteten Metriken bewertet werden.

Experimentelle Ergebnisse

Die Autoren führten kontrollierte Experimente mit synthetischen Daten durch, um die Konsequenzen einer Fehlausrichtung von Modell und Metrik zu demonstrieren.

Aufbau: Ein Cox-Proportional-Hazards-Modell (CoxPH) wurde auf Daten mit einem festgelegten Ereignisgenerierungsprozess trainiert. Der Zensierungsmechanismus wurde über drei Szenarien variiert: Zufällig, Unabhängig und Abhängig (induziert durch eine Clayton-Copula mit steigendem Kendall's $\tau$ ).
Ergebnisse:
- Verzerrung bei Standardmetriken: Wenn die Zensierung von der Annahme der Zufälligkeit abwich, wurden Standardmetriken wie Harrells C-Index und der Integrierte Brier-Score (IBS) zunehmend verzerrt.
- Irreführende Schlussfolgerungen: In Szenarien mit abhängiger Zensierung deuteten Standardmetriken oft eine Verbesserung oder Stabilität des Modells an, selbst wenn die „Orakel"-Leistung (berechnet unter Verwendung der wahren Ereigniszeiten) abnahm.
- Versagen der Metriken: Metriken, die auf marginaler Inverse-Probability-of-Censoring-Weighting (IPCW) basieren (z. B. Uno's C-Index), versagten darin, die Verzerrung zu korrigieren, wenn die Zensierung abhängig war, da sie Unabhängigkeit gegeben Kovariaten oder zufällige Zensierung voraussetzen.

Die Ergebnisse bestätigen, dass die Verwendung einer Metrik, die für eine schwächere Annahme (z. B. zufällige Zensierung) entwickelt wurde, zur Bewertung eines Modells oder Datensatzes mit einer stärkeren Annahme (z. B. abhängige Zensierung) zu unzuverlässigen Leistungsschätzungen führt.

Wichtige Beiträge

Kritische Überprüfung der Praktiken: Der Artikel liefert empirische Belege dafür, dass das Feld von der übermäßigen Verwendung des C-Index und der Vernachlässigung von Zensierungsannahmen geplagt ist, wobei ~72 % der neueren Arbeiten eine Fehlausrichtung aufweisen.
Die Leiter-Hypothese: Es wird ein leitendes Prinzip eingeführt, das eine explizite Ausrichtung zwischen den statistischen Annahmen des Modells, der Daten und der Bewertungsmetrik erfordert.
Bewertungsrichtlinien: Die Autoren bieten einen praktischen Arbeitsablauf (visualisiert in einer Checkliste) für Forscher an, um geeignete Metriken basierend auf folgenden Kriterien auszuwählen:
- Das Vorhersageziel (z. B. Risikorangordnung vs. Zeit bis zum Ereignis).
- Der Bewertungsaspekt (Diskriminierung, Fehler, Kalibrierung).
- Die Zensierungsannahme (zufällig, unabhängig oder abhängig).
Identifizierung von Lücken: Der Artikel hebt hervor, dass zwar Methoden zur Modellierung abhängiger Zensierung existieren, aber derzeit allgemein akzeptierte, unverzerrte Bewertungsmetriken für solche Settings fehlen.

Bedeutung und Behauptungen

Die Autoren argumentieren, dass die weit verbreitete Verwendung von fehlgeleiteten Metriken zu irreführenden Modellvergleichen führt und verhindert, dass die Gemeinschaft methodische Durchbrüche korrekt würdigt. Sie behaupten nicht, das Problem der Bewertung abhängiger Zensierung gelöst zu haben, sondern fordern eine „Neukalibrierung" des Feldes.

Die primäre Bedeutung des Artikels liegt in seinem Aufruf zum Handeln: Forscher müssen ihre Zensierungsannahmen explizit darlegen und Metriken wählen, die unter diesen Annahmen gültig sind. Solange robuste, annahmenkonforme Metriken für abhängige Zensierung entwickelt und validiert sind, sollten Leistungsansprüche für State-of-the-Art-Modelle in solchen Settings als spekulativ betrachtet werden. Die Autoren plädieren dafür, dass eine rigorose, annahmenbewusste Bewertung die notwendige nächste Grenze für Fortschritte in der Überlebenszeitanalyse darstellt.