Online Survival Analysis: A Bandit Approach under Cox PH Model

Titel: Online-Survival-Analyse: Ein Bandit-Ansatz unter dem Cox-PH-Modell

Autoren: Yang Xu, Wenbin Lu, Rui Song (North Carolina State University)

---

1. Problemstellung

Die Überlebensanalyse (Survival Analysis) ist ein etabliertes statistisches Framework zur Modellierung von Zeit-bis-zu-Ereignis-Daten unter Zensierung (Censoring). Klassische Methoden wie das Cox-Proportional-Hazards-Modell (Cox PH) werden typischerweise in Offline-Szenarien angewendet, bei denen alle Daten vor der Analyse gesammelt werden müssen.

Das Paper adressiert die Lücke, diese Methoden in Online-Lernumgebungen zu integrieren, insbesondere im Kontext von Contextual Bandits. Dies ist entscheidend für Anwendungen wie klinische Studien, personalisierte Medizin oder Kundenbindung, wo Entscheidungen sequentiell getroffen werden müssen, während neue Daten eintreffen.

Herausforderungen in diesem Setting:

• Verzögerte Rückmeldung (Delayed Feedback): Das „Reward" (das Ereignis) tritt oft lange nach der Zuweisung der Behandlung auf.
• Rechtszensierung (Right Censoring): Die Beobachtung kann enden, bevor das Ereignis eintritt, was die Schätzung der Überlebensfunktion erschwert.
• Staggered Entry (Versetzte Eintrittszeiten): Probanden treten zu unterschiedlichen Zeitpunkten in die Studie ein. Dies führt dazu, dass die Risikomenge (Risk Set) dynamisch ist und von zwei Zeitskalen abhängt: der Kalenderzeit und der Überlebenszeit seit dem Eintritt.
• Theoretische Komplexität: Die Standard-Martingal-Konzentrationswerkzeuge, die in klassischen Bandit-Problemen verwendet werden, gelten hier nicht direkt, da die Risikomenge von der Kalenderzeit abhängt und die Score-Funktion des Cox-Modells unter versetztem Eintritt keine Martingal-Eigenschaft mehr besitzt.

---

2. Methodik

Die Autoren schlagen ein integriertes Online-Bandit-Framework vor, das das Cox PH-Modell mit Exploration-Strategien kombiniert.

A. Modellierung und Datenstruktur:

• Cox PH-Modell: $\lambda(s | X) = \lambda_0(s) \exp(X^\top \beta)$.
• Risikomenge (Risk Set): Unter Berücksichtigung von versetztem Eintritt ($\tau_i$) und Zensierung ($C_i$) wird die Risikomenge $R(\tau, s)$ definiert als die Menge der Individuen, die zum Kalenderzeitpunkt $\tau$ beobachtet werden und seit ihrem Eintritt mindestens $s$ Zeit überlebt haben.
• Online-Update der partiellen Likelihood: Anstatt das Modell bei jedem neuen Datenpunkt neu zu schätzen (was rechnerisch teuer wäre, $O(N^2)$), entwickeln die Autoren eine inkrementelle Update-Formel. Sie zerlegen die Änderung der partiellen Likelihood in zwei Teile:
  1. Beiträge neu beobachteter Ereignisse.
  2. Korrekturen aufgrund der sich ändernden Risikomenge durch versetzten Eintritt.
     Dies reduziert die Rechenkomplexität auf $O(m \cdot p + N \cdot m)$, wobei $m$ die Anzahl der Ereignisse ist.

B. Bandit-Algorithmen:
Drei klassische Strategien werden an das Survival-Setting angepasst, um Exploration (Neues lernen) und Exploitation (Bestehendes Wissen nutzen) zu balancieren:

1. Epsilon-Greedy (EG): Wählt mit Wahrscheinlichkeit $1-\epsilon_t$ die beste Aktion basierend auf dem aktuellen Schätzer $\hat{\beta}_t$ und sonst zufällig.
2. Upper Confidence Bound (UCB): Nutzt eine Konfidenzellipse basierend auf der inversen Fisher-Information, um Unsicherheit zu quantifizieren und Aktionen mit hohem Potenzial zu wählen.
3. Thompson Sampling (TS): Approximiert die Posterior-Verteilung von $\beta$ (mittels Laplace-Näherung oder MCMC) und zieht Stichproben, um die Aktion zu wählen.

C. Theoretische Grundlagen:

• Da die Score-Funktion kein Martingal ist, definieren die Autoren einen angepassten Score-Prozess $Q(\tau)$, der ein Martingal ist.
• Auf Basis dieses Prozesses wird ein Konfidenz-Ellipsoid für den Parameterschätzer $\hat{\beta}_t$ konstruiert.
• Es werden Annahmen über die Beschränktheit der Kovariaten und das Wachstum der Informationsmatrix getroffen (ähnlich wie „Persistence of Excitation").

---

3. Wichtige Beiträge

1. Erster integrierter Rahmen: Dies ist eine der ersten Arbeiten, die Survival-Analyse mit Rechtszensierung, versetztem Eintritt und verzögerter Rückmeldung in einem reinen Online-Bandit-Framework vereint.
2. Flexible Algorithmen: Die Anpassung von EG, UCB und TS für das Cox PH-Modell ohne stochastische Annahmen über die Kovariaten.
3. Theoretische Garantien:
   • Herleitung der ersten Konfidenz-Ellipsen für Online-Survival-Szenarien.
   • Beweis von sublinearen Regret-Schranken der Ordnung $\tilde{O}(d\sqrt{T})$, wobei $d$ die Dimension der Features und $T$ die Anzahl der Runden ist. Dies ist vergleichbar mit klassischen linearen Contextual Bandits, trotz der zusätzlichen Komplexität durch Zensierung.
4. Effiziente Berechnung: Entwicklung eines inkrementellen Update-Algorithmus, der die Notwendigkeit des vollständigen Neuschätzens des Cox-Modells bei jedem Schritt vermeidet.

---

4. Ergebnisse

Die Leistung des Ansatzes wurde durch Simulationen und ein semi-reales Experiment validiert.

• SEER-Datensatz (Krebsdaten):

  • Es wurden Daten von 290.091 Patienten mit Brustkrebs verwendet.
  • Ziel: Entscheidung zwischen Brustkonservierender Chirurgie (BCS) und Mastektomie zur Maximierung der Überlebenswahrscheinlichkeit.
  • Ergebnis: Alle drei Algorithmen (EG, UCB, TS) konvergierten schnell zu nahezu optimalen Überlebenswahrscheinlichkeiten. Die Algorithmen passten sich dynamisch an die Daten an und übertrafen naive Ansätze, die nur vollständig beobachtete Daten nutzen (was zu Verzerrungen führt).
  • Robustheit: Auch bei Misspezifikation des Modells (wenn die wahren Daten nicht dem Cox PH-Modell folgen, sondern z.B. einem Random Survival Forest oder AFT-Modell entstammen), blieben die Algorithmen stabil und zeigten Verbesserungen über die Zeit.

• Simulationen:

  • In simulierten Umgebungen mit verschiedenen Zensierungsraten zeigten die Algorithmen eine schnelle Konvergenz der Parameterschätzer $\hat{\beta}_t$ zum wahren $\beta$ und eine rasche Annäherung an die optimale Überlebenswahrscheinlichkeit.
  • Der naive Ansatz (Ignorieren zensierter Daten) führte zu signifikant höheren Fehlern (MSE) und schlechteren Entscheidungen.

---

5. Bedeutung und Ausblick

Bedeutung:
Die Arbeit bietet einen theoretisch fundierten und praktisch anwendbaren Weg, um personalisierte Entscheidungen in dynamischen Umgebungen mit unvollständigen und verzögerten Daten zu treffen. Dies ist besonders relevant für:

• Klinische Studien: Schnellere Identifizierung wirksamer Therapien durch adaptive Zuweisung.
• Präzisionsmedizin: Individuelle Behandlungspläne, die sich mit neuen Patientendaten verbessern.
• Kundenbindung & Predictive Maintenance: Optimierung von Strategien zur Verlängerung der Kundenlebensdauer oder Maschinennutzungsdauer.

Zukünftige Arbeiten:
Die Autoren sehen Potenzial darin, das Framework auf flexiblere Modelle (z.B. DeepSurv mit neuronalen Netzen) zu erweitern und die Approximationsmethoden für noch schnellere Online-Updates zu verbessern.

Fazit:
Das Paper schlägt eine Brücke zwischen klassischer Überlebensanalyse und modernem Reinforcement Learning. Es beweist, dass trotz der Herausforderungen durch Zensierung und versetzten Eintritt eine sublineare Regret-Schranke erreichbar ist, was effizientes Online-Lernen in kritischen medizinischen und technischen Anwendungen ermöglicht.