Stable and practical semi-Markov modelling of intermittently-observed data

Dieser Beitrag stellt ein praktisches semi-Markov-Modellierungsframework für intermittierend beobachtete Daten vor, indem Verweilzeiten durch Phasenverteilungen approximiert werden, um eine flexible Likelihood-Berechnung zu ermöglichen, und stellt ein neues R-Paket „msmbayes" bereit, um diesen Ansatz über Bayessche oder Maximum-Likelihood-Schätzung zu implementieren.

Das Wesentliche

Das große Ganze: Verfolgung von Lebensveränderungen

Stellen Sie sich vor, Sie versuchen, die Gesundheit einer Person im Laufe der Zeit zu verfolgen. Sie überprüfen sie gelegentlich – vielleicht einmal im Jahr oder alle paar Monate. Sie möchten wissen: Wie lange bleibt sie in einem „gesunden" Zustand, bevor sie krank wird? Und sobald sie krank wird, wie lange dauert es, bis sie sich erholt oder verstirbt?

In der Statistik nennt man dies ein Multi-State-Modell. Es ist wie eine Landkarte mit verschiedenen Räumen (Zuständen) und Türen (Übergängen) dazwischen.

Das Problem: Die „Gedächtnis"-Falle

Die meisten Standardkarten gehen davon aus, dass die Wahrscheinlichkeit, einen Raum zu verlassen, nur davon abhängt, in welchem Raum Sie sich gerade befinden. Dies wird als Markov-Annahme bezeichnet. Es ist, als würde man sagen: „Wenn Sie im Raum 'Krank' sind, beträgt die Wahrscheinlichkeit, diesen morgen zu verlassen, 50 %, unabhängig davon, ob Sie gerade hereingekommen sind oder schon seit einem Jahr dort sind."

Aber im wirklichen Leben spielt die Zeit eine Rolle. Wenn Sie schon lange krank sind, sind Sie möglicherweise eher geneigt, besser (oder schlechter) zu werden, als wenn Sie gerade erst krank geworden sind. Dies ist ein Semi-Markov-Modell, bei dem die „Uhr" innerhalb des Raums eine Rolle spielt.

Der Haken: Da wir die Menschen nur gelegentlich überprüfen (intermittierende Daten), wissen wir nicht genau, wann sie einen Raum betreten haben. Wir wissen nur, dass sie im Januar im Raum A und im Juni im Raum B waren. Wir wissen nicht, ob sie im Februar oder im Mai krank geworden sind. Dies macht es unglaublich schwierig, die „Uhr" innerhalb des Raums zu berechnen.

Die alten Lösungen: Zu langsam oder zu starr

Wissenschaftler haben dies bereits versucht zu lösen, aber die Werkzeuge waren entweder:

1. Zu langsam: Zu versuchen, jeden möglichen Weg zu erraten, den die Person zwischen den Kontrollen genommen hat, ist wie der Versuch, jeden einzelnen Sandkorn an einem Strand zu zählen, um ein bestimmtes zu finden.
2. Zu starr: Einige Methoden funktionierten nur für sehr einfache Karten, nicht für die komplexen, die in der realen Medizin verwendet werden.
3. Zu kompliziert: Einige Methoden erforderten benutzerdefinierte, schwer zu bedienende Software, die den meisten Forschern nicht zur Verfügung stand.

Die neue Lösung: Der Trick mit dem „versteckten Phasen"-Konzept

Der Autor, Christopher Jackson, stellt eine clevere neue Methode vor, um dies mit einem Konzept namens Phasenverteilungen (Phase-Type distributions) zu lösen.

Die Analogie: Das Hotel mit geheimen Fluren
Stellen Sie sich vor, ein „Krank"-Raum ist nicht nur ein großer Raum. Stattdessen ist es eigentlich ein Hotel mit einem langen Flur aus kleineren, versteckten Räumen (Phasen) darin.

• Wenn eine Person den Zustand „Krank" betritt, betritt sie den ersten versteckten Raum.
• Sie bewegt sich nacheinander durch diese versteckten Räume.
• Die Zeit, die sie in jedem versteckten Raum verbringt, ist einfach und vorhersehbar (wie eine Standarduhr).
• Wenn sie schließlich den letzten versteckten Raum verlässt, verlässt sie den Zustand „Krank".

Indem man diese einfachen versteckten Räume aneinanderreiht, kann man einen komplexen, realistischen „Krank"-Raum erstellen, bei dem die verbrachte Zeit eine Rolle spielt (z. B. ist es wahrscheinlicher, dass man nach dem Durchlaufen von 3 versteckten Räumen geht als nach nur 1).

Warum dies ein Wendepunkt ist:
Da die Bewegung zwischen diesen versteckten Räumen einfach ist, können Computer die Mathematik sehr leicht berechnen. Es verwandelt ein komplexes „Semi-Markov"-Problem in ein Standard-„Hidden-Markov"-Problem, das Computer bereits sehr gut lösen können.

Die Innovation: Das „Momenten-Matching"-Rezept

Es gab einen früheren Versuch, diese Idee mit dem „versteckten Flur" zu nutzen, aber es war wie der Versuch, einen Kuchen zu backen, indem man die Zutaten errät. Man musste eine riesige, langsame Computersuche durchführen, um herauszufinden, wie man die versteckten Räume anordnet, um eine bestimmte Form (wie eine Weibull- oder Gamma-Verteilung) zu erreichen.

Dieses Paper stellt ein schnelles, analytisches Rezept vor (genannt Momenten-Matching).

• Anstatt zu raten, liefert der Autor eine mathematische Formel.
• Sie sagen dem Computer: „Ich möchte, dass die in diesem Zustand verbrachte Zeit wie eine Gamma-Verteilung mit diesen spezifischen Eigenschaften aussieht."
• Der Computer berechnet sofort genau, wie man die versteckten Räume (die Phasen) einrichtet, um diese Form perfekt anzupassen.

Es ist wie eine magische Form, die den versteckten Flur sofort an jedes gewünschte Zeitmuster anpasst, ohne das langsame Ratespiel.

Das Werkzeug: msmbayes

Der Autor hat diese gesamte Methode in ein neues Software-Tool namens msmbayes (verfügbar in R) verpackt.

• Was es tut: Es ermöglicht Forschern, komplexe Karten von Gesundheitszuständen zu erstellen, selbst wenn die Daten spärlich und unregelmäßig sind.
• Warum es stabil ist: Manchmal sind die Daten so schwach, dass der Computer verwirrt wird und abstürzt (ein Problem namens „Nicht-Identifizierbarkeit"). Dieses Tool verwendet Bayessche Statistik, was dem Computer wie ein „Hinweis" auf Basis dessen dient, was wir bereits aus früheren Studien wissen. Dies stabilisiert die Berechnung und stellt sicher, dass ein Ergebnis erzeugt wird, selbst wenn die Daten unscharf sind.

Der Beweis: Tests und Anwendung in der Praxis

Der Autor hat diese Methode auf zwei Arten getestet:

1. Simulation: Sie erstellten gefälschte Daten, bei denen sie die „wahre" Antwort kannten, führten die Software aus und bestätigten, dass sie jedes Mal die richtige Antwort fand.
2. Echte Daten: Sie wandten sie auf eine Studie über kognitive Funktionen bei älteren Erwachsenen an (die ELSA-Studie). Sie verfolgten, wie sich Menschen zwischen verschiedenen Niveaus der Gedächtnisleistung und dem Tod bewegten.
   • Die Standardmethode (Markov) ging davon aus, dass das Sterberisiko konstant ist, sobald man sich in einem bestimmten Gedächtniszustand befindet.
   • Die neue Methode (Semi-Markov) zeigte, dass sich das Risiko tatsächlich ändert, je nachdem, wie lange man sich in diesem Zustand befindet.
   • Die Ergebnisse zeigten, dass die neue Methode eine etwas bessere Anpassung an die Daten lieferte und realistischere Schätzungen dafür gab, wie lange Menschen in verschiedenen kognitiven Zuständen verbleiben.

Zusammenfassung

Dieses Paper stellt ein neues, stabiles und einfach zu bedienendes Software-Tool vor, das Wissenschaftlern ermöglicht zu modellieren, wie sich Menschen zwischen verschiedenen Lebenszuständen (wie Gesundheit zu Krankheit) bewegen, selbst wenn sie sie nur gelegentlich überprüfen. Dies geschieht, indem komplexe Zeitmuster in einfache „versteckte Schritte" zerlegt und ein schnelles mathematisches Rezept zur Einrichtung verwendet wird, wodurch fortgeschrittene Modellierung für alle zugänglich wird.

Technische Zusammenfassung

Technisches Fazit: Stabile und praktische semi-Markov-Modellierung intermittierend beobachteter Daten

Problemstellung
Multi-State-Modelle sind Standardwerkzeuge zur Analyse kategorialer Variablen, die sich über die Zeit verändern, insbesondere in biomedizinischen Kontexten, in denen Daten „intermittierend beobachtet" werden (Paneldaten). Bei solchen Daten sind die genauen Zeitpunkte des Eintritts in und des Austritts aus Zuständen unbekannt, ebenso wie die spezifischen Pfade zwischen den Beobachtungspunkten. Traditionell stützen sich diese Modelle auf die Markov-Annahme, wonach Übergangsraten unabhängig von der im aktuellen Zustand verbrachten Zeit sind. Diese Annahme ist jedoch oft unrealistisch; in vielen biologischen Prozessen hängt das Übergangsrisiko von der Dauer des aktuellen Zustands (Verweildauer) ab.

Die Lockerung der Markov-Annahme zur Erstellung von semi-Markov-Modellen für Paneldaten ist rechnerisch herausfordernd. Bestehende Methoden sehen sich erheblichen Hürden gegenüber:

1. Integration über latente Zeiten: Die numerische Integration über nicht beobachtete Übergangszeiten wird mit zunehmender Anzahl nicht beobachteter Übergänge rechnerisch prohibitiv.
2. Nichtparametrische Schätzer: Diese sind häufig auf azyklische Übergangsstrukturen (keine Zyklen) beschränkt.
3. Simulationsbasierte Ansätze: Methoden wie benutzerdefinierte MCMC- oder stochastische EM-Algorithmen existieren, fehlen jedoch eine allgemeine Software-Implementierung.
4. Phasentyp-Modelle: Obwohl Titman und Sharples vorgeschlagen haben, Phasentyp-Verteilungen zu verwenden, um semi-Markov-Modelle als Hidden-Markov-Modelle (HMMs) auszudrücken und so eine einfache Likelihood-Berechnung über den Forward-Algorithmus zu ermöglichen, führt dieser Ansatz zu einer Vermehrung latenter Parameter. Dies führt häufig zu schlechter Identifizierbarkeit, wodurch Optimierungsalgorithmen scheitern, insbesondere bei spärlichen intermittierenden Daten. Frühere Versuche, diese Modelle einzuschränken (z. B. Titman [28]), beruhten auf intensiver numerischer Optimierung und ad-hoc-Spline-Wahlen zur Approximation Standardverteilungen (Weibull, Gamma) und fehlten eine allgemeine, stabile Software-Implementierung.

Methodik
Der Artikel schlägt ein neues rechnerisches Rahmenwerk vor, um eine stabile semi-Markov-Modellierung für allgemeine Zustandsstrukturen zugänglich zu machen. Die Kernmethodik umfasst drei Hauptkomponenten:

1. Phasentyp-Approximation via Momentenabgleich:
   Anstatt numerische Optimierung zur Approximation Standardverteilungen zu verwenden, wenden die Autoren ein schnelles analytisches Verfahren an. Sie nutzen eine spezifische Familie von Coxian-Phasentyp-Verteilungen (inspiriert von Bobbio, Horváth und Telek [5]), die durch eine Sequenz latenter Phasen definiert ist.

   • Die Methode passt die ersten drei Momente (Mittelwert, Varianz und drittes Moment) einer Zielverteilung (Gamma oder Weibull) an eine Phasentyp-Verteilung an.
   • Dies liefert eindeutige geschlossene Ausdrücke für die Phasentyp-Übergangsintensitäten als Funktion der Form- und Skalierungsparameter der Zielverteilung.
   • Dieser Ansatz beschränkt die Phasentyp-Familie auf eine mit Eigenschaften ähnlicherer, einfacherer Verteilungen, wodurch der Parameterraum reduziert und die Identifizierbarkeit im Vergleich zu einem vollständig flexiblen Phasentyp-Modell verbessert wird.

2. Erweiterung auf Kovariaten:
   Das Rahmenwerk erweitert die Approximation, um Kovariaten auf zwei Arten einzubeziehen:

   • Verweildauer: Kovariaten beeinflussen den Skalierungsparameter der Verweilzeitverteilung über ein Accelerated-Failure-Time-Modell (AFT). Dies wird implementiert, indem alle Übergangsintensitäten innerhalb der latenten Phasensequenz mit demselben Faktor skaliert werden.
   • Wahrscheinlichkeiten des nächsten Zustands: Kovariaten beeinflussen die Wahrscheinlichkeit, in spezifische nachfolgende Zustände überzugehen, mittels einer multinomialen logistischen Regression. Dies ermöglicht, dass das relative Risiko verschiedener Austrittsziele unabhängig von der Verweildauer mit den Kovariaten variiert.

3. Software-Implementierung (msmbayes):
   Die Methode ist in einem neuen R-Paket, msmbayes, implementiert. Das Paket unterstützt:

   • Allgemeine Zustands-Übergangsstrukturen (einschließlich Zyklen).
   • Sowohl Maximum-Likelihood-Schätzung (via Quasi-Newton-Optimierung) als auch Bayessche Schätzung (via Hamiltonian Monte Carlo unter Verwendung von Stan).
   • Die Nutzung von Prior-Informationen zur Stabilisierung der Schätzung in Fällen schwacher Identifizierbarkeit, ein häufiges Problem bei Multi-State-Modellierung mit intermittierenden Daten.

Hauptergebnisse
Der Artikel validiert die Methodik durch simulationsbasierte Kalibrierung und eine reale Anwendung:

• Simulationsbasierte Kalibrierung:

  • Genauigkeit: MCMC-Stichproben aus dem msmbayes-Paket erzeugten Posterior-Verteilungen, die Tests zur simulationsbasierten Kalibrierung (uniforme Rangstatistiken) bestanden, was die Korrektheit der Implementierung bestätigt.
  • Laplace-Approximation: Die Laplace-Approximation (Posterior-Modus + Hesse-Matrix) erwies sich als erheblich schneller (ca. 1 % der MCMC-Laufzeit), führte jedoch zu Verzerrungen bei Formparametern und Log-Odds des nächsten Zustands, insbesondere durch Unterschätzung der Unsicherheit. Sie bot jedoch eine vernünftige Approximation für Markov-Modelle.
  • Stabilität: In Szenarien, in denen die Maximum-Likelihood-Schätzung (MLE) nicht konvergierte (z. B. 76 % der simulierten Datensätze für ein Markov-Modell mit schwacher Identifizierbarkeit), produzierte der Bayessche Ansatz erfolgreich konvergierte Posteriors, die vom Prior dominiert wurden, und lieferte eine gültige Charakterisierung der Unsicherheit, wo MLE scheiterte.

• Anwendung auf kognitive Funktion (ELSA-Daten):

  • Die Methode wurde auf die „English Longitudinal Study of Ageing" (ELSA) angewendet, um Übergänge zwischen Zuständen kognitiver Funktion und Tod zu modellieren.
  • Ein Standard-Markov-Modell mit vielen Parametern erwies sich als praktisch nicht identifizierbar und lieferte unrealistisch große Standardfehler.
  • Das semi-Markov-Modell (unter Verwendung von 5-Phasen-Weibull/Gamma-Approximationen) zeigte eine bescheidene Verbesserung der Anpassung (niedrigerer penalisierter Log-Likelihood-Wert) und offenbarte, dass die Hazardrate des Übergangs mit der Zeit seit dem Zustandeintritt abnimmt (Formparameter < 1).
  • Kovariateneffekte (Alter, Geschlecht, Bildung) wurden unter Verwendung von Bayesschen Priors, die aus externen Mortalitätsdaten abgeleitet wurden, mit größerer Stabilität geschätzt.

Bedeutung und Behauptungen
Der Artikel behauptet, die erste allgemeine Software-Implementierung für eine stabile semi-Markov-Modellierung intermittierend beobachteter Daten mit beliebigen Übergangsstrukturen zu liefern. Seine Hauptbeiträge sind:

1. Zugänglichkeit: Er verwandelt die semi-Markov-Modellierung von einer Nischenaufgabe mit hohem rechnerischem Aufwand in einen praktischen Arbeitsablauf, der über das R-Paket msmbayes zugänglich ist.
2. Stabilität: Durch die Verwendung von Momentenabgleich, um Phasentyp-Verteilungen auf vertraute Familien (Gamma/Weibull) einzuschränken, mildert die Methode die Identifizierbarkeitsprobleme, die allgemeine Phasentyp-Modelle plagen, insbesondere wenn Daten spärlich sind.
3. Nützlichkeit der Bayesschen Schätzung: Sie zeigt, dass Bayessche Schätzung entscheidend ist, um Inferenz in komplexen Multi-State-Modellen zu stabilisieren, in denen Likelihood-Oberflächen flach sind oder die Optimierung scheitert.
4. Flexibilität: Der Ansatz bewältigt allgemeine Übergangsstrukturen (einschließlich reversibler Übergänge) und Kovariaten, die sowohl Verweildauern als auch Wahrscheinlichkeiten des nächsten Zustands beeinflussen.

Die Autoren erkennen Einschränkungen an, darunter die rechnerischen Kosten von Matrix-Exponentialen für große Zustandsräume (gemildert durch die Verwendung von Laplace-Approximationen oder weniger Phasen) und die Annahme, dass Wahrscheinlichkeiten des nächsten Zustands unabhängig von der Verweildauer sind. Sie stellen fest, dass die Methode, obwohl sie die Exponentialannahme verbessert, weiterhin eine parametrische Approximation bleibt und die Modellprüfung für derartige komplexe, intermittierend beobachtete Daten nach wie vor herausfordernd ist.