Stable and practical semi-Markov modelling of intermittently-observed data

Dit artikel introduceert een praktisch semi-Markov-modelleringskader voor intermitterend waargenomen data door verblijftijden te benaderen met fase-typeverdelingen om flexibele likelihood-berekening mogelijk te maken, en biedt een nieuw R-pakket, "msmbayes", om deze aanpak te implementeren via Bayesiaanse of maximum-likelihood-schatting.

De kern

Het Grote Plaatje: Het Bijhouden van Veranderingen in het Leven

Stel je voor dat je probeert de gezondheid van een persoon in de loop van de tijd te volgen. Je controleert ze af en toe – misschien eens per jaar of om de paar maanden. Je wilt weten: Hoe lang blijven ze in een 'gezonde' toestand voordat ze ziek worden? En zodra ze ziek zijn, hoe lang duurt het voordat ze herstellen of overlijden?

In de statistiek heet dit een multi-state model. Het is als een kaart met verschillende kamers (toestanden) en deuren (overgangen) ertussen.

Het Probleem: De 'Geheugen'-Val

De meeste standaardkaarten gaan ervan uit dat de kans om een kamer te verlaten alleen afhangt van de kamer waarin je je op dat moment bevindt. Dit heet de Markov-aanneming. Het is alsof je zegt: "Als je in de 'Ziek'-kamer bent, is de kans om te vertrekken morgen 50%, ongeacht of je net binnenkwam of er al een jaar bent."

Maar in het echte leven speelt tijd een rol. Als je al lang ziek bent, is de kans misschien groter dat je beter wordt (of slechter) dan wanneer je net ziek bent geworden. Dit is een Semi-Markov-model, waarbij de 'klok' binnen de kamer telt.

De Vangst: Omdat we mensen slechts af en toe controleren (intermitterende data), weten we niet precies wanneer ze een kamer binnenkwamen. We weten alleen dat ze in januari in Kamer A waren en in juni in Kamer B. We weten niet of ze in februari of mei ziek werden. Dit maakt het ongelooflijk moeilijk om de 'klok' binnen de kamer te berekenen.

De Oude Oplossingen: Te Traag of Te Star

Wetenschappers hebben dit eerder geprobeerd op te lossen, maar de hulpmiddelen waren ofwel:

1. Te traag: Proberen elke mogelijke route die de persoon tussen controles heeft afgelegd te raden, is als proberen elk zandkorreltje op een strand te tellen om er één specifieke te vinden.
2. Te star: Sommige methoden werkten alleen voor zeer eenvoudige kaarten, niet voor de complexe kaarten die in de echte geneeskunde worden gebruikt.
3. Te ingewikkeld: Sommige methoden vereisten aangepaste, moeilijk te gebruiken software die voor de meeste onderzoekers niet beschikbaar was.

De Nieuwe Oplossing: De 'Verborgen Fase'-Truc

De auteur, Christopher Jackson, introduceert een slimme nieuwe manier om dit op te lossen met behulp van een concept dat Phase-Type-verdelingen heet.

De Analogie: Het Hotel met Geheime Gangen
Stel je voor dat een 'Ziek'-kamer niet gewoon één grote kamer is. In plaats daarvan is het eigenlijk een hotel met een lange gang van kleinere, verborgen kamers (fasen) erin.

• Wanneer een persoon de 'Ziek'-toestand binnenkomt, betreedt hij de eerste verborgen kamer.
• Ze bewegen zich één voor één door deze verborgen kamers.
• De tijd die ze in elke verborgen kamer doorbrengen, is eenvoudig en voorspelbaar (zoals een standaardklok).
• Wanneer ze uiteindelijk de laatste verborgen kamer verlaten, verlaten ze de 'Ziek'-toestand.

Door deze eenvoudige verborgen kamers aan elkaar te rijgen, kun je een complexe, realistische 'Ziek'-kamer creëren waarin de doorlooptijd telt (bijvoorbeeld: je bent waarschijnlijker om te vertrekken nadat je 3 verborgen kamers hebt gepasseerd dan na slechts 1).

Waarom dit een game-changer is:
Omdat de beweging tussen deze verborgen kamers eenvoudig is, kunnen computers de wiskunde zeer gemakkelijk berekenen. Het zet een complex 'Semi-Markov'-probleem om in een standaard 'Hidden Markov'-probleem, waar computers al zeer goed in zijn.

De Innovatie: Het 'Moment-Matching'-Recept

Er was eerder een poging om dit idee van de 'verborgen gang' te gebruiken, maar het was alsof je probeerde een taart te bakken door de ingrediënten te raden. Je moest een enorme, trage computeroptelling uitvoeren om uit te zoeken hoe je de verborgen kamers moest rangschikken om een specifieke vorm te matchen (zoals een Weibull- of Gamma-verdeling).

Dit artikel introduceert een snel, analytisch recept (genaamd Moment-Matching).

• In plaats van te raden, biedt de auteur een wiskundige formule.
• Je vertelt de computer: "Ik wil dat de tijd die in deze toestand wordt doorgebracht, eruitziet als een Gamma-verdeling met deze specifieke eigenschappen."
• De computer berekent direct precies hoe de verborgen kamers (de fasen) moeten worden ingesteld om die vorm perfect te matchen.

Het is alsof je een magische mal hebt die direct de verborgen gang vormt naar elk specifiek tijdspatroon dat je nodig hebt, zonder het trage raden.

Het Hulpmiddel: msmbayes

De auteur heeft deze hele methode verpakt in een nieuw softwarehulpmiddel genaamd msmbayes (beschikbaar in R).

• Wat het doet: Het stelt onderzoekers in staat complexe kaarten van gezondheidstoestanden te bouwen, zelfs wanneer de data schaars en onregelmatig is.
• Waarom het stabiel is: Soms is de data zo zwak dat de computer in de war raakt en crasht (een probleem dat 'non-identifiability' wordt genoemd). Dit hulpmiddel maakt gebruik van Bayesiaanse statistiek, wat is alsof je de computer een 'hint' geeft gebaseerd op wat we al weten uit eerdere studies. Dit stabiliseert de berekening, zodat er zelfs bij vage data een resultaat wordt geproduceerd.

Het Bewijs: Testen en Toepassing in de Wereld

De auteur heeft deze methode op twee manieren getest:

1. Simulatie: Ze creëerden nepdata waarbij ze het 'ware' antwoord kenden, draaiden de software en bevestigden dat deze elke keer het juiste antwoord vond.
2. Echte Data: Ze pasten het toe op een studie naar cognitieve functie bij ouderen (de ELSA-studie). Ze volgden hoe mensen zich verplaatsten tussen verschillende niveaus van geheugenvermogen en de dood.
   • De standaardmethode (Markov) ging ervan uit dat het sterfterisico constant was zodra je in een bepaalde geheugentoestand zat.
   • De nieuwe methode (Semi-Markov) toonde aan dat het risico eigenlijk verandert afhankelijk van hoe lang je al in die toestand bent.
   • De resultaten toonden aan dat de nieuwe methode een iets betere fit bood met de data en realistischere schattingen gaf van hoe lang mensen in verschillende cognitieve toestanden blijven.

Samenvatting

Dit artikel bouwt een nieuw, stabiel en gebruiksvriendelijk softwarehulpmiddel dat wetenschappers in staat stelt te modelleren hoe mensen zich verplaatsen tussen verschillende levensfasen (zoals gezondheid naar ziekte), zelfs wanneer ze hen slechts af en toe controleren. Dit doet het door complexe tijdspatronen op te breken in eenvoudige 'verborgen stappen' en een snelle wiskundige formule te gebruiken om ze in te stellen, waardoor geavanceerde modellering voor iedereen toegankelijk wordt.

Technische samenvatting

Technische Samenvatting: Stabiele en Praktische Semi-Markov Modellering van Intermitterend Geobserveerde Data

Probleemstelling
Meer-toestandmodellen zijn standaardtools voor het analyseren van categorische variabelen die in de tijd veranderen, met name in biomedische contexten waar data "intermitterend geobserveerd" zijn (paneldata). In dergelijke data zijn de exacte tijdstippen van instroom en uitstroom uit toestanden onbekend, evenals de specifieke paden die tussen de observatiepunten worden afgelegd. Traditioneel vertrouwen deze modellen op de Markov-aanname, waarbij overgangssnelheden onafhankelijk zijn van de tijd die in de huidige staat wordt doorgebracht. Deze aanname is echter vaak onrealistisch; in veel biologische processen hangt het risico op overgang af van de duur van de huidige staat (verblijftijd).

Het loslaten van de Markov-aanname om semi-Markov-modellen voor paneldata te creëren, is computationeel uitdagend. Bestaande methoden staan voor aanzienlijke hindernissen:

1. Integratie over latente tijden: Numerieke integratie over niet-geobserveerde overgangstijden wordt computationeel onuitvoerbaar naarmate het aantal niet-geobserveerde overgangen toeneemt.
2. Niet-parametrische schatters: Deze zijn vaak beperkt tot acyclische overgangsstructuren (geen cycli).
3. Op simulatie gebaseerde benaderingen: Methodes zoals aangepaste MCMC of stochastische EM-algoritmen bestaan, maar ontbreken een algemene software-implementatie.
4. Fase-type modellen: Hoewel Titman en Sharples hebben voorgesteld fase-type verdelingen te gebruiken om semi-Markov-modellen uit te drukken als Hidden Markov-modellen (HMM's), waardoor een eenvoudige likelihood-berekening via het forward-algoritme mogelijk wordt, introduceert deze aanpak een proliferatie van latente parameters. Dit leidt vaak tot slechte identificeerbaarheid, waardoor optimalisatiealgoritmen falen, met name bij schaarse intermitterende data. Eerdere pogingen om deze modellen te beperken (bijvoorbeeld Titman [28]) maakten gebruik van intensieve numerieke optimalisatie en ad-hoc spline-keuzes om standaardverdelingen (Weibull, Gamma) te benaderen, zonder een algemene, stabiele software-implementatie.

Methodologie
Het artikel stelt een nieuw computationeel kader voor om stabiele semi-Markov-modellering toegankelijk te maken voor algemene toestandsstructuren. De kernmethodologie omvat drie belangrijke componenten:

1. Fase-type Benadering via Momentenmatching:
   In plaats van numerieke optimalisatie te gebruiken om standaardverdelingen te benaderen, hanteren de auteurs een snelle analytische procedure. Zij maken gebruik van een specifieke familie van Coxiaanse fase-type verdelingen (geïnspireerd door Bobbio, Horváth en Telek [5]), gedefinieerd door een reeks latente fasen.

   • De methode matcht de eerste drie momenten (gemiddelde, variantie en derde moment) van een doelverdeling (Gamma of Weibull) met een fase-type verdeling.
   • Dit levert unieke gesloten-vorm expressies op voor de fase-type overgangsinintensiteiten als functie van de vorm- en schaalparameters van de doelverdeling.
   • Deze aanpak beperkt de fase-type-familie tot een met eigenschappen die lijken op eenvoudigere verdelingen, waardoor de parameterruimte wordt verkleind en de identificeerbaarheid wordt verbeterd in vergelijking met een volledig flexibele fase-type model.

2. Uitbreiding naar Covariaten:
   Het kader breidt de benadering uit om covariaten op twee manieren op te nemen:

   • Verblijftijd: Covariaten beïnvloeden de schaalparameter van de verblijftijdsverdeling via een Accelerated Failure Time (AFT)-model. Dit wordt geïmplementeerd door alle overgangsinintensiteiten binnen de latente fase-reeks te schalen met dezelfde factor.
   • Volgende-staat-kansen: Covariaten beïnvloeden de kans op overgang naar specifieke volgende toestanden met behulp van multinomiale logistische regressie. Dit maakt het mogelijk dat het relatieve risico van verschillende uitstroombestemmingen varieert met covariaten, onafhankelijk van de verblijftijd.

3. Software-implementatie (msmbayes):
   De methode is geïmplementeerd in een nieuw R-pakket, msmbayes. Het pakket ondersteunt:

   • Algemene toestands-overgangsstructuren (inclusief cycli).
   • Zowel Maximum Likelihood Schatting (via quasi-Newton-optimalisatie) als Bayesiaanse schatting (via Hamiltonian Monte Carlo met Stan).
   • Het gebruik van priorinformatie om schatting te stabiliseren in gevallen van zwakke identificeerbaarheid, een veelvoorkomend probleem bij meer-toestandmodellering met intermitterende data.

Belangrijkste Resultaten
Het artikel valideert de methodologie via simulatie-gebaseerde kalibratie en een toepassing in de echte wereld:

• Simulatie-gebaseerde Kalibratie:

  • Nauwkeurigheid: MCMC-steekproeven uit het msmbayes-pakket produceerden posterior-verdelingen die geslaagd zijn voor simulatie-gebaseerde kalibratietests (uniforme rangstatistieken), wat de correctheid van de implementatie bevestigt.
  • Laplace-benadering: De Laplace-benadering (posterior-modus + Hessiaan) bleek aanzienlijk sneller (ongeveer 1% van de MCMC-uitvoertijd), maar introduceerde bias in vormparameters en log-odds van de volgende staat, met name door onderschatting van onzekerheid. Het bood echter een redelijke benadering voor Markov-modellen.
  • Stabiliteit: In scenario's waar Maximum Likelihood Schatting (MLE) faalde om te convergeren (bijvoorbeeld 76% van de gesimuleerde datasets voor een Markov-model met zwakke identificeerbaarheid), produceerde de Bayesiaanse aanpak succesvol geconvergeerde posteriors die gedomineerd werden door de prior, waardoor een geldige karakterisering van onzekerheid werd geboden waar MLE faalde.

• Toepassing op Cognitieve Functie (ELSA-data):

  • De methode werd toegepast op de English Longitudinal Study of Ageing (ELSA) om overgangen tussen toestanden van cognitieve functie en overlijden te modelleren.
  • Een standaard Markov-model met veel parameters bleek praktisch niet-identificeerbaar, wat resulteerde in onrealistisch grote standaardfouten.
  • Het semi-Markov-model (met behulp van 5-fase Weibull/Gamma-benaderingen) leverde een bescheiden verbetering in fit op (lagere gepenaliseerde log-likelihood) en onthulde dat het risico op overgang afneemt met de tijd sinds toestandsinstroom (vormparameters < 1).
  • Covariate-effecten (leeftijd, geslacht, opleiding) werden met grotere stabiliteit geschat met behulp van Bayesiaanse priors afgeleid van externe sterftecijferdata.

Betekenis en Claims
Het artikel claimt de eerste algemene software-implementatie te bieden voor stabiele semi-Markov-modellering van intermitterend geobserveerde data met willekeurige overgangsstructuren. De primaire bijdragen zijn:

1. Toegankelijkheid: Het transformeert semi-Markov-modellering van een niche, computationeel moeilijke taak naar een praktische workflow die toegankelijk is via het msmbayes-R-pakket.
2. Stabiliteit: Door momentenmatching te gebruiken om fase-type verdelingen te beperken tot vertrouwde families (Gamma/Weibull), mitigeert de methode de identificeerbaarheidsproblemen die algemene fase-type modellen teisteren, met name wanneer data schaars zijn.
3. Bayesiaanse Nuttigheid: Het demonstreert dat Bayesiaanse schatting cruciaal is voor het stabiliseren van inferentie in complexe meer-toestandmodellen waar likelihood-oppervlakken vlak zijn of optimalisatie faalt.
4. Flexibiliteit: De aanpak behandelt algemene overgangsstructuren (inclusief reversibele overgangen) en covariaten die zowel verblijftijden als volgende-staat-kansen beïnvloeden.

De auteurs erkennen beperkingen, waaronder de computationele kosten van matrix-exponentiënten voor grote toestandsruimtes (gemitigeerd door het gebruik van Laplace-benaderingen of minder fasen) en de aanname dat volgende-staat-kansen onafhankelijk zijn van de verblijftijd. Zij merken op dat hoewel de methode een verbetering biedt ten opzichte van de exponentiële aanname, het een parametrische benadering blijft, en modelcontrole voor dergelijke complexe, intermitterend geobserveerde data uitdagend blijft.