Stable and practical semi-Markov modelling of intermittently-observed data

Cet article présente un cadre de modélisation semi-markovien pratique pour des données observées de manière intermittente en approximant les temps de séjour par des distributions de type phase afin de permettre un calcul flexible de la vraisemblance, et propose un nouveau package R, « msmbayes », pour mettre en œuvre cette approche par estimation bayésienne ou par maximum de vraisemblance.

L'essentiel

La vue d'ensemble : Suivre les changements de la vie

Imaginez que vous essayez de suivre l'état de santé d'une personne au fil du temps. Vous prenez de ses nouvelles occasionnellement — peut-être une fois par an ou tous les quelques mois. Vous voulez savoir : Combien de temps restent-ils dans un état « sain » avant de tomber malades ? Et une fois malades, combien de temps s'écoule avant qu'ils ne guérissent ou ne décèdent ?

En statistiques, cela s'appelle un modèle multi-états. C'est comme une carte avec différentes pièces (états) et des portes (transitions) entre elles.

Le problème : Le piège de la « mémoire »

La plupart des cartes standard supposent que la probabilité de quitter une pièce dépend uniquement de la pièce dans laquelle vous vous trouvez actuellement. C'est ce qu'on appelle l'hypothèse de Markov. C'est comme dire : « Si vous êtes dans la pièce « Malade », la probabilité de partir est de 50 % demain, peu importe si vous venez d'y entrer ou si vous y êtes depuis un an. »

Mais dans la vie réelle, le temps compte. Si vous êtes malade depuis longtemps, vous pourriez avoir plus de chances de vous rétablir (ou d'empirer) que si vous venez juste de tomber malade. C'est un modèle Semi-Markovien, où l'« horloge » à l'intérieur de la pièce compte.

Le hic : Comme nous ne prenons des nouvelles des personnes que de façon intermittente (données intermittentes), nous ne savons pas exactement quand elles sont entrées dans une pièce. Nous savons seulement qu'elles étaient dans la Pièce A en janvier et dans la Pièce B en juin. Nous ne savons pas si elles sont tombées malades en février ou en mai. Cela rend le calcul de l'« horloge » à l'intérieur de la pièce incroyablement difficile.

Les anciennes solutions : Trop lentes ou trop rigides

Les scientifiques ont déjà essayé de résoudre ce problème, mais les outils étaient soit :

1. Trop lents : Essayer de deviner chaque chemin possible emprunté par la personne entre deux contrôles, c'est comme essayer de compter chaque grain de sable sur une plage pour en trouver un spécifique.
2. Trop rigides : Certaines méthodes ne fonctionnaient que pour des cartes très simples, pas pour celles complexes utilisées en médecine réelle.
3. Trop compliquées : Certaines méthodes nécessitaient des logiciels personnalisés, difficiles à utiliser et non disponibles pour la plupart des chercheurs.

La nouvelle solution : L'astuce de la « phase cachée »

L'auteur, Christopher Jackson, présente une nouvelle façon intelligente de résoudre ce problème en utilisant un concept appelé distributions de type phase.

L'analogie : L'hôtel avec des couloirs secrets
Imaginez qu'une pièce « Malade » n'est pas juste une grande pièce. En fait, c'est un hôtel avec un long couloir de petites pièces cachées (phases) à l'intérieur.

• Lorsqu'une personne entre dans l'état « Malade », elle entre dans la première pièce cachée.
• Elle traverse ces pièces cachées une par une.
• Le temps passé dans chaque pièce cachée est simple et prévisible (comme une horloge standard).
• Lorsqu'elle sort enfin de la dernière pièce cachée, elle quitte l'état « Malade ».

En enchaînant ces pièces cachées simples, vous pouvez créer une pièce « Malade » complexe et réaliste où le temps passé compte (par exemple, vous avez plus de chances de partir après avoir traversé 3 pièces cachées qu'après seulement 1).

Pourquoi c'est un tournant :
Parce que le mouvement entre ces pièces cachées est simple, les ordinateurs peuvent calculer les mathématiques très facilement. Cela transforme un problème complexe « Semi-Markovien » en un problème « Markovien caché » standard, que les ordinateurs savent déjà très bien résoudre.

L'innovation : La recette « d'ajustement des moments »

Il y avait une tentative précédente d'utiliser cette idée de « couloir caché », mais c'était comme essayer de faire un gâteau en devinant les ingrédients. Vous deviez lancer une recherche informatique massive et lente pour déterminer comment agencer les pièces cachées afin de correspondre à une forme spécifique (comme une distribution de Weibull ou Gamma).

Ce document présente une recette analytique rapide (appelée ajustement des moments).

• Au lieu de deviner, l'auteur fournit une formule mathématique.
• Vous dites à l'ordinateur : « Je veux que le temps passé dans cet état ressemble à une distribution Gamma avec ces propriétés spécifiques. »
• L'ordinateur calcule instantanément exactement comment configurer les pièces cachées (les phases) pour correspondre parfaitement à cette forme.

C'est comme avoir un moule magique qui façonne instantanément le couloir caché pour s'adapter à n'importe quel motif temporel spécifique dont vous avez besoin, sans le jeu de devinettes lent.

L'outil : msmbayes

L'auteur a emballé toute cette méthode dans un nouvel outil logiciel appelé msmbayes (disponible dans R).

• Ce qu'il fait : Il permet aux chercheurs de construire des cartes complexes d'états de santé, même lorsque les données sont clairsemées et irrégulières.
• Pourquoi il est stable : Parfois, les données sont si faibles que l'ordinateur se perd et plante (un problème appelé « non-identifiabilité »). Cet outil utilise les statistiques bayésiennes, ce qui revient à donner à l'ordinateur un « indice » basé sur ce que nous savons déjà d'études précédentes. Cela stabilise le calcul, garantissant qu'il produit un résultat même lorsque les données sont floues.

La preuve : Tests et utilisation réelle

L'auteur a testé cette méthode de deux manières :

1. Simulation : Ils ont créé de fausses données où ils connaissaient la « vraie » réponse, ont lancé le logiciel et confirmé qu'il trouvait la bonne réponse à chaque fois.
2. Données réelles : Ils l'ont appliqué à une étude sur la fonction cognitive chez les personnes âgées (l'étude ELSA). Ils ont suivi comment les personnes passaient entre différents niveaux de capacité de mémoire et la mort.
   • La méthode standard (Markov) supposait que le risque de décès était constant une fois dans un certain état de mémoire.
   • La nouvelle méthode (Semi-Markov) a montré que le risque changeait en réalité en fonction de la durée passée dans cet état.
   • Les résultats ont montré que la nouvelle méthode offrait un ajustement légèrement meilleur aux données et fournissait des estimations plus réalistes de la durée pendant laquelle les personnes restent dans différents états cognitifs.

Résumé

Ce document construit un nouvel outil logiciel stable et facile à utiliser qui permet aux scientifiques de modéliser comment les personnes passent d'un état de vie à un autre (comme de la santé à la maladie), même lorsqu'ils ne prennent de leurs nouvelles que de façon occasionnelle. Il y parvient en décomposant des motifs temporels complexes en « étapes cachées » simples et en utilisant une recette mathématique rapide pour les configurer, rendant ainsi la modélisation avancée accessible à tous.

Résumé technique

Résumé technique : Modélisation semi-markovienne stable et pratique de données observées de manière intermittente

Énoncé du problème
Les modèles multi-états sont des outils standards pour l'analyse de variables catégorielles évoluant dans le temps, en particulier dans les contextes biomédicaux où les données sont « observées de manière intermittente » (données de panel). Dans de telles données, les moments exacts d'entrée et de sortie des états sont inconnus, tout comme les trajectoires spécifiques empruntées entre les points d'observation. Traditionnellement, ces modèles reposent sur l'hypothèse markovienne, selon laquelle les taux de transition sont indépendants du temps passé dans l'état actuel. Cependant, cette hypothèse est souvent irréaliste ; dans de nombreux processus biologiques, le risque de transition dépend de la durée de l'état actuel (temps de séjour).

L'assouplissement de l'hypothèse markovienne pour créer des modèles semi-markoviens adaptés aux données de panel pose des défis computationnels majeurs. Les méthodes existantes se heurtent à des obstacles significatifs :

1. Intégration sur des temps latents : L'intégration numérique sur les temps de transition non observés devient prohibitivement coûteuse en calcul à mesure que le nombre de transitions non observées augmente.
2. Estimateurs non paramétriques : Ceux-ci sont souvent limités aux structures de transition acycliques (sans cycles).
3. Approches basées sur la simulation : Des méthodes telles que des algorithmes MCMC personnalisés ou des algorithmes EM stochastiques existent, mais manquent d'une implémentation logicielle généralisée.
4. Modèles de type phase : Bien que Titman et Sharples aient proposé d'utiliser des distributions de type phase pour exprimer les modèles semi-markoviens sous forme de modèles de Markov cachés (HMM), permettant un calcul aisé de la vraisemblance via l'algorithme de forward, cette approche introduit une prolifération de paramètres latents. Cela conduit souvent à une mauvaise identifiabilité, provoquant l'échec des algorithmes d'optimisation, en particulier avec des données intermittentes éparses. Les tentatives précédentes pour contraindre ces modèles (par exemple, Titman [28]) reposaient sur une optimisation numérique intensive et des choix de splines ad hoc pour approximer des distributions standards (Weibull, Gamma), sans implémentation logicielle générale et stable.

Méthodologie
L'article propose un nouveau cadre computationnel pour rendre la modélisation semi-markovienne stable accessible pour des structures d'états générales. La méthodologie centrale comprend trois composantes clés :

1. Approximation de type phase par appariement de moments :
   Au lieu d'utiliser une optimisation numérique pour approximer des distributions standards, les auteurs emploient une procédure analytique rapide. Ils utilisent une famille spécifique de distributions de type phase de Coxian (inspirée de Bobbio, Horváth et Telek [5]) définie par une séquence de phases latentes.

   • La méthode fait correspondre les trois premiers moments (moyenne, variance et troisième moment) d'une distribution cible (Gamma ou Weibull) à une distribution de type phase.
   • Cela produit des expressions analytiques uniques pour les intensités de transition de type phase en fonction des paramètres de forme et d'échelle de la distribution cible.
   • Cette approche restreint la famille de type phase à une famille possédant des propriétés similaires à des distributions plus simples, réduisant ainsi l'espace des paramètres et améliorant l'identifiabilité par rapport à un modèle de type phase entièrement flexible.

2. Extension aux covariables :
   Le cadre étend l'approximation pour inclure des covariables de deux manières :

   • Temps de séjour : Les covariables influencent le paramètre d'échelle de la distribution du temps de séjour via un modèle de temps de défaillance accéléré (AFT). Cela est mis en œuvre en multipliant toutes les intensités de transition au sein de la séquence de phases latentes par un même facteur.
   • Probabilités d'état suivant : Les covariables influencent la probabilité de transition vers des états subséquents spécifiques en utilisant une régression logistique multinomiale. Cela permet au risque relatif des différentes destinations de sortie de varier avec les covariables indépendamment du temps de séjour.

3. Implémentation logicielle (msmbayes) :
   La méthode est implémentée dans un nouveau package R, msmbayes. Le package prend en charge :

   • Des structures générales de transition d'états (y compris les cycles).
   • À la fois l'estimation du maximum de vraisemblance (via une optimisation de type quasi-Newton) et l'estimation bayésienne (via un Monte Carlo par chaînes de Hamilton utilisant Stan).
   • L'utilisation d'informations a priori pour stabiliser l'estimation dans les cas d'identifiabilité faible, un problème courant dans la modélisation multi-états avec des données intermittentes.

Résultats clés
L'article valide la méthodologie par une calibration basée sur la simulation et une application réelle :

• Calibration basée sur la simulation :

  • Précision : Les échantillons MCMC issus du package msmbayes ont produit des distributions a posteriori ayant passé les tests de calibration basés sur la simulation (statistiques de rang uniformes), confirmant la correction de l'implémentation.
  • Approximation de Laplace : L'approximation de Laplace (mode a posteriori + Hessien) s'est révélée nettement plus rapide (environ 1 % du temps d'exécution MCMC) mais a introduit un biais dans les paramètres de forme et les rapports de cotes logarithmiques des états suivants, sous-estimant particulièrement l'incertitude. Cependant, elle a fourni une approximation raisonnable pour les modèles markoviens.
  • Stabilité : Dans les scénarios où l'estimation du maximum de vraisemblance (MLE) n'a pas convergé (par exemple, 76 % des jeux de données simulés pour un modèle markovien à identifiabilité faible), l'approche bayésienne a produit avec succès des distributions a posteriori convergées dominées par l'a priori, fournissant une caractérisation valide de l'incertitude là où le MLE a échoué.

• Application à la fonction cognitive (données ELSA) :

  • La méthode a été appliquée à l'English Longitudinal Study of Ageing (ELSA) pour modéliser les transitions entre les états de fonction cognitive et le décès.
  • Un modèle markovien standard avec de nombreux paramètres s'est révélé pratiquement non identifiable, produisant des erreurs standards irréalistement grandes.
  • Le modèle semi-markovien (utilisant des approximations Weibull/Gamma à 5 phases) a apporté une amélioration modeste de l'ajustement (log-vraisemblance pénalisée plus faible) et a révélé que le risque de transition diminue avec le temps écoulé depuis l'entrée dans l'état (paramètres de forme < 1).
  • Les effets des covariables (âge, sexe, éducation) ont été estimés avec plus de stabilité en utilisant des priors bayésiens dérivés de données de mortalité externes.

Signification et affirmations
L'article revendique fournir la première implémentation logicielle générale pour une modélisation semi-markovienne stable de données observées de manière intermittente avec des structures de transition arbitraires. Ses contributions principales sont :

1. Accessibilité : Il transforme la modélisation semi-markovienne d'une tâche de niche, difficile sur le plan computationnel, en un flux de travail pratique accessible via le package R msmbayes.
2. Stabilité : En utilisant l'appariement de moments pour contraindre les distributions de type phase à des familles familières (Gamma/Weibull), la méthode atténue les problèmes d'identifiabilité qui affectent les modèles de type phase généraux, en particulier lorsque les données sont éparses.
3. Utilité bayésienne : Il démontre que l'estimation bayésienne est cruciale pour stabiliser l'inférence dans des modèles multi-états complexes où les surfaces de vraisemblance sont plates ou où l'optimisation échoue.
4. Flexibilité : L'approche gère des structures de transition générales (y compris les transitions réversibles) et des covariables affectant à la fois les temps de séjour et les probabilités d'état suivant.

Les auteurs reconnaissent des limitations, notamment le coût computationnel des exponentielles de matrice pour de grands espaces d'états (atténué par l'utilisation d'approximations de Laplace ou de moins de phases) et l'hypothèse que les probabilités d'état suivant sont indépendantes du temps de séjour. Ils notent que, bien que la méthode améliore l'hypothèse exponentielle, elle reste une approximation paramétrique, et que la vérification du modèle pour de telles données complexes et observées de manière intermittente demeure difficile.