Stable and practical semi-Markov modelling of intermittently-observed data

Este artículo introduce un marco de modelado semimarkoviano práctico para datos observados intermitentemente mediante la aproximación de los tiempos de permanencia con distribuciones de tipo fase para permitir un cálculo flexible de la verosimilitud, y proporciona un nuevo paquete de R, "msmbayes", para implementar este enfoque mediante estimación bayesiana o de máxima verosimilitud.

Lo esencial

La Gran Imagen: Rastreando los Cambios de la Vida

Imagina que estás tratando de rastrear la salud de una persona a lo largo del tiempo. La revisas ocasionalmente, quizás una vez al año o cada pocos meses. Quieres saber: ¿Cuánto tiempo permanece en un estado "saludable" antes de enfermarse? Y una vez que se enferma, ¿cuánto tiempo pasa hasta que se recupera o fallece?

En estadística, esto se llama un modelo de múltiples estados. Es como un mapa con diferentes habitaciones (estados) y puertas (transiciones) entre ellas.

El Problema: La Trampa de la "Memoria"

La mayoría de los mapas estándar asumen que la probabilidad de salir de una habitación depende únicamente de en qué habitación te encuentras actualmente. Esto se llama supuesto de Markov. Es como decir: "Si estás en la habitación 'Enfermo', la probabilidad de salir es del 50% mañana, independientemente de si acabas de entrar o llevas allí un año".

Pero en la vida real, el tiempo importa. Si has estado enfermo durante mucho tiempo, es más probable que te mejores (o que empeores) que si acabas de enfermarte. Esto es un modelo Semi-Markov, donde el "reloj" dentro de la habitación importa.

El Truco: Como solo revisamos a las personas ocasionalmente (datos intermitentes), no sabemos exactamente cuándo entraron en una habitación. Solo sabemos que estaban en la Habitación A en enero y en la Habitación B en junio. No sabemos si se enfermaron en febrero o en mayo. Esto hace que sea increíblemente difícil calcular el "reloj" dentro de la habitación.

Las Soluciones Antiguas: Demasiado Lentas o Demasiado Rígidas

Los científicos han intentado resolver esto antes, pero las herramientas eran o bien:

1. Demasiado lentas: Intentar adivinar cada posible ruta que tomó la persona entre revisiones es como intentar contar cada grano de arena en una playa para encontrar uno específico.
2. Demasiado rígidas: Algunos métodos solo funcionaban para mapas muy simples, no para los complejos utilizados en la medicina real.
3. Demasiado complicadas: Algunos métodos requerían software personalizado y difícil de usar que no estaba disponible para la mayoría de los investigadores.

La Nueva Solución: El Truco de la "Fase Oculta"

El autor, Christopher Jackson, introduce una nueva y astuta forma de resolver esto utilizando un concepto llamado distribuciones de tipo fase.

La Analogía: El Hotel con Pasillos Secretos
Imagina que una habitación "Enfermo" no es solo una habitación grande. En cambio, es en realidad un hotel con un largo pasillo de habitaciones más pequeñas y ocultas (fases) en su interior.

• Cuando una persona entra en el estado "Enfermo", entra en la primera habitación oculta.
• Se mueve a través de estas habitaciones ocultas una por una.
• El tiempo que pasan en cada habitación oculta es simple y predecible (como un reloj estándar).
• Cuando finalmente salen de la última habitación oculta, abandonan el estado "Enfermo".

Al encadenar estas habitaciones ocultas simples, puedes crear una habitación "Enfermo" compleja y realista donde el tiempo transcurrido importa (por ejemplo, es más probable que salgas después de pasar por 3 habitaciones ocultas que después de solo 1).

Por qué esto es un cambio de juego:
Como el movimiento entre estas habitaciones ocultas es simple, las computadoras pueden calcular las matemáticas muy fácilmente. Convierte un problema complejo "Semi-Markov" en un problema estándar "Markov Oculto", que las computadoras ya son muy buenas resolviendo.

La Innovación: La Receta de "Ajuste de Momentos"

Hubo un intento anterior de usar esta idea del "pasillo oculto", pero era como intentar hornear un pastel adivinando los ingredientes. Tenías que ejecutar una búsqueda masiva y lenta en la computadora para averiguar cómo organizar las habitaciones ocultas para que coincidieran con una forma específica (como una distribución de Weibull o Gamma).

Este artículo introduce una receta analítica rápida (llamada Ajuste de Momentos).

• En lugar de adivinar, el autor proporciona una fórmula matemática.
• Le dices a la computadora: "Quiero que el tiempo pasado en este estado se parezca a una distribución Gamma con estas propiedades específicas".
• La computadora calcula instantáneamente exactamente cómo configurar las habitaciones ocultas (las fases) para que coincidan perfectamente con esa forma.

Es como tener un molde mágico que da forma instantáneamente al pasillo oculto para adaptarse a cualquier patrón de tiempo específico que necesites, sin el lento juego de adivinanzas.

La Herramienta: msmbayes

El autor ha empaquetado todo este método en una nueva herramienta de software llamada msmbayes (disponible en R).

• Qué hace: Permite a los investigadores construir mapas complejos de estados de salud, incluso cuando los datos son escasos e irregulares.
• Por qué es estable: A veces, los datos son tan débiles que la computadora se confunde y se bloquea (un problema llamado "no identificabilidad"). Esta herramienta utiliza estadística bayesiana, que es como darle a la computadora una "pista" basada en lo que ya sabemos de estudios anteriores. Esto estabiliza el cálculo, asegurando que produzca un resultado incluso cuando los datos son difusos.

La Prueba: Pruebas y Uso en el Mundo Real

El autor probó este método de dos maneras:

1. Simulación: Crearon datos falsos donde conocían la respuesta "verdadera", ejecutaron el software y confirmaron que encontró la respuesta correcta cada vez.
2. Datos Reales: Lo aplicaron a un estudio sobre la función cognitiva en adultos mayores (el estudio ELSA). Rastrearon cómo las personas se movían entre diferentes niveles de capacidad de memoria y la muerte.
   • El método estándar (Markov) asumía que el riesgo de muerte era constante una vez que estabas en cierto estado de memoria.
   • El nuevo método (Semi-Markov) mostró que el riesgo en realidad cambia dependiendo de cuánto tiempo has estado en ese estado.
   • Los resultados mostraron que el nuevo método proporcionó un ajuste ligeramente mejor a los datos y dio estimaciones más realistas sobre cuánto tiempo permanecen las personas en diferentes estados cognitivos.

Resumen

Este artículo construye una nueva herramienta de software estable y fácil de usar que permite a los científicos modelar cómo las personas se mueven entre diferentes estados de vida (como de salud a enfermedad) incluso cuando solo las revisan ocasionalmente. Lo hace descomponiendo patrones de tiempo complejos en "pasos ocultos" simples y utilizando una receta matemática rápida para configurarlos, haciendo que el modelado avanzado sea accesible para todos.

Resumen técnico

Resumen Técnico: Modelado Semi-Markoviano Estable y Práctico de Datos Observados Intermittentemente

Enunciado del Problema
Los modelos de múltiples estados son herramientas estándar para analizar variables categóricas que cambian con el tiempo, particularmente en contextos biomédicos donde los datos son "observados intermitentemente" (datos de panel). En tales datos, los tiempos exactos de entrada y salida de los estados son desconocidos, al igual que las trayectorias específicas tomadas entre los puntos de observación. Tradicionalmente, estos modelos se basan en la suposición de Markov, donde las tasas de transición son independientes del tiempo transcurrido en el estado actual. Sin embargo, esta suposición a menudo es poco realista; en muchos procesos biológicos, el riesgo de transición depende de la duración del estado actual (tiempo de permanencia).

Relajar la suposición de Markov para crear modelos semi-Markovianos para datos de panel es un desafío computacional. Los métodos existentes enfrentan obstáculos significativos:

1. Integración sobre tiempos latentes: La integración numérica sobre los tiempos de transición no observados se vuelve computacionalmente prohibitiva a medida que aumenta el número de transiciones no observadas.
2. Estimadores no paramétricos: A menudo están restringidos a estructuras de transición acíclicas (sin ciclos).
3. Enfoques basados en simulación: Existen métodos como MCMC personalizado o algoritmos EM estocásticos, pero carecen de una implementación de software general.
4. Modelos de tipo fase: Aunque Titman y Sharples propusieron utilizar distribuciones de tipo fase para expresar modelos semi-Markovianos como Modelos Ocultos de Markov (HMM), permitiendo un cálculo fácil de la verosimilitud mediante el algoritmo hacia adelante, este enfoque introduce una proliferación de parámetros latentes. Esto a menudo conduce a una mala identificabilidad, causando que los algoritmos de optimización fallen, particularmente con datos intermitentes dispersos. Los intentos anteriores de restringir estos modelos (por ejemplo, Titman [28]) dependían de una optimización numérica intensiva y de elecciones de splines ad hoc para aproximar distribuciones estándar (Weibull, Gamma), careciendo de una implementación de software general y estable.

Metodología
El artículo propone un nuevo marco computacional para hacer accesible el modelado semi-Markoviano estable para estructuras de estado generales. La metodología central involucra tres componentes clave:

1. Aproximación de Tipo Fase mediante Ajuste de Momentos:
   En lugar de utilizar optimización numérica para aproximar distribuciones estándar, los autores emplean un procedimiento analítico rápido. Utilizan una familia específica de distribuciones de tipo fase de Coxian (inspiradas en Bobbio, Horváth y Telek [5]) definidas por una secuencia de fases latentes.

   • El método iguala los primeros tres momentos (media, varianza y tercer momento) de una distribución objetivo (Gamma o Weibull) con una distribución de tipo fase.
   • Esto produce expresiones cerradas únicas para las intensidades de transición de tipo fase como función de los parámetros de forma y escala de la distribución objetivo.
   • Este enfoque restringe la familia de tipo fase a una con propiedades similares a distribuciones más simples, reduciendo así el espacio de parámetros y mejorando la identificabilidad en comparación con un modelo de tipo fase completamente flexible.

2. Extensión a Covariables:
   El marco extiende la aproximación para incluir covariables de dos maneras:

   • Tiempo de Permanencia: Las covariables influyen en el parámetro de escala de la distribución de permanencia mediante un modelo de Tiempo Acelerado de Fallo (AFT). Esto se implementa escalando todas las intensidades de transición dentro de la secuencia de fases latentes por el mismo factor.
   • Probabilidades del Próximo Estado: Las covariables influyen en la probabilidad de transición a estados subsiguientes específicos utilizando una regresión logística multinomial. Esto permite que el riesgo relativo de diferentes destinos de salida varíe con las covariables independientemente del tiempo de permanencia.

3. Implementación de Software (msmbayes):
   El método está implementado en un nuevo paquete de R, msmbayes. El paquete soporta:

   • Estructuras generales de transición de estados (incluyendo ciclos).
   • Tanto la Estimación de Máxima Verosimilitud (mediante optimización cuasi-Newton) como la estimación bayesiana (mediante Monte Carlo Hamiltoniano utilizando Stan).
   • El uso de información previa para estabilizar la estimación en casos de identificabilidad débil, un problema común en el modelado de múltiples estados con datos intermitentes.

Resultados Clave
El artículo valida la metodología mediante calibración basada en simulación y una aplicación del mundo real:

• Calibración Basada en Simulación:

  • Precisión: Las muestras MCMC del paquete msmbayes produjeron distribuciones posteriores que pasaron las pruebas de calibración basadas en simulación (estadísticas de rango uniformes), confirmando la corrección de la implementación.
  • Aproximación de Laplace: Se encontró que la aproximación de Laplace (modo posterior + Hessiano) era sustancialmente más rápida (aproximadamente el 1% del tiempo de ejecución de MCMC), pero introdujo sesgo en los parámetros de forma y en los log-odds del próximo estado, subestimando particularmente la incertidumbre. Sin embargo, proporcionó una aproximación razonable para los modelos de Markov.
  • Estabilidad: En escenarios donde la Estimación de Máxima Verosimilitud (MLE) falló en converger (por ejemplo, el 76% de los conjuntos de datos simulados para un modelo de Markov con identificabilidad débil), el enfoque bayesiano produjo exitosamente posteriores convergentes dominadas por la previa, proporcionando una caracterización válida de la incertidumbre donde MLE falló.

• Aplicación a la Función Cognitiva (Datos ELSA):

  • El método se aplicó al Estudio Longitudinal Inglés sobre el Envejecimiento (ELSA) para modelar las transiciones entre estados de función cognitiva y muerte.
  • Se encontró que un modelo de Markov estándar con muchos parámetros era prácticamente no identificable, generando errores estándar irrealmente grandes.
  • El modelo semi-Markoviano (utilizando aproximaciones de Weibull/Gamma de 5 fases) proporcionó una mejora modesta en el ajuste (menor log-verosimilitud penalizada) y reveló que el riesgo de transición disminuye con el tiempo desde la entrada al estado (parámetros de forma < 1).
  • Los efectos de las covariables (edad, sexo, educación) se estimaron con mayor estabilidad utilizando previas bayesianas derivadas de datos de mortalidad externos.

Significado y Afirmaciones
El artículo afirma proporcionar la primera implementación de software general para el modelado semi-Markoviano estable de datos observados intermitentemente con estructuras de transición arbitrarias. Sus contribuciones principales son:

1. Accesibilidad: Transforma el modelado semi-Markoviano de una tarea de nicho, computacionalmente difícil, en un flujo de trabajo práctico accesible a través del paquete R msmbayes.
2. Estabilidad: Al utilizar el ajuste de momentos para restringir las distribuciones de tipo fase a familias familiares (Gamma/Weibull), el método mitiga los problemas de identificabilidad que afectan a los modelos generales de tipo fase, particularmente cuando los datos son dispersos.
3. Utilidad Bayesiana: Demuestra que la estimación bayesiana es crucial para estabilizar la inferencia en modelos complejos de múltiples estados donde las superficies de verosimilitud son planas o la optimización falla.
4. Flexibilidad: El enfoque maneja estructuras generales de transición (incluyendo transiciones reversibles) y covariables que afectan tanto a los tiempos de permanencia como a las probabilidades del próximo estado.

Los autores reconocen limitaciones, incluido el costo computacional de las exponenciales de matriz para espacios de estado grandes (mitigado mediante el uso de aproximaciones de Laplace o menos fases) y la suposición de que las probabilidades del próximo estado son independientes del tiempo de permanencia. Señalan que, aunque el método mejora la suposición exponencial, sigue siendo una aproximación paramétrica, y la verificación del modelo para tales datos complejos y observados intermitentemente sigue siendo un desafío.