📊 statistics

A Beta-GAM Hidden Markov Model for Proportion Time Series

Este artículo propone un modelo oculto de Markov Beta-GAM para series temporales de proporciones que combina dinámicas de cambio de régimen con efectos flexibles de covariables basados en splines, validado mediante simulación y aplicado a datos de mortalidad rusos para identificar regímenes estructurales latentes subyacentes a choques históricos de mortalidad.

Autores originales: Andrea Nigri, Han Lin Shang, Marco Bonetti

Publicado 2026-05-11

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Andrea Nigri, Han Lin Shang, Marco Bonetti

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que intentas entender una historia que se cuenta mediante un único número fluctuante, como el porcentaje de defunciones femeninas en un grupo de edad específico a lo largo de muchos años. Este número no solo oscila aleatoriamente; sigue un patrón, pero ese patrón cambia dependiendo del "estado de ánimo" de la época. A veces la historia es tranquila y predecible; otras veces, es caótica y volátil.

Los autores de este artículo han desarrollado una nueva herramienta matemática, un Modelo Oculto de Markov Beta-GAM, para descifrar estas historias. Así es como funciona, explicado mediante analogías sencillas:

1. El narrador "camaleón" (Los regímenes ocultos)

Piensa en los datos (la proporción de defunciones) como un camaleón. El camaleón cambia de color según su entorno, pero no puedes ver el entorno directamente; solo ves el color.

Los estados ocultos: En el modelo del artículo, existen "regímenes" o "estados de ánimo" invisibles (como un estado de ánimo tranquilo frente a uno caótico). Los datos cambian entre estos estados de ánimo a lo largo del tiempo.
El cambio: El modelo determina cuándo la historia pasa de una "era tranquila" a una "era caótica" y viceversa, incluso si el cambio no está marcado explícitamente en los datos.

2. La "regla flexible" (La parte GAM)

Por lo general, cuando los estadísticos intentan describir cómo cambia un número con el tiempo (como la edad), utilizan una regla recta o una curva simple. Pero la vida real rara vez es una línea recta.

La solución: Este modelo utiliza una "regla flexible" hecha de splines (imagina una tira de plástico flexible). Esto permite que el modelo dibuje curvas suaves y onduladas que se ajustan perfectamente a la forma de los datos sin forzarlos a una línea recta.
La ventaja: Puede capturar patrones complejos, como cómo la brecha entre la mortalidad masculina y femenina se amplía en la edad adulta joven y se estrecha más tarde, todo mientras el "estado de ánimo" de la época permanece igual.

3. El "mando de precisión" (La parte Beta)

Los datos que se estudian son una proporción (un número entre 0 y 1, como 0.45 o 0.80).

El mando: Imagina un mando que controla qué tan "estrechos" o "sueltos" están los puntos de datos alrededor del promedio.
- Alta precisión: Los puntos de datos están agrupados estrechamente como un enjambre de pájaros (muy predecible).
- Baja precisión: Los puntos de datos están dispersos como un enjambre de pájaros en una tormenta (muy ruidoso).
La innovación: Este modelo permite que el "mando de precisión" cambie dependiendo de qué "estado de ánimo" (régimen) esté experimentando el sistema. Una época podría ser muy estable (enjambre estrecho), mientras que otra es caótica (enjambre disperso).

4. El "filtro del detective" (Evitando falsas alarmas)

Cuando intentas encontrar estados de ánimo ocultos en los datos, es fácil volverse codicioso e inventar demasiados estados de ánimo (por ejemplo: "¿Quizás hay 5 estados de ánimo en lugar de 2?"). Esto a menudo conduce a resultados sin sentido donde las matemáticas se rompen.

El filtro: Los autores crearon un especial "filtro de degeneración". Es como un inspector de control de calidad. Si el modelo intenta inventar un estado de ánimo que no tiene sentido (por ejemplo, un estado de ánimo tan caótico que las matemáticas explotan), el filtro lo elimina. Esto asegura que la respuesta final sea estable y real, no un fallo matemático.

5. La "red de confianza" (Bootstrap)

¿Cómo sabemos que el modelo es correcto?

El método: Los autores utilizaron una técnica llamada remuestreo (bootstrapping). Imagina que tomaron la historia, desordenaron ligeramente las páginas y volvieron a contar la historia 200 veces. Si el modelo da la misma respuesta cada vez, saben que pueden confiar en él. Si las respuestas saltan salvajemente, saben que deben tener cuidado.

La prueba en el mundo real: Mortalidad en Rusia

Los autores probaron esta herramienta con datos reales: la relación entre las defunciones femeninas y el total de defunciones en Rusia desde 1960 hasta 2014.

Lo que encontraron: El modelo identificó con éxito dos eras distintas:
1. La era caótica: Un tiempo con alta volatilidad y una caída profunda en la relación (lo que significa que muchos más hombres morían por accidentes, violencia o alcohol). Esto coincidió con los tiempos turbulentos de la crisis sanitaria soviética tardía y la transición de los años 90.
2. La era estable: Un tiempo con un patrón más suave y predecible donde la relación era más alta y menos volátil.
El resultado: El modelo no solo dijo "cambió"; mostró cómo cambió la forma de la mortalidad relacionada con la edad durante estas diferentes eras y proporcionó una línea de tiempo clara de cuándo ocurrieron los cambios.

Resumen

En resumen, este artículo introduce una forma inteligente y flexible de analizar porcentajes que cambian con el tiempo. Combina tres ideas poderosas:

Estados de ánimo ocultos: Encuentra cambios invisibles en el comportamiento de los datos.
Formas flexibles: Dibuja curvas suaves y complejas para ajustar los datos perfectamente.
Filtrado inteligente: Evita que las matemáticas se rompan rechazando soluciones imposibles.

El resultado es una herramienta que puede contar la historia de cómo evolucionan los patrones de salud de una población, distinguiendo entre tiempos de estabilidad y tiempos de crisis, incluso cuando los datos son desordenados.

Resumen Técnico: Un Modelo Oculto de Markov Beta-GAM para Series Temporales de Proporciones

Planteamiento del Problema
El artículo aborda la modelización de series temporales de proporciones univariadas que toman valores en el intervalo abierto $(0, 1)$ . Este tipo de datos son prevalentes en economía, finanzas y demografía (por ejemplo, ratios de mortalidad, distribuciones de ofertas, participaciones de ingresos). Los enfoques existentes enfrentan limitaciones: los Modelos Ocultos de Markov (HMM) estándar suelen asumir parámetros de emisión constantes dentro de los estados latentes, lo que impide capturar estructuras dependientes de covariables. Por el contrario, los Modelos Aditivos Generalizados con Cambio de Régimen (MS-GAM) permiten efectos suaves de las covariables, pero no están diseñados específicamente para datos de proporciones acotadas, los cuales requieren una distribución que respete el soporte $(0, 1)$ y maneje adecuadamente la heterocedasticidad. Los autores proponen un marco que integra la flexibilidad de los GAM con las capacidades de cambio de régimen de los HMM, adaptado específicamente para emisiones distribuidas según una ley Beta.

Metodología
El modelo propuesto es un Modelo Oculto de Markov donde la variable observada $y_t$ sigue una distribución Beta condicionada a un estado latente $z_t = k$ . La distribución Beta se parametriza mediante una media específica del estado $\mu_{kt}$ y una precisión específica del estado $\phi_k$ .

Distribución de Emisión:
La distribución condicional es $y_t | z_t = k \sim \text{Beta}(\mu_{kt}\phi_k, (1-\mu_{kt})\phi_k)$ .
La media $\mu_{kt}$ se vincula a las covariables $x_t$ mediante una transformación logística de un predictor aditivo:
$\text{logit}(\mu_{kt}) = \eta_{kt} = \sum_{j=1}^p f_{kj}(x_{tj})$
donde cada $f_{kj}(\cdot)$ es una función suave estimada utilizando expansiones de base de B-splines cúbicos. La precisión $\phi_k$ es constante dentro de un estado pero varía entre estados, permitiendo una variabilidad dependiente del régimen.
Estimación (Algoritmo EM Penalizado):
Los parámetros $\Theta = (\pi, A, \{\beta_k\}, \{\phi_k\})$ se estiman mediante un algoritmo de Esperanza-Maximización (EM) penalizado.
- Paso E: Calcula recursiones hacia adelante-hacia atrás para obtener las probabilidades posteriores suavizadas de los estados latentes ( $\gamma_{tk}$ ) y las transiciones de estado ( $\xi_{tij}$ ). Los cálculos se realizan en escala logarítmica para garantizar la estabilidad numérica.
- Paso M: Maximiza la verosimilitud logarítmica esperada de los datos completos penalizada. Se aplica una penalización cuadrática (P-splines) a los coeficientes de las B-splines $\beta_k$ para controlar la suavidad y evitar el sobreajuste. A diferencia del EM estándar, el paso M no produce actualizaciones de forma cerrada para los parámetros de emisión; en su lugar, emplea optimización numérica (L-BFGS-B) para maximizar la función Q penalizada para cada estado de forma independiente. Esto constituye un algoritmo EM Generalizado.
Selección de Modelo y Diagnósticos:
Los autores introducen una búsqueda en cuadrícula de dos etapas para seleccionar el número de estados latentes $K$ y la penalización de suavizado $\lambda$ .
- Filtro de Diagnóstico: Para abordar el problema de soluciones degeneradas (donde una sobreespecificación de $K$ conduce a estados con ocupación negligible y estimaciones de precisión explosivas), se aplica un criterio de diagnóstico. Los modelos se marcan y descartan si las estimaciones de precisión alcanzan un límite superior o si las diferencias entre las estimaciones de precisión ordenadas muestran "explosiones" abruptas.
- Criterios de Selección: Entre los modelos no degenerados, el $K$ y $\lambda$ óptimos se seleccionan utilizando criterios de información (AIC, BIC, ICL) que emplean grados de libertad efectivos (EDF) en lugar de conteos brutos de parámetros para tener en cuenta la contracción inducida por la penalización. El procedimiento selecciona $\lambda$ dentro de cada $K$ utilizando AIC (menos conservador) y selecciona $K$ utilizando BIC (más conservador), con una preferencia por estructuras más ricas si los modelos caen dentro de dos unidades de BIC.
Cuantificación de la Incertidumbre:
Los intervalos de confianza para las probabilidades de transición y los parámetros dependientes del estado se derivan mediante un procedimiento de bootstrap paramétrico, simulando nuevos conjuntos de datos a partir del modelo ajustado y reestimando los parámetros.

Contribuciones Clave
El artículo realiza cuatro contribuciones metodológicas principales:

Integración de GAM y Beta-HMM: Incrusta GAM basados en B-splines dentro de un HMM con emisión Beta, permitiendo que la media condicional varíe de forma no lineal con las covariables dentro de cada régimen latente, manteniendo al mismo tiempo una precisión específica del estado.
Estimación Penalizada Frecuentista: Adopta un enfoque EM penalizado en lugar de uno totalmente bayesiano, evitando la especificación de priores para coeficientes de splines de alta dimensión y ofreciendo eficiencia computacional para muestras grandes.
Filtrado Diagnóstico para Degeneración: Introduce un criterio de diagnóstico específico para detectar y excluir soluciones degeneradas que surgen de estados latentes sobreespecificados, un problema común en HMM flexibles.
Derivaciones Analíticas: Proporciona derivaciones analíticas explícitas para la verosimilitud de los datos completos y las derivadas de la verosimilitud logarítmica penalizada, estableciendo una base matemática formal para la rutina de estimación.

Resultados

Estudio de Simulación: Un estudio de Monte Carlo con $T=2,500$ y $K=4$ demuestra que el modelo recupera con precisión la dinámica de transición, las precisiones de estado y la decodificación de estados latentes (precisión de Viterbi $\approx 93.2\%$ ). El procedimiento de selección de dos etapas identifica con éxito el número correcto de estados y los niveles de suavizado apropiados. El método permanece estable incluso bajo tamaños de muestra reducidos ( $T=1,500$ ) y menor persistencia de estado, aunque las métricas de rendimiento se degradan como se espera.
Aplicación Empírica: El modelo se aplica a datos de mortalidad específica por edad de Rusia (1960–2014, edades 0–40), modelando la ratio de mortalidad femenina respecto a la total. El modelo seleccionado identifica dos regímenes latentes persistentes:
- Estado 1: Un régimen más disperso con un valle más profundo en el rango de edad de adulto joven (15–35), asociado con períodos de mortalidad masculina en exceso elevada y volátil.
- Estado 2: Un régimen altamente concentrado con un valle más superficial, que representa un patrón de mortalidad más estable.
  La secuencia decodificada por Viterbi sugiere una transición del régimen disperso al concentrado a finales de la década de 1960, con el régimen concentrado prevaleciendo a partir de entonces, lo que coincide con los cambios demográficos históricos en Rusia (por ejemplo, la crisis de salud soviética tardía y la subsiguiente recuperación).

Significado y Afirmaciones
Los autores afirman que el Beta-GAM HMM propuesto ofrece un equilibrio práctico entre flexibilidad, interpretabilidad y tratabilidad computacional para el análisis de series temporales de proporciones. El marco separa con éxito la dinámica de régimen latente de los efectos de covariables que varían suavemente. La inclusión de un filtro de diagnóstico se destaca como un paso crucial para garantizar la estabilidad y la interpretabilidad del modelo, particularmente cuando el número de estados es desconocido. La aplicación a los datos de mortalidad de Rusia ilustra la capacidad del modelo para resumir patrones de edad suaves mientras identifica cambios estructurales sustancialmente significativos impulsados por eventos históricos. El artículo concluye que la metodología proporciona una herramienta robusta para describir y monitorear cambios estructurales en proporciones demográficas, con intervalos de confianza de bootstrap estrechos que indican una cuantificación de la incertidumbre fiable.