Bayesian local clustering of functional data via semi-Markovian random partitions

Aquí presento un resumen técnico detallado del artículo "Bayesian local clustering of functional data via semi-Markovian random partitions" en español.

Resumen Técnico: Agrupamiento Local de Datos Funcionales mediante Particiones Aleatorias Semi-Markovianas

1. Planteamiento del Problema

El análisis de datos funcionales (FDA) busca agrupar curvas o superficies que varían sobre un dominio continuo. La mayoría de los métodos existentes se centran en el agrupamiento global, donde cada observación funcional se asigna a un único grupo para todo su dominio. Sin embargo, en muchas aplicaciones reales, las curvas pueden exhibir comportamientos homogéneos en ciertas regiones del dominio pero divergentes en otras.

El problema central abordado es el agrupamiento local: permitir que una sola observación funcional pertenezca a diferentes grupos dependiendo de la posición en su dominio. Los desafíos clave incluyen:

• Definir una estructura de dependencia que capture la continuidad local sin ser demasiado rígida.
• Aprovechar las propiedades de soporte local de las bases de splines (B-splines) para identificar similitudes parciales.
• Superar las limitaciones de los modelos de particiones dependientes actuales (como los modelos de Markov ocultos o procesos de partición temporal de primer orden) que no capturan adecuadamente la estructura de orden superior inherente a las bases B-spline.

2. Metodología Propuesta

Los autores proponen un marco jerárquico bayesiano que combina la expansión en bases B-spline con un nuevo modelo de partición aleatoria dependiente.

A. Expansión en B-splines y Agrupamiento Indirecto

• Las curvas $y_i(x)$ se aproximan mediante una expansión en B-splines de grado $d$: $y_i(x) \approx \sum_{k=1}^K b_k(x)\theta_{ik}$.
• En lugar de agrupar las curvas completas, el modelo asigna etiquetas de grupo locales a los coeficientes de la base ($\theta_{ik}$).
• Se introduce una matriz de etiquetas locales $C$, donde $c_{ik}$ indica el grupo al que pertenece el coeficiente $k$-ésimo de la curva $i$.
• Propiedad clave: Gracias al soporte local de los B-splines, dos curvas son localmente idénticas en un subintervalo si comparten $d+1$ coeficientes contiguos. Esto permite un agrupamiento "parcialmente coincidente".

B. Modelo de Partición Aleatoria Semi-Markoviana (smRPM)
Para modelar la evolución de las etiquetas $c_{ik}$ a lo largo del índice de la base $k$, los autores proponen el smRPM, que generaliza el modelo de Partición Aleatoria Temporal (tRPM) de Page et al. (2022).

• Dependencia de Orden Superior ($d_\rho$): A diferencia de los modelos Markovianos que solo dependen del paso anterior, el smRPM introduce una dependencia de orden $d_\rho$. Esto significa que la asignación de un coeficiente en el paso $k$ depende de los pasos anteriores hasta $d_\rho$.
  • Se definen variables latentes binarias $\gamma_{ik}$ que indican si la unidad $i$ está "bloqueada" (no puede ser reasignada) durante los siguientes $d_\rho$ pasos.
  • La elección de $d_\rho$ se alinea con el grado del B-spline para garantizar que la estructura de dependencia coincida con la propiedad de soporte local de la base.
• Dependencia en las Variables Auxiliares ($d_\gamma$): Se propone una segunda orden de dependencia para las variables $\gamma_{ik}$, modeladas mediante un modelo autorregresivo logístico. Esto permite que la probabilidad de "bloquear" una reasignación dependa de la historia reciente de las variables auxiliares, aumentando la flexibilidad del modelo.
• Inferencia: Se utiliza un muestreador de Gibbs para la inferencia posterior, derivando distribuciones condicionales completas para las particiones, las variables auxiliares y los hiperparámetros.

C. Prior para los Coeficientes
Se define una distribución previa jerárquica para los coeficientes de la base ($\theta^*_{kj}$) que penaliza las diferencias entre coeficientes contiguos dentro de un mismo grupo, asegurando la suavidad de las curvas resultantes y manejando la fusión de grupos entre bases adyacentes.

3. Contribuciones Clave

1. Novedad en Modelado de Particiones: Introducción del smRPM, un modelo de partición aleatoria que relaja la suposición de dependencia Markoviana de primer orden, permitiendo dependencias de orden superior ($d_\rho > 1$) tanto en la evolución de las particiones como en las variables latentes que las guían.
2. Alineación con B-splines: La propuesta de alinear el orden de dependencia del modelo ($d_\rho$) con el grado del B-spline utilizado. Esto es teóricamente fundamentado en la propiedad de que $d+1$ coeficientes contiguos determinan la función en un subintervalo.
3. Flexibilidad y Generalización: El modelo no solo es aplicable a datos funcionales, sino que ofrece un marco general para problemas donde las secuencias de particiones dependientes son centrales, superando las restricciones de los modelos HMM o tRPM estándar.
4. Inferencia Eficiente: Desarrollo de un algoritmo de MCMC (Gibbs) que, paradójicamente, muestra tiempos de ejecución competitivos o incluso más rápidos que modelos de menor orden cuando se aumenta el grado de dependencia $d_\rho$, debido a la reducción en la necesidad de actualizar ciertas variables latentes.

4. Resultados Empíricos

Los autores validan el método mediante estudios de simulación y un caso de estudio real:

• Estudios de Simulación:

  • Se comparó el smRPM con el tRPM (Markoviano) y el modelo de agrupamiento funcional local basado en HMM (HMFLCM).
  • Rendimiento: El smRPM con $d_\rho$ y $d_\gamma$ ajustados al grado del B-spline (ej. 3 para cúbicos) superó consistentemente a los modelos de primer orden en términos del Índice de Rand Ajustado (ARI) y el error cuadrático medio (RMSE).
  • Robustez: El modelo demostró ser robusto frente a la especificación incorrecta del número de nodos o el grado del spline, aunque un sobreajuste (más bases) fue preferible a un subajuste.
  • Comparación: En escenarios de datos funcionales, el smRPM superó al HMFLCM, especialmente en tamaños de muestra pequeños, y mostró una mejor capacidad para detectar cambios locales.

• Aplicación Real: Mareas de la Laguna de Venecia

  • Se analizaron datos de nivel de marea de 11 estaciones.
  • Hallazgos: El modelo detectó comportamientos globales (cuando el sistema MOSE de protección contra inundaciones no estaba activo) y comportamientos locales complejos (cuando el sistema estaba activo o durante tormentas).
  • Ventaja Local: A diferencia del agrupamiento global, el modelo identificó que una estación específica mantenía un comportamiento único (grupo rojo) durante todo el intervalo, mientras que otras estaciones cambiaban de grupo dinámicamente (grupos azul y amarillo) en respuesta a eventos específicos (mareas altas).
  • Incertidumbre: El enfoque bayesiano proporcionó distribuciones posteriores sobre el número de grupos, capturando la incertidumbre en la estructura de agrupamiento, algo que los métodos puntuales no hacen.

5. Significado e Impacto

Este trabajo representa un avance significativo en la estadística no paramétrica bayesiana y el análisis de datos funcionales:

• Superación de Limitaciones: Resuelve la rigidez de los modelos de primer orden que no pueden capturar la naturaleza de "ventana deslizante" de la similitud en datos funcionales.
• Marco General: El smRPM se presenta como una herramienta versátil que puede aplicarse más allá de los datos funcionales, en cualquier contexto donde las particiones evolucionen en secuencia con dependencias de orden superior (ej. series temporales espaciales, genómica).
• Interpretabilidad: Al permitir el agrupamiento local, el modelo ofrece una interpretación más rica y matizada de los datos, capaz de distinguir entre tendencias globales y anomalías o patrones transitorios locales, lo cual es crucial en aplicaciones como la gestión de riesgos ambientales (ej. inundaciones en Venecia).

En conclusión, la propuesta combina la flexibilidad de las bases B-spline con una estructura de dependencia de particiones de orden superior, ofreciendo una solución superior para la detección de patrones locales en datos funcionales complejos.