Conformal prediction for high-dimensional functional time series: Applications to subnational mortality

Este artículo propone un enfoque agnóstico al modelo y libre de distribución mediante predicción conformada (dividida y secuencial) para cuantificar la incertidumbre en series temporales funcionales de alta dimensión, demostrando su eficacia mediante la construcción de intervalos de predicción para la mortalidad subnacional en Japón y Canadá.

Lo esencial

Imagina que eres un meteorólogo, pero en lugar de predecir si lloverá mañana, estás intentando predecir cuántas personas morirán en diferentes ciudades de Japón y Canadá, año tras año, para cada edad y cada sexo.

El problema es que el futuro es incierto. Si solo das un número exacto (por ejemplo, "morirán 100 personas"), te arriesgas a estar muy equivocado. Lo que necesitas es un rango de seguridad: "Es muy probable que entre 90 y 110 personas mueran".

Este artículo trata sobre cómo crear esos rangos de seguridad de una manera muy inteligente y robusta, usando una técnica llamada Predicción Conformal.

Aquí te lo explico con analogías sencillas:

1. El Problema: Las "Reglas del Juego" a veces fallan

Normalmente, para hacer estas predicciones, los estadísticos usan modelos matemáticos complejos (como si fueran recetas de cocina muy específicas).

• El riesgo: Si la receta está mal escrita (el modelo está mal especificado) o si los ingredientes cambian de repente (cambios en la población), tu predicción puede salir mal. Además, calcular estos modelos a veces es como intentar resolver un rompecabezas de un millón de piezas: consume muchísima energía y tiempo.

2. La Solución: "La Prueba de Fuego" (Predicción Conformal)

En lugar de confiar ciegamente en una receta matemática, los autores proponen un método que es como un juez imparcial. No le importa qué receta usaste, solo le importa si tus predicciones pasaron la prueba de la realidad.

Imagina que tienes dos formas de hacer esta prueba:

Método A: El "Entrenamiento con Examen" (Predicción Conformal Dividida)

Imagina que eres un entrenador de fútbol.

1. Entrenamiento: Tomas a tus jugadores y los entrenas durante 20 años (datos antiguos).
2. Examen de Práctica: Luego, los pones a jugar un partido de práctica (datos de validación) para ver qué tan bien funcionan. Si fallan mucho, ajustas tus tácticas.
3. El Partido Real: Finalmente, juegas contra el equipo rival (datos futuros).

• El problema de este método: Si el partido de práctica fue muy corto o no se pareció al partido real, tus tácticas pueden fallar. Además, desperdicias tiempo y jugadores en el examen que no juegan en el partido real. En el artículo, ven que este método a veces es demasiado optimista y cree que sus predicciones son mejores de lo que realmente son.

Método B: El "Entrenador que Aprende en Vivo" (Predicción Conformal Secuencial)

Este es el favorito de los autores. Imagina un entrenador que nunca deja de aprender.

1. No hace un examen separado.
2. Cada vez que termina un partido (un año nuevo), mira lo que pasó.
3. Si sus predicciones fallaron un poco, ajusta su "brújula" inmediatamente para el siguiente partido.
4. Usa una especie de "memoria a corto plazo" (como un auto que recuerda los últimos 5 giros para predecir el siguiente) para ajustar sus predicciones en tiempo real.

• La ventaja: No desperdicia datos en un examen. Se adapta constantemente. Es como un conductor que ajusta la dirección del coche milímetro a milímetro mientras maneja, en lugar de planear toda la ruta antes de salir y esperar que no haya tráfico.

3. El Experimento: ¿Qué pasó con los datos de Japón?

Los autores tomaron datos reales de mortalidad de las 47 prefecturas de Japón (desde Hokkaido en el norte hasta Okinawa en el sur) durante casi 50 años.

• Lo que descubrieron:
  • El Método A (Entrenamiento/Examen) a veces fallaba en predecir el futuro a largo plazo. Sus "redes de seguridad" eran demasiado estrechas, como si dijera: "Estoy 95% seguro de que lloverá", pero en realidad solo llovió el 90% de las veces.
  • El Método B (Aprendizaje en Vivo) fue más conservador. A veces decía: "Estoy 95% seguro", y de hecho, llovió el 97% de las veces.
  • ¿Por qué es bueno ser conservador? Porque en temas de salud y mortalidad, es mejor tener una red de seguridad un poco más grande (que cubra más posibilidades) que una muy pequeña donde la realidad se escape. El método secuencial dio mejores resultados generales porque se adaptaba mejor a los cambios inesperados.

4. La Analogía Final: El Paraguas

Imagina que quieres predecir si necesitas un paraguas.

• El modelo tradicional dice: "Basado en la física de las nubes, hay un 95% de probabilidad de lluvia". Pero si la física está mal, te mojas.
• La predicción dividida dice: "Miré cómo llovió la semana pasada y calculé que necesitas un paraguas". Pero si la semana pasada fue atípica, te mojas.
• La predicción secuencial (la ganadora) dice: "He estado mirando el cielo cada hora. Si veo una gota, ajusto mi probabilidad inmediatamente. Mi paraguas es un poco más grande de lo necesario, pero casi nunca me mojo".

Conclusión

El artículo nos dice que, para predecir cosas complejas que cambian con el tiempo (como la mortalidad en muchas ciudades a la vez), es mejor usar un sistema que aprenda y se ajuste en tiempo real (Secuencial) en lugar de uno que se quede quieto y haga un examen de práctica (Dividido).

Es como decir: "No confíes ciegamente en la teoría; observa lo que pasa, ajusta tu brújula y mantén tu paraguas un poco más abierto para estar seguro".

Resumen técnico

Aquí presento un resumen técnico detallado del artículo en español, estructurado según los componentes solicitados:

Título: Predicción Conformal para Series Temporales Funcionales de Alta Dimensión: Aplicaciones a la Mortalidad Subnacional

1. Planteamiento del Problema

La cuantificación de la incertidumbre en el pronóstico de series temporales de funciones aleatorias (series temporales funcionales) es un desafío fundamental. Los métodos tradicionales suelen basarse en modelos estadísticos específicos para generar intervalos de predicción, lo que los hace vulnerables a:

• Especificación incorrecta del modelo (model misspecification).
• Sesgo de selección.
• Validez limitada en muestras finitas.

Aunque el bootstrapping puede mitigar algunos de estos problemas, a menudo es computacionalmente costoso. El problema se agrava en el contexto de Series Temporales Funcionales de Alta Dimensión (HDFTS), donde el número de secciones transversales ($N$, por ejemplo, prefecturas o provincias) excede el número de observaciones temporales ($T$). La literatura existente se ha centrado principalmente en un número pequeño de series funcionales, dejando un vacío en la cuantificación de la incertidumbre para HDFTS.

2. Metodología

El autor propone un enfoque agnóstico al modelo y libre de distribución basado en la Predicción Conformal para construir intervalos de predicción en HDFTS.

A. Descomposición de los Datos (HDFTS):
Para manejar la estructura de los datos (tasas de mortalidad logarítmicas por edad, sexo y región), se utilizan dos descomposiciones exactas que no pierden información:

1. ANOVA Funcional de un Vía: Descompone la serie en un efecto global funcional, un efecto de fila funcional (región/prefectura) y un término de error dependiente del tiempo. Se utiliza la "pulido de medianas funcionales" (functional median polish) por su robustez ante valores atípicos.
2. Modelo de Factores Funcionales: Extiende los modelos de factores matriciales al dominio funcional, descomponiendo la serie en factores latentes, cargas factoriales funcionales y errores. Se estima el número de factores mediante un criterio de información.

B. Métodos de Predicción Conformal:
Se estudian y comparan dos variantes adaptadas a series temporales funcionales:

1. Predicción Conformal Dividida (Split Conformal Prediction):
   • Divide los datos en conjuntos de entrenamiento, validación y prueba.
   • Utiliza el conjunto de validación para calibrar parámetros de ajuste (como la desviación estándar o cuantiles empíricos) y asegurar que la cobertura empírica coincida con el nivel nominal.
   • Construye intervalos para el conjunto de prueba basados en esta calibración.
2. Predicción Conformal Secuencial (Sequential Conformal Prediction):
   • Elimina la necesidad de un conjunto de validación separado.
   • Actualiza los cuantiles predictivos de los residuos absolutos secuencialmente a medida que llegan nuevos datos.
   • Utiliza un proceso autorregresivo (regresión cuantílica) sobre los residuos absolutos pasados para predecir el cuantil de un paso adelante, ajustando dinámicamente los intervalos.

C. Evaluación:
Se emplea un esquema de ventana expansiva (expanding-window) para generar pronósticos de 1 a 10 pasos hacia adelante. Las métricas de evaluación incluyen:

• Probabilidad de Cobertura Empírica (ECP): Frecuencia con la que el valor real cae dentro del intervalo.
• Diferencia de Probabilidad de Cobertura (CPD): Desviación de la cobertura nominal.
• Puntuación del Intervalo Medio (Mean Interval Score): Una métrica que penaliza tanto la falta de cobertura como la amplitud excesiva de los intervalos (equilibrio entre cobertura y nitidez).

3. Contribuciones Clave

• Primera aplicación de Predicción Conformal en HDFTS: Este es el primer estudio que examina la incertidumbre de pronóstico bajo un escenario de series temporales funcionales de alta dimensión.
• Comparativa de métodos agnósticos: Establece una comparación rigurosa entre la predicción conformal dividida y la secuencial en un contexto de mortalidad subnacional.
• Recomendación metodológica: Identifica que la predicción conformal secuencial es superior en este contexto específico, ya que evita la pérdida de datos por división y se adapta mejor a la dinámica temporal sin necesidad de calibración estática en un conjunto de validación.
• Reproducibilidad: Se proporciona código abierto para la implementación de estos métodos.

4. Resultados

El estudio se aplica a datos de mortalidad logarítmica por edad y sexo de 47 prefecturas de Japón (1975-2023) y, como análisis de sensibilidad, a 12 provincias de Canadá (1950-2016).

• Rendimiento de la Cobertura (ECP):
  • La Predicción Conformal Dividida tiende a subestimar la probabilidad de cobertura, especialmente en horizontes de pronóstico más largos ($h=3$ a $h=7$), debido a que la calibración en el conjunto de validación no siempre es óptima para los datos de prueba futuros.
  • La Predicción Conformal Secuencial tiende a sobreestimar ligeramente la cobertura (siendo conservadora), manteniendo una ECP más cercana o superior al nivel nominal (95%).
• Puntuación del Intervalo (Sharpness vs. Coverage):
  • A pesar de ser conservadora, la predicción secuencial logra puntuaciones de intervalo medio más bajas (mejor rendimiento) que la versión dividida.
  • Esto indica que, en la práctica, es más beneficioso tener intervalos ligeramente más amplios que aseguren la cobertura (sobreestimación) que intervalos más estrechos que fallen en cubrir la realidad (subestimación).
• Robustez: Los resultados se mantienen consistentes tanto para datos de Japón como de Canadá, y para ambos sexos, utilizando diferentes métodos de pronóstico de componentes principales (ARIMA y ETS).

5. Significado e Implicaciones

• Gestión de la Incertidumbre: El trabajo ofrece una herramienta robusta para la planificación de políticas públicas y actuariales, permitiendo evaluar escenarios futuros de mortalidad con intervalos de confianza válidos sin depender de supuestos distribucionales estrictos.
• Eficiencia Computacional y Práctica: La predicción conformal secuencial se presenta como una solución superior para datos de alta dimensión donde el tamaño de la muestra temporal es limitado, eliminando la necesidad de sacrificar datos para la validación.
• Extensibilidad: El marco metodológico es flexible y puede extenderse para modelar conjuntamente ambos sexos (aumentando la dimensionalidad) o utilizando otros modelos de series temporales para la dependencia de los residuos, abriendo nuevas vías de investigación en el análisis de datos funcionales masivos.

En conclusión, el artículo demuestra que la predicción conformal secuencial es el método preferido para cuantificar la incertidumbre en series temporales funcionales de alta dimensión, ofreciendo un equilibrio óptimo entre cobertura garantizada y precisión del intervalo en escenarios de muestras finitas.