Semi-parametric bulk and tail regression using spline-based neural networks

Resumen Técnico: Regresión Semi-paramétrica para Extremos (SPQRx)

1. Planteamiento del Problema

La regresión de cuantiles extremos es fundamental para la evaluación de riesgos en campos como la economía, la seguros y la modelización de desastres naturales. El enfoque estándar actual asume que los excesos de una variable de respuesta $Y$ por encima de un umbral alto $u(x)$ siguen una distribución de Pareto Generalizada (GP) con parámetros dependientes de las covariables.

Sin embargo, este enfoque paramétrico presenta dos limitaciones críticas:

1. Selección de umbral: Requiere estimar un umbral intermedio $u(x)$, lo que introduce incertidumbre y dificulta la interpretabilidad, especialmente en entornos de regresión donde el umbral varía con las covariables.
2. Falta de flexibilidad en la "masa" (bulk): Los modelos paramétricos tradicionales no modelan adecuadamente la parte central (masa) y las colas inferiores de la distribución, asumiendo formas paramétricas rígidas que pueden no ajustarse a datos complejos.

Por otro lado, los métodos no paramétricos o semi-paramétricos existentes, como la Regresión Cuantílica Semi-paramétrica (SPQR) basada en redes neuronales, ofrecen gran flexibilidad para la masa de la distribución y la interpolación, pero fallan en la extrapolación más allá del rango de los datos observados y no cumplen con las garantías asintóticas de la Teoría de Valores Extremos (EVT), lo que los hace inadecuados para modelar colas pesadas o predecir eventos extremos raros.

Objetivo: Desarrollar un modelo de regresión de densidad que sea flexible en la masa de la distribución, cumpla con la EVT en las colas, permita la extrapolación fiable sin necesidad de seleccionar un umbral intermedio y sea interpretable.

2. Metodología Propuesta

Los autores proponen un nuevo marco llamado Regresión Cuantílica Semi-paramétrica para Extremos (SPQRx), que combina la flexibilidad de las redes neuronales con la teoría de valores extremos mediante tres componentes clave:

A. Distribución Pareto Generalizada Mezclada (bGP)
Se introduce una nueva distribución univariante, la blended Generalized Pareto (bGP), que modela la totalidad de los datos (desde la masa hasta la cola superior) sin necesidad de un umbral fijo.

• Estructura: Mezcla una distribución "masa" flexible (en el cuerpo) con una distribución GP en la cola superior.
• Transición: Utiliza una función de ponderación suave (basada en una distribución Beta) para transicionar entre la masa y la cola en un intervalo $[a, b]$.
• Garantía EVT: La cola superior de la distribución bGP es exactamente una distribución GP, cumpliendo así con las propiedades asintóticas necesarias para la extrapolación, mientras que la masa se modela de forma no paramétrica.

B. Integración con SPQR (SPQRx)
Para la componente de la "masa" de la distribución, se utiliza el marco SPQR (Xu y Reich, 2021):

• Representación: La densidad condicional se representa como una combinación convexa de funciones base M-spline.
• Redes Neuronales: Los pesos de esta combinación se modelan mediante una red neuronal de múltiples capas (MLP) que toma las covariables como entrada.
• Extensión: En SPQRx, la red neuronal modela simultáneamente:
  1. Los pesos de los splines para la masa ($W(x)$).
  2. El parámetro de forma $\xi(x)$ de la cola GP.
• Salida: La red produce una distribución condicional completa que es flexible en el cuerpo y sigue la ley de Pareto Generalizada en la cola.

C. Inferencia y Entrenamiento

• Optimización: Se utiliza el algoritmo Adam para minimizar la verosimilitud negativa logarítmica de la densidad bGP condicional.
• Estabilización: Se emplean técnicas de pre-entrenamiento (entrenar primero un modelo SPQR puro y usar sus pesos como inicialización) y penalizaciones L1 para evitar inestabilidades numéricas, especialmente cuando el parámetro de forma $\xi(x)$ es negativo o cuando los datos de prueba exceden el rango de entrenamiento.
• Interpretabilidad: Se utilizan Efectos Locales Acumulados (ALE) para calcular la importancia relativa de las variables. Esto permite distinguir cómo las covariables afectan a la masa de la distribución versus cómo afectan a la forma de la cola (a través de $\xi(x)$).

3. Contribuciones Clave

1. Distribución bGP: Introducción de una nueva distribución univariante que modela conjuntamente la masa y la cola superior, eliminando la necesidad de seleccionar un umbral intermedio $u(x)$ y garantizando colas GP exactas.
2. Marco SPQRx: Desarrollo de un método de regresión de densidad "todo en uno" que es EVT-compliant. Combina la flexibilidad de las redes neuronales para la masa con la robustez teórica de la EVT para la extrapolación.
3. Interpretabilidad Diferenciada: Capacidad de evaluar la importancia de las variables de forma separada para la masa y la cola, revelando que diferentes covariables pueden influir en la probabilidad de eventos extremos de manera distinta a como influyen en los eventos comunes.

4. Resultados

Estudio de Simulación:

• Se comparó SPQRx contra el SPQR estándar y modelos de regresión GP profunda (Deep GP).
• Rendimiento: SPQRx superó consistentemente a SPQR en la estimación de colas pesadas (menor distancia de Wasserstein integrada en la cola, tIWD).
• Extrapolación: A diferencia de SPQR, que no puede predecir valores fuera del rango de entrenamiento, SPQRx logró extrapolaciones precisas hacia la cola superior.
• Importancia de Variables: El modelo recuperó correctamente la estructura de dependencia de las covariables, identificando variables irrelevantes y cuantificando su impacto en diferentes niveles de cuantiles.

Aplicación: Áreas Quemadas por Incendios Forestales en EE. UU. (1990-2020)

• Datos: Más de 10,000 incendios con áreas quemadas > 1000 acres.
• Hallazgos:
  • Flexibilidad: SPQRx capturó la alta curtosis y las colas pesadas de los datos mejor que los modelos paramétricos puros.
  • Extrapolación Exitosa: El modelo pudo predecir probabilidades y densidades para los dos incendios más extremos del conjunto de prueba (2017 y 2020), los cuales estaban fuera del rango de los datos de entrenamiento. SPQR estándar falló en estos casos al no poder manejar valores fuera de soporte.
  • Importancia de Variables: La humedad relativa mínima ($rmin$) y la precipitación (actual y del año anterior) fueron las variables más importantes para predecir la distribución del área quemada, superando a la temperatura máxima en importancia relativa en periodos recientes.
  • Evolución Temporal: Se observó un aumento en la importancia de las variables de sequía y un aumento en el parámetro de forma $\xi(x)$ a lo largo del tiempo, sugiriendo que los incendios están volviéndose más extremos (colas más pesadas).
  • Diferencias Masa vs. Cola: Las covariables afectan de manera diferente a la masa y a la cola de la distribución, lo que subraya la necesidad de modelos que no asuman una estructura paramétrica única para toda la distribución.

5. Significado e Impacto

El trabajo de Majumder y Richards representa un avance significativo en la estadística de valores extremos y el aprendizaje automático:

• Superación de Limitaciones: Resuelve el dilema clásico entre la flexibilidad de los modelos no paramétricos (buenos para la masa, malos para la extrapolación) y la rigidez de los modelos paramétricos (buenos para la extrapolación, malos para la masa).
• Sin Selección de Umbral: Elimina la complejidad y la incertidumbre asociadas con la elección del umbral $u(x)$, un problema persistente en la teoría de valores extremos aplicada.
• Aplicabilidad Práctica: Ofrece una herramienta robusta para la gestión de riesgos en escenarios donde los datos son escasos en las colas pero abundantes en la masa, permitiendo predicciones fiables de eventos catastróficos (como megaincendios o inundaciones) basadas en condiciones meteorológicas y covariables complejas.
• Interpretabilidad: Al integrar métricas de IA explicable (XAI) como los ALE, permite a los tomadores de decisiones entender no solo cuándo ocurrirá un evento extremo, sino qué factores están impulsando la severidad de la cola de la distribución.

En conclusión, SPQRx establece un nuevo estándar para la regresión de densidades condicionales en entornos de alto riesgo, combinando lo mejor de la teoría estadística clásica (EVT) con la potencia de las redes neuronales modernas.