Resumen Técnico: RareCP – Recuperación Consciente del Régimen para Predicción Conformal Eficiente

Enunciado del Problema

La predicción de series temporales requiere una cuantificación de la incertidumbre (UQ) fiable para la toma de decisiones consciente del riesgo. Aunque la Predicción Conformal (CP) ofrece un marco agnóstico al modelo con garantías de cobertura en muestras finitas bajo el supuesto de intercambiabilidad, este supuesto se viola fundamentalmente por la naturaleza secuencial de los datos de series temporales. Las adaptaciones existentes para manejar la dependencia temporal y la deriva generalmente caen en dos categorías: (1) métodos de incumplimiento adaptativos que ajustan la tasa de cobertura objetivo a lo largo del tiempo, y (2) enfoques de CP ponderada que asignan pesos de calibración basados en la relevancia de la muestra.

Los autores argumentan que estos métodos existentes no logran separar explícitamente dos fuentes centrales de no estacionariedad en los errores de predicción:

1. Distribuciones de error que derivan suavemente: Donde las similitudes residuales evolucionan a medida que cambia el proceso subyacente.
2. Régimenes de error distintos coexistentes: Donde las distribuciones residuales cambian entre contextos distintos en lugar de variar suavemente a lo largo de una única trayectoria.

Los métodos estándar a menudo reaccionan a estos problemas inflando uniformemente los intervalos o confiando en una ponderación de similitud fija, lo que conduce a ineficiencia (intervalos excesivamente amplios) o a una cobertura deficiente durante los cambios de régimen.

Metodología: RareCP

RareCP (Recuperación Consciente del Régimen para Predicción Conformal) se introduce como un adaptador agnóstico al modelo base para modelos de predicción fijos. Calibra los intervalos de predicción recuperando residuos firmados del pasado de regímenes de error localmente relevantes. La arquitectura consta de tres componentes principales:

1. Calibración Local de Residuos Firmados

A diferencia de los métodos que utilizan residuos absolutos, RareCP calibra residuos firmados ($r_i = y_i - \hat{y}_i$). Esto permite que las colas inferior y superior del intervalo de predicción se adapten por separado, habilitando intervalos asimétricos. Dado un contexto de consulta $a_t$, RareCP forma una función de distribución acumulada (CDF) empírica ponderada de los residuos, $\hat{F}_t(\rho)$, y extrae cuantiles para definir el intervalo $C_t = [\hat{y}_t + Q_t(\alpha/2), \hat{y}_t + Q_t(1-\alpha/2)]$.

2. Recuperación Top-$k$ Consciente del Régimen

Para abordar la "estructura de régimen" de los errores, RareCP emplea un mecanismo de recuperación de Mezcla de Expertos (MoE):

• Expertos Condicionados por Hiperred: Se entrenan varios expertos de recuperación de baja capacidad. Cada experto utiliza una hiperred que toma el contexto de consulta actual ($a_t$) y un descriptor del conjunto de datos ($\eta_d$, que contiene el ID del conjunto de datos y estadísticas) para generar un mapa de recuperación afín. Esto permite que la métrica de similitud sea específica tanto para el paso de tiempo actual como para el conjunto de datos.
• Similitud de Atención Coseno: Los expertos normalizan sus claves y consultas mapeadas a la esfera unitaria, utilizando la similitud del coseno para recuperar los $k$ residuos de calibración más relevantes.
• Recuperación Dispersa: Al restringir el soporte a los $k$ vecinos más cercanos, el método impone localidad, reduciendo la masa asignada a regímenes irrelevantes.
• Mezcla de Puerta: Una red de puerta ligera produce pesos de simplex para mezclar las CDFs locales construidas por cada experto. Esto permite que el sistema cambie dinámicamente entre regímenes de error agrupados.

3. Entrenamiento y Optimización

• Objetivo: El modelo se entrena para minimizar una relajación suave de la puntuación de intervalo Winkler.
• Anclaje del Profesor: Para evitar que los mapas de recuperación aprendidos colapsen o se vuelvan inestables, cada hiperred estudiante se ancla a un mapa profesor ligero y preajustado mediante una pérdida de destilación en el espacio de parámetros.
• Dejar Uno Fuera (LOO): El entrenamiento utiliza episodios de calibración LOO donde el objetivo de la consulta se excluye del conjunto de recuperación, reflejando el escenario de tiempo de prueba.
• Corrección de Cobertura: En tiempo de prueba, RareCP se integra con Inferencia Conformal Adaptativa (ACI) para ajustar el nivel de incumplimiento objetivo $\alpha_t$ en línea, corrigiendo la deriva.

Contribuciones Clave

1. Rendimiento Competitivo con Modelos Base: RareCP demuestra que la predicción conformal, cuando se equipa con este mecanismo de recuperación, es competitiva con los intervalos de predicción basados en cuantiles nativos de los modelos fundacionales de series temporales más avanzados (FMs), mientras sigue siendo aplicable a cualquier predictor puntual (incluido ARIMA) que carezca de UQ nativa.
2. Compensación Eficiencia-Cobertura mediante Recuperación: El artículo introduce la recuperación dispersa de residuos para la calibración conformal. Analiza la compensación controlada por $K_n$ (el número de residuos recuperados): un $K_n$ más pequeño mejora la eficiencia al centrarse en el comportamiento local, mientras que un $K_n$ más grande respalda la consistencia asintótica.
3. Arquitectura para Sesgos Estructurales: La arquitectura de recuperación de atención coseno lineal propuesta está diseñada explícitamente para manejar similitudes con deriva temporal y regímenes de error agrupados, evitando la necesidad de pesos de calibración sin restricciones.

Resultados Experimentales

Los autores evaluaron RareCP en el benchmark GIFT-Eval, que cubre 10 conjuntos de datos centrales (Bench10) y una suite completa de 22 conjuntos de datos (Bench22) en los dominios de energía, transporte, clima y finanzas.

• Líneas Base: Las comparaciones incluyeron métodos CP estándar (SplitCP, ACI, HopCPT, ResCP, KOWCPI) y cabezas de UQ nativas de modelos fundacionales (TiRex, Chronos, Moirai, TimesFM, etc.).
• Rendimiento: RareCP logró la puntuación Winkler normalizada promedio (nWink) más baja en los cuatro modelos base probados (TiRex, TimesFM-2.5, TabPFN-TS, ARIMA) en Bench10. En Bench22, se mantuvo competitivo, quedando por detrás solo de ACI en un modelo base específico.
• Escalado: Las ganancias de rendimiento aumentaron con flujos de calibración más grandes (pruebas de 100k y series completas), lo que sugiere que las estructuras de régimen más ricas se benefician más de la calibración basada en recuperación que del suavizado uniforme.
• Ablaciones: El estudio confirmó que cada componente contribuye al rendimiento:
  • La similitud densa aprendida mejoró el nWink en ~13.9%.
  • La adición de recuperación top-$k$ estricta añadió ~4.6%.
  • La condición de hiperred añadió ~1.7%.
  • Las mezclas de régimen (MoE) añadieron ~2.1%.
  • El anclaje del profesor y la corrección ACI proporcionaron ganancias menores pero consistentes.
• Cobertura: RareCP mantuvo una cobertura empírica cercana al objetivo (80%) en la mayoría de los conjuntos de datos, mientras que algunas líneas base (por ejemplo, KOWCPI) lograron intervalos estrechos a costa de una subcobertura significativa.

Significancia y Limitaciones

Significancia:
El artículo postula que la calibración conformal para series temporales se beneficia de modelar la deriva y la estructura de régimen residual por separado. RareCP proporciona un mecanismo basado en recuperación para mejorar la eficiencia del intervalo sin sacrificar las garantías de cobertura, cerrando efectivamente la brecha entre la flexibilidad del aprendizaje profundo y el rigor de la predicción conformal. Es el primer método que amortiza los parámetros de la regla de ponderación conformal utilizando una hiperred con destilación profesor-estudiante en el espacio de parámetros.

Limitaciones:

• Alcance Teórico: El análisis teórico asume un entorno limpio donde la regla de recuperación se fija antes de la calibración o se aprende a partir de datos distintos a los residuos de calibración. No resuelve completamente la compensación en muestras finitas entre aprender una regla de recuperación fuerte y reservar datos para la calibración.
• Deriva Heterogénea: Aunque es efectivo en Bench10, la cobertura fue más débil en la división más heterogénea Bench22, lo que indica que la deriva dispersa o abrupta sigue siendo un desafío.
• Costo Computacional: RareCP tiene un costo de entrenamiento fuera de línea más alto en comparación con líneas base conformales más simples debido al entrenamiento de hiperredes y al proceso de anclaje del profesor.

Los autores concluyen que el trabajo futuro debería explorar divisiones de aprendizaje-calibración a mayor escala y reducir los costos de entrenamiento mediante embeddings en caché o recuperación aproximada, preservando al mismo tiempo el principio central de calibrar intervalos utilizando residuos del mismo régimen de error local.