Resumen Técnico: Predicción Conformal en Línea mediante Optimización en Línea

Enunciado del Problema

La predicción conformal ofrece un marco principiado para la cuantificación de la incertidumbre con garantías de cobertura en muestras finitas. Aunque avances recientes han extendido estos métodos a entornos en línea y secuenciales, los enfoques existentes suelen operar en un único nivel de cobertura ($1-\alpha$). Cuando se requieren simultáneamente múltiples niveles de cobertura —un escenario común en aplicaciones como la previsión meteorológica, la predicción macroeconómica y la gestión de riesgos, donde los usuarios tienen tolerancias al riesgo heterogéneas—, los métodos en línea estándar deben ejecutarse de forma independiente para cada $\alpha$.

Esta ejecución independiente conduce a una limitación crítica: los conjuntos de predicción resultantes no están garantizados para ser anidados. En términos prácticos, un conjunto de predicción para un nivel de confianza más alto (por ejemplo, 99%) debería ser un superconjunto del conjunto para un nivel de confianza más bajo (por ejemplo, 90%). Sin esta propiedad de anidamiento, las estimaciones de incertidumbre pueden ser incoherentes y difíciles de interpretar. Además, la estimación independiente falla en aprovechar las ganancias de eficiencia estadística conocidas de la regresión cuantílica conjunta, donde la imposición de restricciones de no cruce permite el intercambio de información entre cuantiles.

El artículo aborda el desafío de desarrollar métodos de predicción conformal en línea que generen simultáneamente conjuntos de predicción anidados en un rango de niveles de cobertura, manteniendo garantías de cobertura a largo plazo, incluso bajo secuencias de datos no estacionarias o adversarias.

Metodología

Los autores proponen dos algoritmos novedosos basados en una perspectiva de optimización en línea. Plantean el problema de actualizar los umbrales conformales como una tarea de aprendizaje en línea donde el objetivo es minimizar una función de pérdida conjunta mientras se imponen restricciones de monotonía sobre los umbrales.

1. Formulación del Problema

Sea $s_t$ una puntuación de no conformidad acotada en el tiempo $t$. Para una secuencia de niveles de error de cobertura $0 = \alpha_0 < \alpha_1 < \dots < \alpha_K < \alpha_{K+1} = 1$, el objetivo es estimar umbrales $q_{t,i}$ tales que los conjuntos de predicción $C^i_t = \{y : s_t(x,y) \le q_{t,i}\}$ estén anidados ($C^{i+1}_t \subseteq C^i_t$). Esto requiere que los umbrales sean monótonamente decrecientes: $q_{t,1} \ge q_{t,2} \ge \dots \ge q_{t,K}$.

Las actualizaciones en línea estándar (por ejemplo, Inferencia Conformal Adaptativa) tratan cada cuantil de forma independiente:
$$q_{t+1,i} = q_{t,i} - \eta_t (\alpha_i - \text{err}_{t,i})$$
donde $\text{err}_{t,i}$ es el indicador de error de cobertura. Este enfoque carece de acoplamiento entre niveles y no garantiza la monotonía.

2. Algoritmos Propuestos

El artículo introduce dos métodos que modifican la regla de actualización para imponer monotonía mediante técnicas de optimización en línea:

A. Descenso de Gradiente Exponencial (EG)

Este método aprovecha el algoritmo de Gradiente Exponencial aplicado a un espacio de parámetros transformado.

• Parametrización: En lugar de actualizar los umbrales directamente, el algoritmo actualiza los espacios normalizados entre cuantiles consecutivos ($w_{t,i}$) en un simplex truncado. Este cambio de variables ($q_{t,i} = B \sum_{j=i}^K w_{t,j}$) asegura intrínsecamente que, si los pesos son no negativos, los cuantiles estén ordenados.
• Regla de Actualización: El algoritmo minimiza una función de pérdida conjunta $g_t(\bar{w})$ utilizando actualizaciones EG. El gradiente para cada coordenada agrega las discrepancias de error de cobertura a través de todos los niveles de cuantil relevantes, induciendo un acoplamiento global.
• Mecanismo: Cuando el método es demasiado conservador o tiene un error de cobertura inferior al esperado, el término de error acumulativo ajusta los espacios a lo largo de toda la curva de cuantiles simultáneamente. Esto permite al método "aprovechar la fuerza" entre niveles, coordinando ajustes para preservar el anidamiento de forma natural.

B. Descenso de Gradiente Proyectado (PG)

Este método utiliza el descenso de Gradiente Proyectado con un conjunto de restricciones específico.

• Regla de Actualización: El algoritmo realiza primero actualizaciones de gradiente independientes sobre el vector de cuantiles $\bar{q}_t$ basadas en la pérdida conjunta.
• Proyección: El vector resultante se proyecta luego sobre el conjunto convexo de secuencias decrecientes ($Q = \{\bar{q} : B \ge q_1 \ge \dots \ge q_K \ge 0\}$).
• Mecanismo: Esta proyección se implementa utilizando el Algoritmo de Pool Adjacent Violators (PAVA). A diferencia de EG, PG opera mediante corrección local: actualiza los cuantiles de forma independiente y luego los ajusta mínimamente para restaurar la restricción de ordenamiento. No redistribuye información entre niveles de forma inherente durante el paso del gradiente.

3. Garantías Teóricas

Los autores establecen cotas teóricas para ambos métodos:

• Cobertura: Ambos métodos proporcionan garantías de cobertura a largo plazo, asegurando que la tasa empírica de error de cobertura converja al objetivo $\alpha_i$ para todos los niveles.
• Arrepentimiento y Error: El artículo deriva cotas sobre el arrepentimiento dinámico y la desviación de los cuantiles estimados respecto a los cuantiles verdaderos ($\|\bar{q}_t - \bar{q}^*_t\|_2$). Estas cotas dependen de la variación dinámica de los cuantiles verdaderos ($V_T$) y del tamaño del paso $\eta$. La cota del método EG sugiere una eficiencia mejorada debido al acoplamiento estructurado, mientras que PG garantiza la factibilidad (anidamiento) en cada paso de tiempo.

Contribuciones Clave

1. Formulación Novel: Introducción de un marco de predicción conformal en línea que produce conjuntos de predicción anidados en múltiples niveles de cobertura, permitiendo una cuantificación de incertidumbre calibrada sobre todo el espectro de riesgos.
2. Innovación Algorítmica: Propuesta de dos algoritmos en línea (EG y PG) basados en optimización convexa que estiman conjuntamente umbrales conformales mientras imponen estrictamente la monotonía.
3. Garantías Teóricas: Establecimiento de garantías de cobertura a largo plazo para todos los niveles junto con pruebas que aseguran conjuntos de predicción anidados en cada paso de tiempo.
4. Validación Empírica: Demostración de que estos métodos logran una cobertura estable, conjuntos estrictamente anidados y una eficiencia estadística mejorada en comparación con las líneas base de un solo nivel independientes.

Resultados Experimentales

Los métodos fueron evaluados tanto en conjuntos de datos sintéticos como del mundo real.

Datos Sintéticos

• Configuración: Un entorno no estacionario donde las distribuciones de puntuación evolucionan mediante un paseo aleatorio reflejado latente.
• Hallazgos: El método de Gradiente Exponencial (EG) logró un error de seguimiento $\ell_1$ menor en comparación con el rastreador de cuantiles independiente y el método de Gradiente Proyectado. Esto respalda la hipótesis de que compartir información entre cuantiles mejora la eficiencia estadística en el seguimiento de distribuciones que varían en el tiempo. El método PG se comportó de manera similar al rastreador independiente, lo que indica ganancias limitadas de la optimización conjunta en esta configuración específica en comparación con EG.

Datos del Mundo Real (Inflación de EE. UU.)

• Configuración: Previsión de la inflación del Índice de Precios al Consumidor (IPC) de EE. UU. utilizando un modelo AR(3) con ventanas deslizantes.
• Hallazgos:
  • Calibración: Todos los métodos convergieron eventualmente a un error de calibración bajo. Sin embargo, el rastreador de cuantiles sin restricciones exhibió un comportamiento oscilatorio (sobrecorrección), mientras que los métodos propuestos con restricciones mostraron trayectorias más estables.
  • Anidamiento y Suavidad: Los métodos de referencia (rastreador independiente y proyección post-hoc) produjeron bandas de predicción con distorsiones ocasionales y regiones no anidadas. En contraste, los métodos propuestos (especialmente EG) produjeron conjuntos de predicción más suaves y coherentes que preservaron estrictamente la estructura anidada.
  • Interpretabilidad: La actualización de EG generó bandas de predicción más suaves al coordinar cuantiles adyacentes a través de discrepancias acumulativas, reduciendo cambios abruptos entre niveles.

Significado y Afirmaciones

El artículo afirma que su principal significado radica en abordar la incoherencia de las estimaciones de incertidumbre en entornos en línea multinivel. Al imponer restricciones estructurales (monotonía) mediante optimización en línea, los métodos propuestos proporcionan un espectro de riesgos coherente.

Las afirmaciones clave incluyen:

• Eficiencia Estadística: La estimación conjunta mejora la eficiencia al compartir información entre cuantiles, un beneficio demostrado explícitamente por el rendimiento superior de seguimiento del método EG.
• Interpretabilidad: Los conjuntos de predicción anidados resultantes son esenciales para contextos de toma de decisiones donde las partes interesadas requieren estimaciones de incertidumbre consistentes a través de diferentes tolerancias al riesgo (por ejemplo, planificadores de emergencias frente a responsables políticos).
• Estabilidad: Imponer la monotonía conjuntamente con las actualizaciones estabiliza la dinámica de aprendizaje, previniendo las oscilaciones erráticas observadas en los rastreadores sin restricciones.
• Contexto Más Amplio: El trabajo cierra la brecha entre la robustez adversarial (garantías en escenarios de peor caso) y la eficiencia estadística (seguimiento de distribuciones que varían en el tiempo), planteando la predicción conformal en línea como un problema de seguimiento de cuantiles que varían en el tiempo con análisis de arrepentimiento dinámico.

Los autores señalan que el trabajo futuro podría explorar tasas de aprendizaje adaptativas para mejorar aún más el rendimiento en entornos no estacionarios, pero la contribución actual se centra en los beneficios estructurales de la estimación conjunta bajo regímenes de tamaño de paso fijo.