Resumen Técnico: Umbralización Consciente de la Relevancia en la Predicción Conforme en Línea para Series Temporales

Planteamiento del Problema

Las aplicaciones de aprendizaje automático en dominios sensibles (salud, finanzas, etc.) requieren cada vez más una cuantificación de la incertidumbre robusta. Si bien la Predicción Conforme (CP, por sus siglas en inglés) ofrece garantías de cobertura independientes de la distribución, su formulación clásica depende del supuesto de intercambiabilidad de los datos, el cual es frecuamente violado en series temporales debido a cambios en la distribución.

Para abordar esto, se han desarrollado métodos de Predicción Conforme en Línea (OCP) que actualizan los intervalos de predicción dinámicamente basándose en los errores observados. Sin embargo, los métodos de OCP de vanguardia actuales (como PID y ECI) dependen típicamente de una evaluación binaria del rendimiento de la predicción: si la verdad de campo cae dentro o fuera del intervalo de predicción. Este enfoque binario descarta información valiosa respecto a la magnitud del error cuando la verdad de campo está fuera del intervalo, o el grado de seguridad cuando está dentro. En consecuencia, estos métodos pueden producir intervalos de predicción excesivamente conservadores (anchos) o sufrir ajustes abruptos de los umbrales, lo que conduce a salidas poco informativas.

Metodología

El artículo propone un marco de Umbralización Consciente de la Relevancia que reemplaza el indicador binario de error por una función continua que cuantifica la "relevancia" de un intervalo de predicción.

Concepto Central

En lugar de utilizar la función indicadora $1\{Y_t \notin \hat{C}_t\}$, los autores introducen una familia de funciones personalizables, $f_{\omega, v, \mu_t}(s_t - q_t)$, que mapean la distancia entre la verdad de campo ($Y_t$) y los límites de predicción a un valor en $[0, 1]$.

• Entrada: La cantidad $s_t - q_t$, donde $s_t$ es la puntuación de no conformidad (distancia de la predicción a la verdad de campo) y $q_t$ es el umbral actual.
• Comportamiento:
  • Si la verdad de campo está muy fuera del intervalo ($s_t - q_t \gg 0$), la función se aproxima a 1, señalando la necesidad de aumentar significativamente el umbral para el siguiente paso.
  • Si la verdad de campo está muy dentro del intervalo ($s_t - q_t \ll 0$), la función se aproxima a 0, señalando que el umbral puede reducirse para estrechar el intervalo.
  • Si la verdad de campo está cerca del límite, la función transiciona suavemente alrededor del nivel de infracción de cobertura objetivo $\alpha$.

Diseño de la Función

La familia de funciones propuesta se define como:
$$f_{\omega,v,\mu_t}(s_t - q_t) = \sum_{i=1}^l \omega_i \cdot \sigma\left( \frac{v_i}{\mu_t} \cdot (s_t - q_t) - \ln\left(\frac{1-\alpha}{\alpha}\right) \right)$$
donde:

• $\sigma$ es la función sigmoide.
• $\mu_t$ es un factor de escala dinámico (media de los errores absolutos recientes) que asegura la independencia de la escala.
• $\omega$ y $v$ son parámetros que permiten a los Tomadores de Decisiones (DMs) ajustar la forma de la función (por ejemplo, creando mesetas para rangos de error específicos) basándose en la experiencia del dominio.

Integración en OCP

Los autores integran estas funciones en dos algoritmos prominentes de OCP:

1. PID (Proporcional-Integral-Derivativo): El indicador binario en la regla de actualización es reemplazado por la función de relevancia en varias configuraciones (reemplazo total, saturación únicamente, o solo término de error).
2. ECI (Inferencia de Corrección de Errores): El término de suavizado que involucra el gradiente de una función se modifica para utilizar el gradiente de la función de relevancia propuesta.

El análisis teórico (Teoremas 1–3) demuestra que bajo condiciones específicas respecto a las funciones de saturación y las tasas de aprendizaje, estas actualizaciones modificadas preservan la garantía de cobertura a largo plazo (validez).

Principales Contribuciones

1. Marco Consciente de la Relevancia: Introducción de un enfoque general para aprovechar la distancia entre la verdad de campo y los límites del intervalo, yendo más allá del seguimiento de errores binarios en OCP.
2. Familia de Funciones Personalizables: Un conjunto de funciones parametrizadas que permiten a los DMs adaptar el mecanismo de penalización/recompensa para los errores de predicción, acomodando restricciones y preferencias específicas del dominio.
3. Mejoras Algorítmicas: Modificación de métodos OCP de vanguardia (PID y ECI) para incorporar estas funciones, con pruebas teóricas que aseguran que la validez (cobertura) se mantiene.
4. Validación Empírica: Demostración de que los métodos modificados logran intervalos de predicción más estrechos (mejor eficiencia) mientras mantienen o mejoran la validez de la cobertura en comparación con los métodos originales.

Resultados Experimentales

Los autores evaluaron los métodos PID y ECI modificados en conjuntos de datos del mundo real: precios de acciones de Amazon, Google y Microsoft, y datos de temperatura de Delhi.

• Resultados de PID: En el conjunto de datos de Amazon, el PID modificado redujo el ancho promedio del intervalo de 32.42 a 29.36 (regresor AR) manteniendo una cobertura del 90%. En los datos de las acciones de Google, el PID modificado redujo significativamente el ancho promedio (por ejemplo, de 43.75 a 34.96 para AR) manteniendo la cobertura.
• Resultados de ECI: El método ECI original tuvo dificultades para alcanzar la cobertura objetivo del 90% en la configuración experimental de los autores (logrando ~78-83%). El ECI modificado logró alcanzar con éxito la cobertura objetivo del 90% en todos los conjuntos de datos. Si bien el ECI modificado produjo intervalos ligeramente más anchos que el ECI original en algunos casos, los intervalos más estrechos del método original se consideraron poco fiables debido a la infracción de cobertura. En comparación directa con los resultados reportados en el artículo original de ECI, el método modificado mostró un rendimiento competitivo o superior, particularmente en el conjunto de datos de temperatura, donde superó al original en todas las métricas.
• Estabilidad: El uso de funciones de relevancia resultó en ajustes de umbral más suaves, evitando los cambios abruptos que suelen verse en los métodos de actualización binaria.

Significado y Reivindicaciones

El artículo afirma que, al pasar de una visión de error binario a una visión basada en la relevancia, los métodos OCP pueden producir intervalos de predicción más informativos (más estrechos) sin sacrificar el requisito crítico de la validez de la cobertura. Esto es particularmente significativo para aplicaciones de series temporales donde los cambios en la distribución son comunes y los tomadores de decisiones requieren una cuantificación de la incertidumbre robusta.

Los autores enfatizan que este trabajo contribuye al desarrollo de la IA confiable para aplicaciones sensibles. Señalan que el enfoque permite la incorporación de las preferencias del Tomador de Decisiones mediante la parametrización de las funciones de relevancia, cerrando la brecha entre las garantías estadísticas y las necesidades prácticas de la toma de decisiones. El artículo concluye modestamente, sugiriendo que el trabajo futuro debería centrarse en optimizar los hiperparámetros e investigar más a fondo el impacto del parámetro de escala $\mu_t$.