Multivariate Standardized Residuals for Conformal Prediction

Resumen Técnico: Residuos Estandarizados Multivariados para Predicción Conformal

Planteamiento del Problema
La predicción conformal ofrece un marco independiente del modelo para construir conjuntos predictivos con cobertura marginal garantizada en muestras finitas. Sin embargo, una limitación significativa es la dificultad de lograr una cobertura condicional, donde la validez se mantiene para entradas observadas específicas en lugar de solo en promedio. Esto es particularmente crítico en escenarios heterocedásticos donde la incertidumbre de la predicción varía con las características de entrada. Los enfoques existentes enfrentan compensaciones:

• Métodos univariados: Técnicas como "residuos estandarizados" (normalizando errores por la varianza local) mejoran la cobertura condicional en regresión univariada, pero no se extienden naturalmente a salidas multivariadas.
• Estimación de densidad multivariada: Los métodos que estiman la densidad condicional completa pueden generar conjuntos válidos, pero son computacionalmente costosos, a menudo requieren muestreo, y luchan contra la "maldición de la dimensionalidad".
• Métodos de forma fija: Los enfoques que producen conjuntos de tamaño fijo o no adaptativos fallan en capturar la incertidumbre dependiente de la entrada.
• Métodos basados en muestreo: Las estrategias recientes para mejorar la cobertura condicional a menudo introducen aleatoriedad y variabilidad para entradas idénticas, socavando la reproducibilidad.

Metodología
Los autores proponen un marco que extiende el concepto de residuos estandarizados al contexto multivariado. La idea central es aprender una matriz de covarianza local dependiente de las características para "blanquear" los residuos, desacoplando efectivamente las correlaciones de salida y estandarizando la varianza local.

1. Modelado: Dado un vector de características $X$ y una respuesta multivariada $Y \in \mathbb{R}^k$, el método aprende dos funciones:

   • Un predictor $f_\theta(X)$ que estima la media condicional $\mathbb{E}[Y|X]$.
   • Un estimador de covarianza $\Sigma_\varphi(X)$ que estima la matriz de covarianza condicional.
     Estas pueden aprenderse conjuntamente mediante máxima verosimilitud (asumiendo una aproximación gaussiana) o aplicarse sobre un predictor puntual de caja negra preexistente.

2. Puntuación de no conformidad: El método define una puntuación de no conformidad basada en la distancia de Mahalanobis:
   $$S_{\text{Mah}}(X, Y) = \|\Sigma_\varphi(X)^{-1/2}(Y - f_\theta(X))\|_2$$
   Esta puntuación mide la distancia de un residuo desde la media, escalada por la estructura de covarianza local.

3. Conjuntos conformales: El conjunto de predicción resultante $C_\alpha(X_{\text{test}})$ es un elipsoide centrado en $f_\theta(X_{\text{test}})$, con una forma y tamaño determinados por $\Sigma_\varphi(X_{\text{test}})$ y un umbral derivado del conjunto de calibración. Esto permite que el conjunto se adapte a la heterocedasticidad.

4. Extensiones: El marco soporta naturalmente varias extensiones prácticas:

   • Salidas faltantes: Al marginalizar la densidad gaussiana a las dimensiones observadas y utilizar la función de distribución acumulada (CDF) de la chi-cuadrado, el método construye puntuaciones válidas incluso cuando los datos de calibración tienen valores faltantes.
   • Salidas parcialmente reveladas: Si parte de la salida $Y_r$ se revela en el momento de la prueba, el método utiliza propiedades gaussianas condicionales para refinar el conjunto de predicción para la parte oculta $Y_h$ sin reentrenamiento.
   • Transformaciones de salida: Para transformaciones lineales de la salida (por ejemplo, rendimientos de cartera), el método construye conjuntos conformales directamente sobre las variables transformadas utilizando la media y covarianza transformadas, evitando el conservadurismo de proyectar conjuntos existentes.

Garantías Teóricas
El artículo establece una condición suficiente para que el método logre cobertura condicional asintótica. Específicamente, si el residuo estandarizado $U = \Sigma(X)^{-1/2}(Y - f(X))$ es independiente de $X$, el método produce cobertura condicional exacta asintóticamente. Esta condición se cumple para una amplia clase de distribuciones, incluidas las distribuciones elípticas, pero no requiere estrictamente que el ruido sea elíptico. Incluso cuando esta independencia no se cumple, se demuestra que el método mejora la cobertura condicional al normalizar los dos primeros momentos de los residuos.

Contribuciones Clave

• Extensión Multivariada: Una generalización natural de los residuos estandarizados a la regresión multivariada utilizando una matriz de covarianza local aprendida.
• Eficiencia de Forma Cerrada: A diferencia de los métodos basados en densidad que requieren muestreo, este enfoque produce conjuntos conformales en forma cerrada, haciéndolo computacionalmente eficiente en el momento de la inferencia.
• Caracterización Teórica: Una condición suficiente que caracteriza las distribuciones para las cuales los residuos estandarizados producen cobertura condicional asintótica.
• Flexibilidad Práctica: El marco permite manejar salidas de calibración faltantes, refinar conjuntos tras la revelación parcial de salidas y construir conjuntos válidos para transformaciones de salida.

Resultados Experimentales
Los autores evalúan el método en conjuntos de datos sintéticos y del mundo real (por ejemplo, Bias, CASP, House, rf1, scm1d, Taxi) frente a líneas base que incluyen HPD (basado en densidad), C-PCP, L-CP, ECM (covarianza empírica) y OT (transporte óptimo).

• Cobertura Condicional: El método logra una cobertura condicional más cercana al nivel objetivo (por ejemplo, 90%) que las líneas base multivariadas existentes, superando particularmente a los métodos "solo marginales" que sobre-cubren en algunas regiones para compensar la sub-cobertura en otras.
• Tamaño del Conjunto: El método produce conjuntos conformales más ajustados (menor volumen) en comparación con los métodos basados en densidad, manteniendo la cobertura.
• Eficiencia Computacional: El método es significativamente más rápido que los enfoques basados en densidad (HPD, PCP, C-PCP), que a menudo requieren costoso muestreo de Monte Carlo. Por ejemplo, evaluar la cobertura para 1.000 puntos toma un tiempo despreciable en comparación con los cientos o miles de segundos requeridos por las líneas base.
• Robustez: El método funciona bien incluso cuando el supuesto gaussiano subyacente está mal especificado (por ejemplo, con ruido exponencial), lo que sugiere robustez más allá de los supuestos teóricos.

Significado y Afirmaciones
El artículo afirma que este enfoque constituye un "paso alentador" hacia el objetivo de una cobertura condicional fiable bajo supuestos mínimos. Al evitar la necesidad de una estimación completa de la densidad condicional, el método ofrece una alternativa computacionalmente tratable y robusta que equilibra la compensación entre las garantías estrictas de la cobertura marginal y la adaptabilidad de la cobertura condicional. Los autores enfatizan que, aunque la cobertura condicional estricta no puede garantizarse para todas las distribuciones, el método la logra asintóticamente para una amplia clase y proporciona una cobertura aproximada robusta en la práctica. La capacidad de manejar valores faltantes y refinar predicciones con información parcial extiende aún más la aplicabilidad de la predicción conformal a escenarios del mundo real donde los datos a menudo están incompletos o son parcialmente observados.