Approximate full conformal prediction in an RKHS

Resumen Técnico: Predicción Conforme Completa Aproximada en un RKHS

Planteamiento del Problema
La predicción conforme completa es un marco libre de distribución que construye regiones de predicción de confianza con cobertura garantizada para una amplia gama de estimadores. Sin embargo, su aplicación práctica está severamente limitada por la intratabilidad computacional. Para calcular la región de predicción conforme completa para un nuevo dato $X_{n+1}$, se debe evaluar un puntaje de no conformidad para cada posible salida candidata $y \in \mathcal{Y}$. Dado que el predictor subyacente $\hat{f}_{D_y}$ debe reentrenarse para cada candidato $y$ (donde $D_y$ incluye el nuevo punto $(X_{n+1}, y)$), esto requiere el entrenamiento de un número infinito de estimadores cuando $\mathcal{Y} = \mathbb{R}$.

Las alternativas existentes, como la predicción conforme dividida (split-conformal) y la predicción conforme cruzada (cross-conformal), reducen los costos computacionales entrenando un número fijo de predictores. Sin embargo, estos métodos incurren en una pérdida de información al descartar datos durante el entrenamiento o la división, lo que resulta frecuentemente en regiones de predicción más grandes y menos informativas. Otros enfoques que dependen de soluciones de forma cerrada (por ejemplo, para la regresión de Ridge) o formas específicas de p-valor están limitados a entornos estrechos y no se generalizan a funciones de pérdida arbitrarias o Espacios de Hilbert de Núcleo Reproductor (RKHS).

Metodología
Los autores proponen una estrategia genérica para aproximar la región de predicción conforme completa de manera eficiente sin dividir los datos. El núcleo de la metodología involucra:

1. Predictores Aproximados: En lugar de reentrenar el predictor para cada candidato $y$, el método aproxima el predictor $\hat{f}_{D_y}$ utilizando un predictor fijo $\hat{f}_{D_z}$ (entrenado en un punto fijo $z$) o una corrección de primer orden basada en funciones de influencia.
2. Puntajes de No Conformidad Aproximados: Utilizando el predictor aproximado, los autores definen puntajes de no conformidad aproximados $\tilde{S}_{D_y}$.
3. Acotación del Error de Aproximación: Crucialmente, el método deriva límites superiores explícitos ($\tau$) sobre la discrepancia entre los puntajes reales y los puntajes aproximados. Estos límites dependen de la suavidad de la función de pérdida y de las propiedades del núcleo (kernel).
4. Sándwich de la Región: Al incorporar estos límites de error en el cálculo del p-valor conforme, los autores construyen una región aproximada "superior" ($\hat{C}^{up}$) y una región aproximada "inferior" ($\hat{C}^{lo}$). Se garantiza que la verdadera región conforme completa se encuentre dentro de este sándwich ($\hat{C}^{lo} \subseteq \hat{C}^{full} \subseteq \hat{C}^{up}$).
5. Cuantificación del Grosor (Thickness): Se introduce una nueva métrica llamada "grosor" para cuantificar el volumen de la diferencia simétrica entre las regiones de predicción aproximadas y las de predicción conforme completa, proporcionando una medida de la estrechez de la aproximación más allá de la simple probabilidad de cobertura.

El artículo desarrolla tres niveles de aproximación basados en los supuestos de suavidad de la función de pérdida:

• Nivel 0 (Estabilidad Uniforme): Utiliza constantes de Lipschitz uniformes para las funciones de pérdida y de puntaje. Esto recupera límites similares a los enfoques de estabilidad uniforme pero permite funciones de pérdida generales en RKHS.
• Nivel 1 (Estabilidad Local): Aprovecha la diferenciabilidad de la función de pérdida para derivar límites de estabilidad local que varían con $y$, estrechando los constantes de aproximación.
• Nivel 2 (Funciones de Influencia): Aprovecha la suavidad de orden superior (funciones de pérdida dos y tres veces diferenciables) y las funciones de influencia (función de influencia de Bouligand) para crear una aproximación del predictor que depende de $y$ mediante una expansión de Taylor de primer orden. Esto produce tasas de convergencia más rápidas para el error de aproximación.

Contribuciones Clave

• Estrategia de Aproximación Genérica: El artículo proporciona un marco genérico y libre de distribución para aproximar regiones conforme completas en entornos de RKHS con funciones de pérdida generales (no cuadráticas), incluyendo pérdidas robustas como Logcosh, Pseudo-Huber y Pinball suavizada.
• Garantías No Asintóticas: A diferencia de los enfoques previos basados en funciones de influencia que ofrecen solo garantías asintóticas, este trabajo proporciona límites no asintóticos sobre la calidad de la aproximación y asegura que la región resultante sea una región de confianza válida (cobertura $\geq 1-\alpha$).
• Métrica de Grosor: La introducción del "grosor" permite la cuantificación de la discrepancia entre las regiones de predicción aproximadas y las de predicción conforme completa en términos de volumen (medida de Lebesgue), no solo de probabilidad de cobertura.
• Mejora en las Tasas de Convergencia: Al utilizar funciones de influencia y supuestos de suavidad de orden superior, los autores demuestran que el error de aproximación decae a una tasa más rápida ($O(n^{-1+r+\min(-1+2r, 0)})$) en comparación con los límites de estabilidad uniforme ($O(n^{-1+r})$), particularmente cuando el parámetro de regularización $\lambda$ decae lentamente.

Resultados

• Límites Teóricos: El análisis teórico muestra que el grosor de la aproximación está acotado superiormente por términos dependientes de las propiedades del núcleo, el parámetro de regularización y la suavidad de la pérdida. Para funciones de pérdida suaves, los límites se estrechan significativamente a medida que el tamaño de la muestra $n$ aumenta.
• Desempeño Empírico: Experimentos con datos sintéticos (Friedman1) comparan cuatro estrategias: Conforme dividida (Split-conformal), Estabilidad Uniforme (Nivel 0), Estabilidad Local (Nivel 1) y Función de Influencia (Nivel 2).
  • Cobertura: Todos los métodos propuestos logran una cobertura empírica cercana al nivel objetivo ($1-\alpha = 0.9$).
  • Tamaño de la Región: El método basado en la Función de Influencia produce las regiones de predicción más estrechas (más informativas) con baja varianza, superando tanto al método conforme dividido como a los métodos basados en estabilidad.
  • Computación: Aunque el método de la Función de Influencia requiere más tiempo de cómputo (debido a la inversión de la matriz Hessiana), sigue siendo tratable. El método de Estabilidad Local ofrece un compromiso favorable entre precisión y costo computacional.
• Visualización: Los gráficos log-log del diferencial de "grosor" frente al tamaño de la muestra confirman las tasas de convergencia teóricas, mostrando que el enfoque de la Función de Influencia converge más rápido que el enfoque de estabilidad uniforme.

Significancia y Reivindicaciones
Los autores afirman que su trabajo cierra la brecha entre la optimalidad teórica de la predicción conforme completa y la viabilidad computacional de los métodos de predicción conforme dividida. Al evitar la división de datos, el método propuesto utiliza el conjunto de datos completo para el entrenamiento, preservando así la información y produciendo regiones de predicción más estrechas. El marco es significativo porque extiende la aproximación conforme completa a una amplia clase de funciones de pérdida y entornos de RKHS, proporcionando garantías no asintóticas rigurosas tanto sobre la cobertura como sobre la "estrechez" (grosor) de las regiones resultantes. El artículo enfatiza que, si bien la aproximación es computacionalmente eficiente (requiriendo solo uno o pocos procesos de evaluación del predictor), mantiene la validez libre de distribución del marco conforme completo.