Localized conformal model selection

Resumen Técnico: Selección de Modelos Conformales Localizados

1. Planteamiento del Problema

La cuantificación de la incertidumbre es fundamental en el aprendizaje estadístico moderno. La predicción conformal ha surgido como un marco atractivo que proporciona intervalos de predicción con garantías de cobertura exacta en muestras finitas y libres de distribución, independientemente de la complejidad del modelo.

Sin embargo, en la práctica, los analistas suelen considerar una colección de modelos candidatos (con diferentes supuestos de suavidad, complejidad o estructura) y buscan seleccionar o combinarlos para mejorar el rendimiento predictivo. El problema central abordado en este trabajo es la incertidumbre adicional introducida por la selección de modelos:

• Los métodos conformales estándar asumen un modelo fijo.
• Si se utiliza el mismo conjunto de datos para seleccionar el modelo y construir los intervalos de predicción, se violan las suposiciones de intercambiabilidad que garantizan la validez conformal.
• Esto conduce a una subcobertura sistemática (los intervalos son demasiado estrechos y no contienen la verdad con la frecuencia prometida).
• Las soluciones existentes para la selección de modelos suelen operar a nivel global y no permiten que el modelo seleccionado varíe a través del espacio de covariables, lo cual es limitante en entornos no paramétricos con estructuras heterogéneas.

2. Metodología Propuesta: LCP-MS

Los autores proponen un nuevo marco llamado LCP-MS (Localized Conformal Model Selection), que integra la Predicción Conformal Localizada (LCP) con una técnica de indexación segura para lograr validez post-selección y adaptabilidad local simultáneamente.

Componentes Clave:

• Predicción Conformal Localizada (LCP): A diferencia de la predicción conformal clásica que usa cuantiles empíricos globales, la LCP pondera los residuos de calibración según la proximidad al punto de prueba $X_{n+1}$ (usando un localizador $H$, como un kernel gaussiano). Esto permite que los intervalos se adapten a niveles de ruido locales y al ajuste del modelo.
• El Desafío de la Simetría: Una estrategia ingenua de seleccionar el modelo que produce el intervalo más corto en cada punto de prueba rompe la simetría necesaria para la validez conformal, ya que la decisión depende de la respuesta no observada $Y_{n+1}$.
• Construcción de Intervalos de Sustitución (Surrogate Intervals): Para restaurar la simetría, el método no selecciona modelos solo en el punto de prueba, sino que realiza una selección simétrica en todos los puntos de calibración.
  • Se definen intervalos de sustitución superiores e inferiores ($C^+$ y $C^-$) que corresponden a casos hipotéticos de no conformidad extrema y conformidad perfecta, respectivamente.
  • Estos intervalos no dependen de $Y_{n+1}$, sino que acotan el intervalo conformal "oráculo" (que sí dependería de $Y_{n+1}$).
• Conjunto de Índices Seguros ($K_i(\gamma)$):
  • Para cada punto de calibración $i$, se construye un conjunto de modelos "seguros" que incluye todos los modelos cuyo intervalo de mejor caso es menor o igual que el intervalo de peor caso del competidor más corto.
  • Garantía Teórica: Este conjunto $K_i(\gamma)$ garantiza contener al modelo oráculo (el modelo que minimizaría la longitud esperada del intervalo).
• Selección de Niveles de Cobertura:
  • Se evalúa la cobertura empírica sobre una cuadrícula de niveles de error $\gamma$ utilizando los intervalos de sustitución.
  • Se determinan límites inferiores y superiores ($\hat{\gamma}_L, \hat{\gamma}_U$) que aseguran que la cobertura marginal se mantenga.
  • El intervalo final es la unión de los intervalos conformales más cortos seleccionados dentro de este rango de niveles de error válidos.

3. Contribuciones Clave

1. Unificación de Adaptabilidad Local y Validez Post-Selección: Es el primer marco de inferencia conformal que logra simultáneamente adaptarse a la heterogeneidad espacial (estructura local de los datos) y mantener garantías de validez exacta en muestras finitas después de la selección de modelos.
2. Técnica de Indexación Segura: Introducen un método innovador que utiliza intervalos de sustitución para realizar la selección de modelos de manera simétrica en todo el conjunto de datos, preservando así la propiedad de intercambiabilidad.
3. Ensemble Adaptativo: El procedimiento resultante es un método de ensamble que favorece automáticamente modelos más complejos (o con bandas de ancho menores) en regiones de alta oscilación y modelos más simples en regiones suaves, sin sacrificar la cobertura.

4. Resultados de las Simulaciones

Los autores validan el método mediante dos estudios de simulación:

• Escenario Paramétrico (Señales Oscilatorias Locales):
  • Se utiliza una función de regresión sinusoidal por partes con cambios de frecuencia y amplitud.
  • Se comparan 10 modelos candidatos con diferentes frecuencias y anchos de banda.
  • Resultado: En escenarios de bajo ruido ($\sigma=0.1$), el ensamble LCP-MS produce intervalos significativamente más cortos que el mejor modelo individual (elegido a posteriori), con reducciones de longitud de hasta un 15-20%. En alto ruido, el rendimiento es comparable.
• Escenario No Paramétrico (Curvatura Variable):
  • Se utiliza $Y = \sin(X^3) + \epsilon$, donde la curvatura varía.
  • Se combinan estimadores de regresión kernel de Nadaraya-Watson con diferentes anchos de banda.
  • Resultado: El método LCP-MS reduce la longitud del intervalo en un 25-35% en comparación con el mejor modelo único, manteniendo la cobertura nominal del 90%.
  • Visualización: La Figura 1 muestra que el método selecciona dinámicamente anchos de banda pequeños en regiones de alta curvatura (para seguir la señal) y anchos grandes en regiones suaves (para mayor estabilidad), algo que ningún estimador de ancho fijo puede lograr uniformemente.

5. Significado y Discusión

• Ruptura de la Compensación Tradicional: Tradicionalmente, la adaptabilidad local y la validez post-selección eran objetivos difíciles de conciliar. Este trabajo demuestra que es posible lograr ambos mediante una construcción cuidadosa que respeta la simetría de los datos.
• Garantías de Cobertura: A pesar de la selección de modelos dependiente de los datos, el método mantiene la garantía de cobertura marginal exacta ($P(Y_{n+1} \in C) \geq 1-\alpha$) para cualquier distribución subyacente.
• Limitaciones y Futuro:
  • El método es computacionalmente más costoso debido a la necesidad de construcciones "leave-one-out" y la evaluación sobre múltiples modelos y niveles de error, aunque es paralelizable.
  • La garantía sigue siendo marginal, no condicional (aunque se adapta localmente).
  • La idea de indexación segura basada en simetría podría extenderse a otros contextos de inferencia conformal adaptativa donde las decisiones dependientes de los datos amenazan la intercambiabilidad.

En conclusión, este artículo presenta un avance significativo en la teoría de la predicción conformal, permitiendo a los practicantes utilizar conjuntos de modelos complejos y adaptativos sin comprometer la fiabilidad estadística de los intervalos de predicción.