Decoupled Conformal Optimisation: Efficient Prediction Sets via Independent Tuning and Calibration

Resumen Técnico: Optimización Conformal Desacoplada

Enunciado del Problema
La predicción conforme (PC) moderna tiene como objetivo construir conjuntos de predicción que sean tanto válidos (proporcionando cobertura marginal en muestras finitas) como eficientes (tamaños de conjunto pequeños o intervalos estrechos). En la optimización conforme bayesiana, los practicantes a menudo buscan mejorar la eficiencia mediante la búsqueda de elecciones estructurales, como puntuaciones de no conformidad, hiperparámetros previos o arquitecturas de modelos.

Surge una tensión metodológica crítica en cómo se asignan los datos para este proceso. Los enfoques estándar "acoplados" (por ejemplo, Control de Riesgo Conforme (CRC) y métodos basados en Cuadratura Bayesiana (BQ)) utilizan la misma partición de calibración retenida tanto para buscar una estructura o umbral eficiente como para certificar el riesgo o la cobertura final. Aunque este acoplamiento es necesario para garantías de control de riesgo de alta probabilidad (estilo PAC), los autores argumentan que es innecesario cuando el objetivo es la cobertura conforme marginal estándar en muestras finitas. Reutilizar los datos de calibración tanto para la búsqueda como para la certificación rompe el argumento de intercambiabilidad requerido para las garantías estándar de conformación dividida, lo que a menudo conduce a umbrales excesivamente conservadores para mantener la validez.

Metodología: Optimización Conformal Desacoplada (DCO)
El artículo propone la Optimización Conformal Desacoplada (DCO), específicamente el protocolo DCO-Warmstart, que adopta un principio de diseño de "entrenar-ajustar-calibrar". Este enfoque separa explícitamente los roles de los datos:

1. Partición de Entrenamiento ($D_{train}$): Se utiliza para ajustar el modelo bayesiano y definir la distribución predictiva posterior.
2. Partición de Ajuste ($D_{tune}$): Se utiliza exclusivamente para la selección estructural orientada a la eficiencia. El algoritmo busca en una clase candidata de estructuras $\Phi$ (por ejemplo, funciones de puntuación, previos, arquitecturas) y umbrales para minimizar el tamaño esperado del conjunto de predicción sujeto a una restricción empírica de no cobertura. Crucialmente, el umbral encontrado aquí ($\hat{\lambda}_{tune}$) se utiliza solo para clasificar candidatos y se descarta antes del despliegue.
3. Partición de Calibración ($D_{cal}$): Se utiliza exclusivamente para calcular el cuantil conforme final. Una vez que se selecciona una única estructura $\hat{\phi}_{tune}$ de $D_{tune}$, el umbral final se calcula como el cuantil empírico $(1-\alpha)$ de las puntuaciones de no conformidad calculadas en la independiente $D_{cal}$.

Esta separación restaura la lógica estándar de intercambiabilidad de la conformación dividida. Dado que la estructura final se fija independientemente de $D_{cal}$, la prueba estándar para la cobertura marginal en muestras finitas se aplica directamente sin requerir un parámetro de confianza ($\delta$) ni correcciones por pruebas múltiples.

Contribuciones Clave

• Principio de Diseño: La formulación de DCO-Warmstart como una pipeline desacoplada donde las elecciones estructurales se seleccionan en una partición de ajuste independiente, y el cuantil conforme final se calcula en una partición de calibración fresca.
• Garantía Teórica: Demostración de que DCO-Warmstart hereda la garantía estándar de cobertura marginal en muestras finitas para cualquier clase candidata $\Phi$ (finita o infinita), siempre que la estructura se fije independientemente de los datos de calibración. No se requiere un parámetro de confianza $\delta$.
• Comparación Teórica: Una aclaración de la distinción entre DCO-Warmstart y los métodos acoplados (CRC/BQ). Mientras que DCO apunta a la cobertura marginal y CRC/BQ apuntan al control de riesgo de alta probabilidad, el artículo muestra que, bajo supuestos de consistencia uniforme en el estimador de riesgo, ambos enfoques convergen al mismo umbral poblacional $\lambda^*$.
• Complejidad de Muestra: Una desigualdad de oráculo para la etapa de ajuste, que establece los requisitos de tamaño de muestra para la partición de ajuste a fin de seleccionar de manera fiable una estructura eficiente de una clase candidata finita antes del paso de calibración independiente.

Resultados Experimentales
Los autores evalúan DCO-Warmstart en benchmarks de regresión (Diabetes, California Housing, Concrete) y clasificación (ImageNet-A, CIFAR-100), comparándolo con líneas base estilo BQ/CRC y una línea base diagnóstica "DirectTune" (que optimiza en $D_{tune}$ pero carece de recalibración).

• Cobertura: DCO-Warmstart sigue de cerca el nivel de cobertura nominal (por ejemplo, 0.801 frente a un objetivo de 0.8 en ImageNet-A), satisfaciendo la garantía de cobertura marginal.
• Eficiencia: DCO-Warmstart produce consistentemente conjuntos de predicción más pequeños o intervalos más estrechos en comparación con las líneas base acopladas BQ/CRC, que tienden a ser más conservadoras.
  • ImageNet-A: El tamaño promedio del conjunto se redujo de 26.52 (BQ) a 25.26; el tamaño del conjunto del percentil 95 se redujo de 58.95 a 53.73.
  • Diabetes: El ancho promedio del intervalo se redujo de 2.098 (BQ) a 1.914.
• Estudios de Ablación: Experimentos sobre la asignación de particiones (por ejemplo, relación de ajuste/calibración 33/67) sugieren que la partición de ajuste debe ser lo suficientemente grande para estabilizar la selección de candidatos, mientras que los datos restantes deben asignarse a la calibración para minimizar la variabilidad del cuantil.

Significado y Afirmaciones
El artículo afirma que, para el objetivo específico de cobertura conforme marginal en muestras finitas, acoplar la optimización y la calibración en los mismos datos es suficiente pero no necesario. Al desacoplar estos pasos, DCO-Warmstart permite una búsqueda explícita de eficiencia (optimizando estructura y umbrales) mientras conserva las garantías rigurosas de validez libres de distribución de la predicción conforme dividida estándar.

Los autores enfatizan que DCO-Warmstart no es un reemplazo para los métodos CRC/BQ cuando el objetivo científico es el control de riesgo de alta probabilidad (garantizar que la restricción de riesgo se cumpla con una confianza $1-\delta$ sobre la muestra de calibración). Sin embargo, cuando el objetivo es la cobertura marginal estándar, DCO-Warmstart ofrece una alternativa teóricamente sólida y empíricamente más eficiente al evitar el conservadurismo introducido por acoplar los procesos de búsqueda y certificación en una única partición de datos.