Shape-Adaptive Conditional Calibration for Conformal Prediction via Minimax Optimization

1. Planteamiento del Problema

La predicción conformal es una herramienta estadística fundamental para generar conjuntos de predicción que cubran la etiqueta verdadera con un nivel de confianza preespecificado ($1-\alpha$). Aunque la cobertura marginal ($P\{Y \in C(X)\} \ge 1-\alpha$) es fácil de garantizar, a menudo falla en proporcionar fiabilidad uniforme en subgrupos específicos o bajo distribuciones heterogéneas.

El objetivo central es lograr la cobertura condicional:
$$P\{Y \in C(X) \mid X\} \ge 1 - \alpha \quad \text{casi seguramente.}$$

Desafíos principales:

1. Rigidez Geométrica: Los métodos existentes (como la calibración condicional de Gibbs et al., 2025) suelen ajustar solo el volumen de un conjunto de predicción predefinido (subnivel de una puntuación fija). No pueden modificar la forma (orientación, excentricidad) del conjunto para adaptarse a la heterocedasticidad local o correlaciones entre variables de salida en regresión multivariada.
2. Variables Condicionales Enmascaradas: En escenarios de equidad algorítmica, la variable de condición $Z$ (ej. género, raza) puede estar disponible durante la calibración pero no en la fase de prueba. Los métodos actuales luchan para incorporar información de $Z$ en la calibración si $Z$ no es un subconjunto de las covariables de prueba $X$.
3. Dificultad Teórica: Garantizar la cobertura condicional exacta en muestras finitas sin suposiciones distribucionales es teóricamente imposible sin conjuntos triviales de tamaño infinito.

2. Metodología: MOPI

Los autores proponen MOPI (Minimax Optimization Predictive Inference), un marco que reformula la inferencia condicional como un problema de optimización minimax.

A. Formulación Minimax

En lugar de calibrar un umbral fijo, MOPI busca un conjunto de predicción $C(X)$ que minimice la desviación máxima de la cobertura condicional respecto al objetivo $\alpha$. Utilizando restricciones de momentos marginales, el problema se define como:

$$\min_{C \in \mathcal{C}} \max_{f \in \mathcal{F}} \mathbb{E}\left[ f(Z) \left( \mathbb{1}\{Y \notin C(X)\} - \alpha \right) - f^2(Z) \right]$$

Donde:

• $\mathcal{C}$ es una clase de funciones de conjuntos con estructura (ej. elipsoides, cajas).
• $\mathcal{F}$ es una clase de funciones de peso (funciones de prueba) definidas sobre el dominio de condición $Z$.
• El término $-f^2(Z)$ actúa como regularización para asegurar la concavidad en la maximización interna.

B. Adaptabilidad de la Forma (Shape-Adaptive)

A diferencia de los métodos anteriores que solo ajustan un umbral escalar, MOPI optimiza la función $h(x)$ dentro de la estructura del conjunto.

• Ejemplo Elipsoidal: $C(x) = \{y : (y - \mu(x))^\top \Sigma^{-1}(x) (y - \mu(x)) \le 1\}$.
• MOPI aprende dinámicamente la matriz de covarianza $\Sigma(x)$ y el centro $\mu(x)$ para adaptarse a la densidad local de los datos, logrando conjuntos más eficientes y precisos.

C. Manejo de Variables Enmascaradas

El marco desacopla la enforcement de la cobertura (que depende de $Z$ en la maximización interna) de la mapeo predictivo (que depende de $X$ en la minimización externa). Esto permite utilizar la información de $Z$ (atributos sensibles) durante la calibración para guiar la construcción de $C(X)$, incluso si $Z$ no está disponible en el momento de la prueba.

D. Implementación Empírica

Dado que el indicador de error $\mathbb{1}\{Y \notin C(X)\}$ no es diferenciable, MOPI utiliza un surrogado suave (ej. función sigmoide o error gaussiano) para permitir la optimización mediante descenso de gradiente estocástico.

• Para dominios finitos de $Z$, la maximización interna tiene una forma cerrada (cuadrática).
• Para dominios infinitos (RKHS), se utiliza el teorema del representer para obtener una solución cerrada basada en matrices de kernel.

3. Contribuciones Clave

1. Generalización de la Calibración Condicional: MOPI generaliza el principio de calibración condicional (Gibbs et al., 2025) permitiendo que la geometría del conjunto de predicción evolucione con la densidad de datos local, superando la rigidez de los subniveles fijos.
2. Interpretación Estadística Rigurosa: Se demuestra que el objetivo minimax es equivalente a minimizar el Error Cuadrático Medio de Cobertura (MSCE):
   $$\text{MSCE}(C) = \mathbb{E}\left[ (P\{Y \notin C(X) \mid Z\} - \alpha)^2 \right]$$
   Esto proporciona una justificación teórica sólida para la optimalidad del método.
3. Desacoplamiento de Variables Condicionales: MOPI es el primer marco que permite la cobertura condicional válida sobre atributos sensibles ($Z$) que están enmascarados en la fase de prueba, un requisito crucial para la equidad algorítmica.
4. Resultados Teóricos No Asintóticos: Se establecen desigualdades de oráculo no asintóticas para el MSCE. Se demuestran tasas de convergencia óptimas (orden $O(1/\sqrt{n})$) para clases de funciones de dimensión finita y RKHS, coincidiendo con los límites óptimos conocidos hasta factores logarítmicos.
5. Guía Práctica para $\mathcal{F}$: Se proporciona una guía para seleccionar la clase de funciones de peso $\mathcal{F}$ según la cardinalidad de $Z$ (paramétrica para finito, RKHS para continuo), facilitando la implementación.

4. Resultados Experimentales

Los autores evaluaron MOPI en datos sintéticos y reales, comparándolo con:

• SCP: Predicción conformal dividida (Split Conformal Prediction).
• CC: Calibración condicional (Gibbs et al., 2025).
• RLCP: Predicción conformal localizada aleatoria.

Hallazgos principales:

• Cobertura Condicional Superior: MOPI logra tasas de cobertura condicional (test-conditional y group-conditional) mucho más cercanas al nivel nominal (90%) que los métodos basales, especialmente en regiones de alta heterocedasticidad.
• Eficiencia (Volumen del Conjunto): MOPI produce conjuntos de predicción significativamente más pequeños (menor volumen) que los basales, manteniendo la validez. Esto se debe a su capacidad de "rotar" y ajustar la forma del conjunto (elipsoides adaptativos) en lugar de solo escalarlos.
• Robustez ante Enmascaramiento: En el experimento con el conjunto de datos "Communities and Crime" (donde la raza es una variable sensible enmascarada en la prueba), MOPI mantuvo una cobertura equilibrada entre grupos raciales, mientras que CC y RLCP fallaron al no poder usar la información de $Z$ durante la calibración.
• Datos Multivariados: En regresión con etiquetas multidimensionales, MOPI capturó las correlaciones entre variables de salida, generando elipsoides alineados con la estructura de los datos, algo que los métodos basales no lograron.

5. Significado e Impacto

Este trabajo representa un avance significativo en la teoría y práctica de la predicción conformal:

1. Flexibilidad Geométrica: Rompe la barrera de los conjuntos de predicción de forma fija, permitiendo que la incertidumbre se modele con la complejidad geométrica necesaria para datos multivariados reales.
2. Equidad Algorítmica: Ofrece una solución teórica y práctica para garantizar la equidad en la incertidumbre (equalized coverage) incluso cuando los atributos sensibles no están disponibles en tiempo de inferencia, un problema abierto en la literatura.
3. Fundamento Teórico Sólido: Al conectar la optimización minimax con la minimización del MSCE y proporcionar tasas de convergencia óptimas, MOPI establece un nuevo estándar para la validación de métodos de inferencia predictiva condicional.

En resumen, MOPI no solo mejora la precisión y eficiencia de los conjuntos de predicción, sino que también resuelve limitaciones críticas en la aplicación de la predicción conformal a problemas del mundo real donde la heterogeneidad de los datos y la privacidad de los atributos son factores determinantes.