Minimum Volume Conformal Sets for Multivariate Regression

1. Planteamiento del Problema

La predicción conformal ofrece un marco riguroso para construir conjuntos predictivos con validez de muestra finita, garantizando que la respuesta verdadera esté contenida en el conjunto con una probabilidad de al menos $1-\alpha$. Sin embargo, la mayoría de los métodos existentes se centran en variables de respuesta univariadas.

En el contexto de la regresión multivariada (donde la respuesta $Y \in \mathbb{R}^k$ es un vector), los enfoques actuales presentan limitaciones significativas:

• Rectángulos cartesianos: Extender intervalos marginales ignoran las dependencias entre dimensiones, resultando en conjuntos excesivamente conservadores e ineficientes.
• Elipsoides: Asumen simetría elíptica y dependen de matrices de covarianza empíricas, lo que limita su adaptabilidad a distribuciones complejas o no elípticas.
• Métodos flexibles (Copulas, Densidad, Transporte Óptimo): Aunque capturan dependencias complejas, a menudo carecen de un criterio explícito de minimización de volumen, lo que genera conjuntos innecesariamente grandes, o son computacionalmente costosos y no escalan bien en altas dimensiones.

El objetivo central es desarrollar un marco que construya conjuntos de predicción multivariados que sean:

1. Válidos: Garanticen la cobertura $1-\alpha$ con validez de muestra finita.
2. Eficientes: Minimicen el volumen del conjunto de predicción.
3. Adaptativos: Se ajusten a la geometría y heterocedasticidad de los datos residuales sin asumir formas geométricas rígidas.

---

2. Metodología Propuesta

Los autores proponen un marco impulsado por la optimización que integra el aprendizaje supervisado con la estimación de incertidumbre. La metodología se divide en tres componentes principales:

A. Conjuntos de Cobertura de Volumen Mínimo (MVCS)

El núcleo del método es resolver un problema de optimización para encontrar el conjunto de volumen mínimo que cubra una fracción $1-\alpha$ de un conjunto de puntos dados en $\mathbb{R}^k$.

• Formulación: En lugar de fijar una forma geométrica, se optimiza sobre bolas de normas arbitrarias. Se define un conjunto $B(\|\cdot\|, M, \mu) = \{y \in \mathbb{R}^k \mid \|M(y-\mu)\| \leq 1\}$, donde $M$ define la forma y $\mu$ el centro.
• Optimización de la Norma ($p$): A diferencia de métodos fijos, el marco permite aprender el parámetro $p$ de la norma $p$-norma ($p \in (0, \infty)$). Esto permite que el conjunto se adapte a la anisotropía de los datos (ej. formas alargadas para $p < 1$, elipsoides para $p=2$, hiperrectángulos para $p \to \infty$).
• Normas Múltiples: Se extiende a formulaciones multi-norma, donde el espacio se particiona en regiones (ej. cuadrantes) y cada región tiene su propia norma $p_j$ y escala, permitiendo conjuntos asimétricos y altamente flexibles.
• Algoritmo de Optimización: Dado que el problema es no convexo, se reformula utilizando una estructura Diferencia de Convexos (DC) y se resuelve mediante el Algoritmo de Diferencia de Convexos (DCA) o relajaciones convexas. También se emplean métodos de optimización de primer orden (gradiente) para aprender simultáneamente la matriz de transformación, el centro y el parámetro $p$.

B. Aprendizaje Supervisado con Conjuntos Adaptativos

El marco se integra con un modelo predictivo $f_\theta$.

• Optimización Conjunta: En lugar de ajustar el modelo y luego construir el conjunto, se optimiza conjuntamente el predictor $f_\theta$ y los parámetros de incertidumbre ($M, p$). Esto alinea el modelo predictivo con el criterio de volumen mínimo.
• Adaptabilidad Local: Se introduce una matriz de transformación dependiente de las covariables $M(x)$, aprendida mediante redes neuronales. Esto permite capturar la heterocedasticidad (la incertidumbre varía según $x$), ajustando el tamaño y la forma del conjunto de predicción para cada punto de entrada específico.

C. Conformalización

Para garantizar la validez teórica de muestra finita:

• Se utiliza el marco de predicción conformal dividida (split conformal).
• Los datos se dividen en entrenamiento, calibración y prueba.
• Se aprenden los conjuntos MVCS en el conjunto de entrenamiento.
• Se calculan puntuaciones de no conformidad basadas en la distancia transformada (norma aprendida) en el conjunto de calibración.
• Se determina un umbral empírico (cuantil) para escalar los conjuntos aprendidos, garantizando la cobertura marginal $1-\alpha$ sin asumir distribuciones subyacentes.

---

3. Contribuciones Clave

1. Marco de Optimización para MVCS: Introducción de un marco general para construir conjuntos de volumen mínimo en $\mathbb{R}^k$ que permiten normas arbitrarias y múltiples, superando las limitaciones de las formas elípticas o rectangulares fijas.
2. Aprendizaje de la Estructura de la Norma: Capacidad de aprender automáticamente el parámetro $p$ (y múltiples $p$ por región) a partir de los datos, permitiendo que la geometría del conjunto de predicción se adapte a la distribución subyacente de los residuos.
3. Optimización Conjunta Predictor-Incertidumbre: Propuesta de un esquema de optimización integrado que aprende simultáneamente el modelo predictivo y la estructura de incertidumbre, resultando en conjuntos más ajustados y eficientes.
4. Adaptabilidad Local y Escalabilidad: Extensión del método para manejar heterocedasticidad mediante transformaciones locales $M(x)$, manteniendo una eficiencia computacional adecuada para conjuntos de datos reales.
5. Garantías de Validez: Integración con la teoría conformal para proporcionar garantías de cobertura de muestra finita, independientemente de la complejidad de la optimización interna.

---

4. Resultados Experimentales

Los autores validaron su método (denominado MVCS) en diversos escenarios:

• Datos Sintéticos:

  • En distribuciones gaussianas y exponenciales, el método aprende valores de $p$ óptimos (ej. $p \approx 2$ para gaussianas, $p < 1$ o $p > 2$ para exponenciales) que se alinean con la estructura de los datos.
  • En presencia de heterocedasticidad, los conjuntos adaptativos locales logran volúmenes significativamente menores que los métodos globales, ajustando su forma y tamaño según la región del espacio de características.
  • Robustez a Outliers: El método demostró ser robusto frente a datos contaminados, manteniendo la cobertura válida donde los métodos basados en cuantiles (pérdida pinball) fallaron al verse afectados por valores extremos.

• Datos Reales (9 Conjuntos de Datos Benchmark):

  • Se comparó contra: Regresión Cuantil Naïve, Covarianza Empírica Global y Covarianza Empírica Local.
  • Volumen: El método MVCS logró consistentemente el volumen promedio más pequeño en la mayoría de los experimentos (16 de 18 casos para $\alpha=0.1$), normalizado por la dimensión.
  • Cobertura: Mantuvo la cobertura marginal deseada (ej. 90% o 99%) en todos los casos, demostrando que la reducción de volumen no compromete la validez estadística.

---

5. Significado e Impacto

Este trabajo representa un avance significativo en la cuantificación de incertidumbre para regresión multivariada:

• Eficiencia y Adaptabilidad: Resuelve el compromiso tradicional entre la validez de la cobertura y la eficiencia del conjunto (volumen). Al aprender la geometría óptima en lugar de asumirla, se obtienen conjuntos predictivos mucho más informativos y menos conservadores.
• Generalización: Al no depender de supuestos paramétricos fuertes (como normalidad o simetría elíptica), el método es aplicable a una amplia gama de distribuciones de datos complejas y reales.
• Marco Unificado: Proporciona un enfoque unificado que combina la flexibilidad del aprendizaje profundo (para modelar $f_\theta$ y $M(x)$) con las garantías estadísticas rigurosas de la predicción conformal.
• Aplicabilidad Práctica: La metodología es escalable y computacionalmente eficiente, lo que la hace viable para aplicaciones en el mundo real donde la precisión en la estimación de incertidumbre es crítica (ej. robótica, finanzas, control de procesos).

En resumen, los autores presentan una solución elegante y potente que transforma la construcción de conjuntos de predicción de un problema de ajuste geométrico fijo a un problema de optimización de aprendizaje automático, logrando conjuntos más pequeños, precisos y adaptativos.