Resumen Técnico: Predicción Conforme Multidistribución

Planteamiento del Problema

El artículo aborda el desafío de construir conjuntos de predicción que mantengan garantías de cobertura válidas cuando los datos de prueba pueden originarse en un miembro arbitrario o una mezcla de $K$ distribuciones de origen heterogéneas. En muchos escenarios del mundo real —como la predicción de riesgos clínicos en diferentes hospitales, la equidad entre grupos protegidos sin observar las etiquetas de grupo, o el aprendizaje de múltiples fuentes— la distribución de prueba es desconocida y puede diferir significativamente de la distribución de entrenamiento.

La predicción conforme estándar, cuando se calibra sobre datos agrupados, solo garantiza la cobertura para la distribución de mezcla específica inducida por la muestra de entrenamiento. Por el contrario, calibrar sobre una sola fuente no garantiza la cobertura cuando el punto de prueba proviene de una fuente diferente. Los autores formalizan el objetivo como la construcción de un único conjunto de predicción $\hat{C}(X_{n+1})$ que logre una cobertura uniforme:
$$\min_{k \in [K]} \mathbb{P}_{D \times P^{(k)}} \left( Y_{n+1} \in \hat{C}(X_{n+1}) \right) \ge 1 - \alpha$$
Esto asegura que la garantía de cobertura se cumpla simultáneamente para todas las posibles distribuciones de origen, independientemente de cuál haya generado el punto de prueba.

Metodología: Predicción Conforme de Distribución Múltiple (MDCP)

El marco propuesto, MDCP, consta de dos componentes principales: un mecanismo de validez y una estrategia de optimización de eficiencia.

1. Agregación Max-p para la Validez

La base del método es un esquema de agregación libre de distribución.

• P-valores de Fuente Única: Para cada fuente $k$, se calcula un puntaje de conformidad $s_k$. Se deriva un p-valor conformal $p^{(k)}(y)$ para un candidato a etiqueta $y$ basado en el pliegue de calibración de la fuente $k$.
• Agregación: El método agrega estos p-valores tomando su máximo: $p(y) = \max_{k \in [K]} p^{(k)}(y)$.
• Conjunto de Predicción: El conjunto de predicción final es el conjunto de etiquetas donde el p-valor agregado supera el nivel de significancia $\alpha$: $\hat{C}(X) = \{ y : p(y) \ge \alpha \}$.
• Garantía Teórica: Los autores demuestran que este conjunto agregado es exactamente la unión de los conjuntos conformes de fuente única. En consecuencia, proporciona validez uniforme de muestra finita para cualquier mezcla de las distribcciones de origen, sin requerir el conocimiento de la fuente del punto de prueba.

2. Optimización de la Eficiencia mediante Formulación Dual

Si bien la agregación max-p asegura la validez, la aplicación ingenua de esta a los puntajes estándar de fuente única a menudo resulta en conjuntos de predicción excesivamente conservadores (grandes). Para abordar esto, el artículo deriva el conjunto de predicción óptimo a nivel de población que minimiza el tamaño sujeto a restricciones de cobertura uniforme.

• Puntaje Óptimo: Los autores muestran que el conjunto de predicción óptimo corresponde al conjunto supernivel de un puntaje de conformidad "compartido" $h^*(x, y) = \sum_{k=1}^K \lambda_k^*(x) f_k(y|x)$, donde $f_k$ es la densidad condicional de la fuente $k$ y $\lambda_k^*(x)$ son pesos duales no negativos.
• Aprendizaje de los Pesos: Los pesos $\lambda_k^*(x)$ se determinan resolviendo un problema de optimización dual que equilibra las restricciones de cobertura entre las fuentes.
• Algoritmo Empírico: El artículo propone un procedimiento de extremo a extremo para aprender estos pesos:
  1. Ajustar modelos de densidad condicional (o clasificadores) para cada fuente y un modelo agrupado.
  2. Parametrizar las funciones de peso $\lambda_k(x)$ (por ejemplo, usando splines o redes neuronales).
  3. Optimizar un objetivo dual empírico (derivado del Lagrangiano del problema de la población) para aprender los parámetros $\hat{\Theta}$.
  4. Construir el conjunto MDCP final utilizando los puntajes aprendidos y la agregación max-p.

Principales Contribuciones

1. Esquema de Agregación Max-p General: Introducción de un mecanismo sencillo y libre de distribución que logra cobertura uniforme de muestra finita a través de múltiples fuentes heterogéneas mediante la agregación de p-valores conformes de fuente única.
2. Caracterización de la Optimalidad: Derivación teórica de los conjuntos de predicción óptimos bajo restricciones de cobertura uniforme. Los autores demuestran que la agregación max-p es asintóticamente óptima y ajustada cuando se combina con los puntajes de conformidad correctamente aprendidos (específicamente, el puntaje compartido óptimo $h^*$).
3. Algoritmo de Extremo a Extremo: Un pipeline práctico para aprender los puntajes de conformidad óptimos tanto para tareas de clasificación como de regresión, utilizando la minimización del riesgo empírico sobre un objetivo dual.
4. Validación Empírica: Experimentos extensos que demuestran que MDCP logra una cobertura de caso peor ajustada mientras reduce significativamente los tamaños de los conjuntos de predicción en comparación con los baselines de agregación ingenua.

Resultados

El artículo evalúa MDCP en datos sintéticos y tres conjuntos de datos del mundo real:

• Experimentos Sintéticos: A través de configuraciones lineales, no lineales y de temperatura variable (heterogeneidad) tanto para clasificación como para regresión, MDCP mantiene consistentemente una cobertura de caso peor cercana al nivel nominal ($1-\alpha$). En contraste, los baselines de fuente única sufren de sub-cobertura en datos desplazados, y la agregación ingenua (BASELINE-AGG) es excesivamente conservadora. MDCP reduce los tamaños de los conjuntos de predicción aproximadamente un 34% en clasificación y un 22% en regresión en comparación con la agregación ingenua, acercándose a menudo a la eficiencia de un oráculo con acceso a las densidades reales.
• Aplicaciones del Mundo Real:
  • FMoW (Imágenes Satelitales): Demuestra robustez contra desplazamientos geográficos a través de seis regiones. MDCP proporciona cobertura válida en todas las regiones con tamaños de conjunto menores que algunos conjuntos de fuente única.
  • PovertyMap: Aborda desplazos urbano-rurales. MDCP mantiene una cobertura ajustada donde los métodos de fuente única fallan (cobertura tan baja como 0.6) y la agregación ingenua es demasiado amplia.
  • MEPS (Gastos Médicos): Maneja la heterogeneidad a través de grupos sensibles (raza) sin requerir etiquetas de grupo en el tiempo de inferencia. MDCP logra cobertura ecualizada e intervalos más cortos en comparación con los baselines.

Significado y Reivindicaciones

El artículo afirma que MDCP ofrece una solución robusta para la cuantificación de la incertidumbre en entornos heterogéneos, cerrando la brecha entre la robustez distributiva y la equidad.

• Equidad sin Atributos Protegidos: El método permite garantías de cobertura condicional al grupo (asegurando la fiabilidad para todos los subgrupos) sin necesidad de observar el atributo del grupo sensible durante la inferencia, abordando una limitación crítica en el aprendizaje automático justo.
• Protección contra el Desplazamiento de Subpoblaciones: Proporciona garantías contra desplazamientos arbitrarios de subpoblaciones, asegurando la fiabilidad incluso cuando la distribución de prueba es una mezcla de fuentes diferentes de la mezcla de entrenamiento.
• Compromiso entre Eficiencia y Validez: El trabajo demuestra que es posible lograr la validez uniforme sin las severas penalizaciones de eficiencia que típicamente se asocian con la robustez de caso peor, siempre que se aprenda un puntaje de conformidad compartido apropiado.

Los autores posicionan a MDCP como una alternativa práctica a la predicción conforme estándar en entornos de múltiples fuentes, ofreciendo garantías exactas de muestra finita y optimalidad asintótica bajo condiciones de consistencia leves.