Weighted Bayesian Conformal Prediction

Resumen Técnico: Weighted Bayesian Conformal Prediction (WBCP)

1. El Problema: Brechas en la Cuantificación de Incertidumbre

El artículo aborda dos niveles fundamentales de incertidumbre en los sistemas de predicción que las metodologías actuales no resuelven simultáneamente:

1. Incertidumbre Predictiva (Nivel 1): El riesgo de que el resultado real caiga fuera del intervalo de predicción. La Predicción Conformal (CP) estándar garantiza esto bajo el supuesto de intercambiabilidad, proporcionando intervalos con cobertura finita. Sin embargo, CP produce un único umbral determinista ($\hat{q}$) sin indicar su fiabilidad.
2. Meta-incertidumbre (Nivel 2): La incertidumbre sobre el propio umbral $\hat{q}$. ¿Es este umbral bien determinado por los datos de calibración o podría variar significativamente si los datos fueran ligeramente diferentes?
   • Limitación de BQ-CP: Recientemente, Snell & Griffiths (2025) propusieron la Predicción Conformal como Cuadratura Bayesiana (BQ-CP), que modela la incertidumbre del umbral mediante una distribución posterior (Dirichlet). Esto permite garantías condicionales a los datos, pero solo funciona bajo el supuesto estricto de datos i.i.d. (independientes e idénticamente distribuidos).
   • Limitación de CP Ponderado: La Predicción Conformal Ponderada maneja cambios de distribución (covariate shift) mediante pesos de importancia, pero sigue siendo frecuentista, entregando solo un umbral puntual sin cuantificar la meta-incertidumbre.

La Brecha: No existía un método que combinara la robustez ante cambios de distribución de la CP ponderada con la cuantificación de la meta-incertidumbre (distribución posterior) de la BQ-CP.

2. Metodología: Weighted Bayesian Conformal Prediction (WBCP)

Los autores proponen WBCP, una generalización de BQ-CP que funciona en entornos con pesos de importancia arbitrarios.

• Núcleo Teórico:

  • En BQ-CP, los espacios de cuantiles se modelan con una distribución Dirichlet uniforme: $Dir(1, \dots, 1)$.
  • En WBCP, se reemplaza esto por una Dirichlet ponderada:
    $$Dir(n_{eff} \cdot \tilde{w}_1, \dots, n_{eff} \cdot \tilde{w}_n)$$
    Donde:
    • $\tilde{w}_i$ son los pesos de importancia normalizados.
    • $n_{eff}$ es el tamaño de muestra efectivo de Kish, calculado como:
      $$n_{eff} = \frac{(\sum w_i)^2}{\sum w_i^2}$$

• Justificación:

  • Bootstrap Bayesiano Ponderado: La construcción se basa en el weighted Bayesian bootstrap de Newton y Raftery (1994).
  • Calibración de Varianza: Se demuestra que usar $n_{eff}$ como parámetro de concentración es la única elección que hace coincidir la varianza posterior bayesiana con la varianza de muestreo frecuentista del estimador ponderado.
  • Interpretación: Si los pesos son uniformes, $n_{eff} = n$ y se recupera BQ-CP. Si los pesos son muy desiguales (pocos puntos relevantes), $n_{eff} \ll n$, lo que resulta en una posterior difusa (alta incertidumbre), comunicando honestamente la falta de información.

• Algoritmo:

  1. Calcular puntuaciones de no conformidad ($\rho_i$) y pesos ($w_i$).
  2. Calcular $n_{eff}$.
  3. Muestrear vectores $u$ de la distribución Dirichlet ponderada.
  4. Derivar umbrales $\lambda$ para cada muestra.
  5. Obtener el umbral HPD (Densidad Posterior Más Alta) y la desviación estándar posterior ($\sigma_{post}$).

3. Contribuciones Clave

Los autores presentan cuatro resultados teóricos principales:

1. Consistencia de Calibración: Se prueba que $n_{eff}$ es el parámetro de concentración único que asegura que la varianza posterior bayesiana coincida con la varianza frecuentista del estimador ponderado.
2. Tasa de Concentración Posterior: Se demuestra que la desviación estándar posterior decae como $O(1/\sqrt{n_{eff}})$. Esto significa que en regiones con alta densidad de datos efectivos, el intervalo es preciso; en regiones con pocos datos, la incertidumbre aumenta automáticamente.
3. Dominio Estocástico Ponderado: Se extiende la garantía de dominio estocástico de BQ-CP a configuraciones ponderadas, proporcionando garantías condicionales a los datos para cada perfil de pesos específico.
4. Límite de Cobertura Condicional: El umbral HPD proporciona una mejora de $O(1/\sqrt{n_{eff}})$ en la cobertura condicional sobre la tasa marginal estándar. La mejora es mayor donde $n_{eff}$ es bajo (donde la CP estándar es menos fiable).

4. Resultados Experimentales

El método se validó en dos contextos:

• Datos Sintéticos Espaciales:
  • Se generaron datos con ruido espacial heterogéneo (alta densidad/bajo ruido vs. baja densidad/alto ruido).
  • Hallazgo: WBCP mantuvo la cobertura objetivo (>90%) mientras que la desviación estándar posterior ($\sigma_{post}$) se correlacionó fuertemente con la estructura de ruido conocida. WBCP identificó correctamente las zonas de baja fiabilidad.
• Datos del Mundo Real (Precios de Viviendas en Seattle):
  • Se comparó CP Estándar, CP Ponderada (GeoCP), BQ-CP y WBCP (GeoBCP).
  • Resultados: GeoBCP mantuvo una cobertura superior al objetivo (95% vs 90% deseado) con un aumento moderado en el ancho del intervalo.
  • Diagnósticos Espaciales: WBCP proporcionó mapas de $n_{eff}$ y $\sigma_{post}$. Mostró que las ubicaciones centrales (muchos datos comparables) tienen alta confianza ($n_{eff} > 240$, $\sigma_{post}$ bajo), mientras que las periféricas tienen baja confianza ($n_{eff} < 120$, $\sigma_{post}$ alto). Esta información de "meta-incertidumbre" es invisible para los métodos anteriores.

5. Significado e Impacto

• Unificación: WBCP cierra la brecha teórica entre la robustez ante cambios de distribución (CP ponderada) y la cuantificación de incertidumbre bayesiana (BQ-CP).
• Aplicabilidad: Es crucial para aplicaciones de alto riesgo (finanzas, salud, predicción espacial) donde no solo importa el intervalo de predicción, sino saber qué tan confiable es ese intervalo dado el contexto local de los datos.
• Diagnóstico Automatizado: Proporciona herramientas intrínsecas (mapas de $n_{eff}$) para identificar dónde los modelos carecen de soporte estadístico, guiando la recolección de datos dirigida.
• Generalización: El marco es aplicable más allá de la predicción espacial, incluyendo adaptación de dominio, predicción justa (fairness-aware) y corrección de covariables.

En resumen, WBCP transforma la predicción conformal de un método que entrega un "sí/no" sobre la cobertura, a un sistema que entrega un intervalo de predicción junto con una medida rigurosa de la confianza estadística en ese intervalo, adaptándose dinámicamente a la calidad y distribución de los datos de calibración.