Resumen Técnico: QUEST para la Cuantificación de la Incertidumbre mediante Regiones de Máxima Densidad

1. Planteamiento del Problema

La cuantificación de la incertidumbre (UQ, por sus siglas en inglés) es crítica para una toma de decisiones fiable en el aprendizaje automático probabilístico orientado a la seguridad. Mientras que las medidas basadas en la entropía son el estándar para la clasificación, la UQ en regresión ha dependido mayoritariamente de las Reglas de Puntuación Adecuadas (PSR), que operacionalizan la incertidumbre como el riesgo predictivo puntual de un modelo respecto a la distribución real.

Los autores identifican un fallo fundamental en los enfoques basados en PSR (como la varianza y la entropía diferencial) cuando el estadístico objetivo no es la esperanza condicional (media). En muchos entornos prácticos —como el aprendizaje por refuerzo o el modelado bayesiano— el objetivo es la moda condicional (Máxima A Posteriori, o MAP). En presencia de asimetría, multimodalidad o valores atípicos, la media y la moda pueden divergir significativamente. Las medidas estándar como la varianza suelen sobreestimar la incertidumbre en estos casos porque son sensibles a la masa de la cola en lugar de a la concentración de probabilidad alrededor de la moda. Además, los marcos axiomáticos existentes para la UQ en regresión a menudo no cumplen con propiedades intuitivas como la monotonicidad bajo la dispersión de la distribución o la invarianza ante desplazamientos de localización cuando se aplican a distribuciones no gaussianas o asimétricas.

2. Metodología: El Marco QUEST

El artículo introduce QUEST (Quantifying Uncertainty via highest dEnSiTy regions), un marco que caracteriza la incertidumbre mediante el volumen del subconjunto más probable del soporte de una distribución, en lugar de mediante el riesgo puntual.

Conceptos Clave

• Regiones de Máxima Densidad (HDRs): Para una función de densidad de probabilidad (PDF) $p$ y un parámetro de robustez $\alpha \in (0,1)$, la $(1-\alpha)$-HDR ($C_\alpha$) es el conjunto más pequeño que contiene $1-\alpha$ de la masa de probabilidad. Se define como $C_\alpha = \{x : p(x) \ge t_\alpha(p)\}$, donde $t_\alpha$ es el umbral que asegura la restricción de masa.
• $\alpha$-Volumen (Medida Local): Definido como $V_\alpha(p) := \lambda(C_\alpha)$, donde $\lambda$ es la medida de Lebesgue. Esto mide el "tamaño" de la región que contiene el grueso de la masa de probabilidad. Los volúmenes pequeños indican alta concentración (baja incertidumbre); los volúmenes grandes indican dispersión (alta incertidumbre).
• Volumen Integrado (Medida Global): Definido como $IV(p) = \int_0^1 V_\alpha(p) d\alpha$. Este resume toda la curva de cobertura, proporcionando una evaluación global de la concentración. Los autores establecen una equivalencia geométrica entre la curva de cobertura y la curva de Lorenz de la economía, y entre el volumen integrado y el coeficiente de Gini.

Tipología de la Incertidumbre en QUEST

El marco define tres tipos de incertidumbre basados en una segunda distribución $q$ (que representa las creencias sobre los parámetros $\theta$) y la verdadera distribución de la realidad $p_{\theta^*}$:

1. Incertidumbre Aleatoria (AU): Cuantificada por el volumen de la HDR de la distribución real $p_{\theta^*}$. Esta captura la incertidumbre irreducible inherente al proceso generador de datos.
   • Local: $V_\alpha(p_{\theta^*})$
   • Global: $IV(p_{\theta^*})$
2. Incertidumbre Epistémica (EU): Cuantificada por el volumen de la HDR de la segunda distribución $q$. A diferencia de los enfoques estándar que tratan la EU como un residuo (Total - Aleatoria), QUEST trata la EU como una medida puramente subjetiva de la concentración de las creencias del agente, independiente de la verdad.
   • Local: $V_\alpha(q)$
   • Global: $IV(q)$
3. Incertidumbre Total (TU): Definida mediante una interacción entre AU y EU. Dado que la AU y la EU existen en espacios diferentes, no se suman simplemente. En su lugar, la TU se modela como el volumen de la AU escalado por un factor de penalización derivado de la divergencia entre la densidad condicional verdadera y la densidad condicional predictiva dentro de sus respectivas HDRs.
   • Fórmula: $TU = V_\alpha(p_{\theta^*}) \cdot g_f(D_f(p^*_\alpha || \hat{p}_\alpha))$
   • Aquí, $D_f$ es una $f$-divergencia admisible (por ejemplo, la Variación Total) y $g_f$ es una función estrictamente creciente que penaliza el desalineamiento entre la creencia del agente y la verdad.

3. Contribuciones Principales

El artículo realiza cuatro contribuciones primarias:

1. Conceptual: Propone una interpretación centrada en el volumen de la incertidumbre basada en la concentración de la densidad y un parámetro de robustez $\alpha$ suministrado por el usuario, ofreciendo una alternativa a las medidas de PSR basadas en el riesgo.
2. Metodológica: Introduce nuevas medidas locales ($\alpha$-volumen) y globales (volumen integrado) para la incertidumbre aleatoria y epistémica. Establece conexiones teóricas entre estas medidas y la estadística clásica de la teoría de la información (entropía diferencial) y la economía (curvas de Lorenz, coeficientes de Gini).
3. Teórica: Demuestra que las medidas QUEST para AU y EU satisfacen un conjunto de axiomas adaptados de la literatura de UQ (A0–A5). Estos incluyen la no negatividad, la minimización en masas de Dirac, la monotonicidad bajo "nivelación" (dispersión de la distribución) y la invarianza ante desplazamientos de localización. Notablemente, el artículo argumenta que la Incertidumbre Total (TU) no debería satisfacer el axioma de monotonicidad (A4) en todos los casos, ya que la mejora en la calibración (reducción de la TU) puede ocurrir incluso si la incertidumbre epistémica aumenta.
4. Empírica: Valida el marco mediante pruebas de predicción selectiva. Los resultados muestran que QUEST (particularmente la medida global) supera a la varianza y a la entropía diferencial en entornos sesgados y multimodales, logrando clasificaciones más precisas de la fiabilidad de la predicción.

4. Resultados Experimentales

Los autores evaluaron QUEST frente a la varianza, la entropía diferencial y líneas de base aleatorias utilizando ensambles de expertos mixtos profundos (deep mixture-of-experts) en tres procesos generadores de datos (DGP) sintéticos:

• Gaussiana Unimodal: Todos los métodos se comportaron de manera similar, como era de esperar.
• Sesgada Unimodal: La varianza y la entropía tuvieron dificultades debido a su sensibilidad a la masa de la cola. QUEST proporcionó clasificaciones de incertidumbre más fiables.
• Mezcla Bimodal: Las medidas estándar a menudo clasifican erróneamente la incertidumbre en entornos multimodales. QUEST superó significativamente a la varianza y a la entropía, identificando correctamente las regiones de alta concentración de densidad.

En las tareas de predicción selectiva (donde las predicciones se realizan solo sobre las muestras más ciertas), QUEST (global) logró una pérdida menor en todas las pruebas en comparación con sus competidores. Un experimento complementario de aprendizaje activo mostró que QUEST se desempeña a la par de la varianza y la entropía, aunque los autores señalan que el rendimiento de QUEST es sensible a la calidad de la estimación del modelo de la densidad real en entornos que no son de oráculo.

5. Significación y Reivindicaciones

El artículo afirma que QUEST aborda patologías específicas de las UQ basadas en PSR, particularmente cuando el objetivo es la moda en lugar de la media. Al desplazar el enfoque del riesgo puntual a la concentración de la medida, QUEST proporciona una caracterización más intuitiva y robusta de la incertidumbre en distribuciones no gaussianas, sesgadas o multimodales.

Los autores enfatizan que su enfoque:

• Evita los resultados contraintuitivos de las medidas basadas en la varianza en presencia de valores atípicos o sesgo.
• Proporciona una base axiomática sólida para la AU y la EU que respeta la geometría de las densidades de probabilidad.
• Ofrece un marco flexible donde el parámetro de robustez $\alpha$ permite a los usuarios controlar la sensibilidad a las fluctuaciones de la cola.

El artículo concluye con modestia, reconociendo limitaciones tales como el supuesto de continuidad absoluta con respecto a la medida de Lebesgue y el coste computacional de estimar las HDR en altas dimensiones. Sugiere que el trabajo futuro consistirá en extender el marco a la inferencia estadística y en el manejo de distribuciones con átomos o soportes de menor dimensión.