Not Just How Much, But Where: Decomposing Epistemic Uncertainty into Per-Class Contributions

Este artículo propone descomponer la incertidumbre epistémica en contribuciones por clase mediante un vector ponderado que supera las limitaciones de la información mutua escalar para identificar ignorancia en clases críticas, demostrando su superioridad en tareas de predicción selectiva, detección de distribuciones fuera de entrenamiento y estudios de ruido de etiquetas.

Lo esencial

Imagina que tienes un médico experto en Inteligencia Artificial (una red neuronal) al que le pides diagnosticar enfermedades de la vista. Este médico es muy bueno, pero como cualquier humano, a veces duda.

El problema es que en medicina, no todas las dudas son iguales.

• Si el médico duda si un ojo está "un poco cansado" o "muy cansado", es un problema menor.
• Pero si el médico duda entre "todo está bien" y "hay un tumor que te dejará ciego", ¡eso es una emergencia!

Hasta ahora, las herramientas de IA solo nos decían: "Oye, este médico está muy inseguro" (un solo número). Pero no nos decían sobre qué estaba inseguro. Podía ser una duda sobre algo trivial o sobre algo que salva vidas.

Este paper propone una nueva forma de medir la duda, no solo cuánta hay, sino dónde está.

Aquí te lo explico con analogías sencillas:

1. El problema: El "Termómetro" ciego

Imagina que la "inseguridad" del médico es como la temperatura de un paciente.

• El método antiguo (Mutual Information): Es como un termómetro que solo te dice: "¡El paciente tiene fiebre de 40 grados!". Sabe que hay un problema grave, pero no sabe si es una gripe leve o una infección mortal. Es un solo número que resume todo el caos.
• El problema real: En seguridad crítica (como conducir un coche autónomo o diagnosticar cáncer), no nos importa solo que haya "fiebre", sino qué órgano está fallando.

2. La solución: El "Mapa de Calor" por clase

Los autores crearon una nueva herramienta llamada $C_k$. En lugar de un solo número, ahora tenemos un vector (una lista de números), uno para cada posible enfermedad.

• La analogía del mapa de calor: Imagina que el médico tiene un mapa de su cerebro. Antes, solo veíamos un punto rojo brillante que decía "¡Duda!". Ahora, con esta nueva herramienta, vemos dónde está el rojo.
  • Si el rojo está en la zona de "Enfermedad leve", podemos ignorarlo.
  • Si el rojo está en la zona de "Enfermedad mortal", ¡alerta máxima! Debemos pedir ayuda a un humano inmediatamente.

3. El truco matemático: ¿Por qué no basta con contar los errores?

Aquí viene la parte más ingeniosa. El equipo descubrió un truco matemático (basado en cómo funciona la "entropía" o el desorden) para corregir un error de la física de la probabilidad.

• El problema de los "pocos casos": Imagina que el médico nunca ha visto un caso de "Enfermedad Rara". Cuando ve uno, su cerebro se confunde mucho. Pero como es tan raro, las matemáticas antiguas decían: "Bueno, como es raro, su duda debe ser pequeña". ¡Falso! Su duda debería ser enorme.
• La corrección mágica ($1/\mu_k$): Los autores añadieron un "amplificador" matemático. Es como si tuvieras un micrófono que se hace más sensible cuanto más silencioso es el sonido.
  • Si la enfermedad es común (el médico la ve mucho), el micrófono está normal.
  • Si la enfermedad es rara (el médico casi nunca la ve), el micrófono grita para que escuchemos su duda.
  • Resultado: Ahora podemos detectar cuando el médico está aterrorizado por un caso raro y peligroso, algo que los métodos antiguos ignoraban.

4. ¿Para qué sirve esto en la vida real?

El paper prueba esto en tres escenarios:

1. Diagnóstico de Retinopatía Diabética (Ceguera):

   • Usaron la nueva herramienta para decidir cuándo "pasar el caso a un humano".
   • Resultado: Redujeron los errores graves (dejar pasar una ceguera) en un 34% más que los métodos anteriores. Básicamente, la IA aprendió a decir: "No estoy seguro de si esto es grave, mejor llámame al humano" mucho más rápido y preciso.

2. Detectar "Cosas Raras" (Out-of-Distribution):

   • Imagina que entrenas a un coche autónomo solo con fotos de calles de Nueva York. Si de repente ve una calle de la selva, debe saber que algo va mal.
   • La nueva herramienta vio que la duda no se repartía igual en todas las clases. Detectó que el coche estaba confundido de una manera específica que los métodos antiguos no veían.

3. Ruido en los datos:

   • Si le das al médico datos con errores (etiquetas falsas), la nueva herramienta es más robusta. No se confunde tan fácilmente como las antiguas.

5. La lección final: No solo importa la herramienta, sino cómo se usa

El paper también descubre algo curioso: La calidad de la "duda" depende más de cómo se entrena al médico que de la herramienta de medición.

• Si entrenas a la IA desde cero (end-to-end), la duda es clara y útil.
• Si tomas una IA pre-entrenada y solo le ajustas la última capa (transfer learning), la duda se vuelve "ruidosa" y menos fiable, sin importar qué herramienta uses para medirla.

En resumen

Este paper nos enseña que en situaciones de vida o muerte, no basta con saber que hay incertidumbre. Necesitamos saber en qué categoría está esa incertidumbre.

Es como pasar de tener un alarma de humo que suena igual para una tostada quemada o un incendio forestal, a tener un sistema de sensores que te dice exactamente: "¡Cuidado! Hay humo en la cocina, pero es solo una tostada" vs. "¡CORRE! Hay fuego en el sótano".

La nueva herramienta permite a las IAs ser más seguras, más honestas sobre sus límites y, sobre todo, más útiles para salvar vidas.

Resumen técnico

Resumen Técnico: Descomposición de la Incertidumbre Epistémica en Contribuciones por Clase

1. El Problema

En aplicaciones de aprendizaje profundo en dominios de seguridad crítica (como diagnóstico médico o filtrado de contenido), el costo del error es asimétrico. Por ejemplo, no detectar una retinopatía diabética grave (falso negativo) tiene consecuencias irreversibles, mientras que un falso positivo solo genera una revisión adicional.

Actualmente, el aprendizaje profundo bayesiano cuantifica la incertidumbre epistémica (ignorancia del modelo) mediante un único escalar: la Información Mutua (MI). Sin embargo, la MI tiene una limitación fundamental:

• Ceguera de clase: Un valor de MI alto no indica qué clases están causando la confusión. Una MI de 0.3 nats podría significar confusión entre dos clases benignas (poco riesgo) o entre una clase benigna y una crítica (alto riesgo).
• Supresión de fronteras: Las medidas basadas en la varianza cruda ($\text{Var}[p_k]$) sufren de "supresión de fronteras". Debido a la restricción del simplex de probabilidad, la varianza de una clase con probabilidad media baja ($\mu_k \approx 0$) está acotada matemáticamente a un valor muy pequeño, incluso si el modelo muestra gran desacuerdo. Esto oculta la incertidumbre en clases raras pero críticas.

2. Metodología Propuesta

Los autores proponen descomponer la Información Mutua en un vector de incertidumbre epistémica por clase, denotado como $C(x) = [C_1(x), \dots, C_K(x)]^\top$.

Derivación Matemática:
La propuesta se basa en una expansión de Taylor de segundo orden de la entropía de Shannon $H(p)$ alrededor de la media de las predicciones $\mu$.

• La aproximación de la MI resulta ser:
  $$I(y; \omega | x) \approx \sum_{k=1}^K C_k(x) \quad \text{donde} \quad C_k(x) = \frac{1}{2} \frac{\text{Var}[p_k](x)}{\mu_k(x)}$$
• El factor de normalización $1/\mu_k$: Este es el componente clave. Surge naturalmente del Hessiano de la entropía ($\partial^2 H / \partial p_k^2 = -1/p_k$).
  • Corrige la supresión de fronteras: Para clases con baja probabilidad media ($\mu_k \to 0$), el denominador pequeño amplifica la varianza, permitiendo que la incertidumbre epistémica sea detectable incluso en clases raras.
  • Hace que las contribuciones sean comparables entre clases con tasas base muy diferentes.

Diagnóstico de Fiabilidad (Sesgo):
Dado que la expansión de Taylor puede degradarse cuando la distribución posterior es altamente asimétrica (común en clases raras), los autores introducen un diagnóstico de sesgo ($\rho_k$):
$$\rho_k(x) = \frac{|m_{3,k}|}{3 \mu_k \cdot \text{Var}[p_k]}$$

• Si $\rho_k \ll 1$, la aproximación de segundo orden es fiable.
• Si $\rho_k$ es alto, se sugiere usar una métrica alternativa basada en correlaciones, CBEC (Cross-Boundary Epistemic Confusion), que utiliza la correlación negativa empírica entre clases seguras y críticas para detectar confusión sin depender de la aproximación de Taylor.

3. Contribuciones Clave

1. Vector $C(x)$: Una descomposición aditiva de la MI que asigna una porción de incertidumbre total a cada clase individual, permitiendo identificar dónde reside la ignorancia del modelo.
2. Corrección Teórica: Demostración de que la normalización por $1/\mu_k$ es necesaria para evitar la supresión de incertidumbre en clases minoritarias, superando las limitaciones de las medidas de varianza pura (como las propuestas por Sale et al., 2024).
3. Análisis Axiomático: Evaluación de las propiedades de $C_k$ frente a los axiomas de incertidumbre epistémica. Se sacrifica la invariancia al desplazamiento de ubicación (A5) para ganar la capacidad de distinguir clases raras, un compromiso favorable en seguridad crítica.
4. Métricas de Seguridad: Propuesta de políticas de deferencia (deferment policies) específicas para clases críticas ($C_{crit\_max}$, $C_{crit\_sum}$) y una métrica robusta para confusión cruzada ($CBEC$).

4. Resultados Experimentales

El método se validó en tres tareas principales:

• A. Predicción Selectiva en Retinopatía Diabética (DR):

  • Objetivo: Reducir la tasa de falsos negativos en clases críticas (grados 2-3) mediante la deferencia de muestras inciertas a un humano.
  • Resultado: La política basada en $C_{crit\_max}$ redujo el riesgo selectivo (AUSC) en un 34.7% comparado con la MI escalar y un 56.2% comparado con baselines de varianza.
  • Interpretabilidad: Permitió distinguir entre errores catastróficos (Grado 3 $\to$ 0) y subestimaciones de severidad (Grado 3 $\to$ 2), que tenían la misma MI pero firmas de incertidumbre $C_k$ totalmente diferentes.

• B. Detección de Fuera de Distribución (OoD):

  • Tareas: FashionMNIST $\to$ KMNIST y MIMIC-III $\to$ Newborn.
  • Resultado: La suma $\sum C_k$ logró el mayor AUROC en ambos conjuntos de datos.
  • Hallazgo: La descomposición por clase reveló que los cambios de distribución pueden ser asimétricos (afectando más a una clase que a otra), algo invisible para la MI escalar. Además, se demostró que la varianza no normalizada ($EU_{var}$) tiene un alto ratio OoD/ID pero bajo AUROC debido a la compresión del rango dinámico.

• C. Sensibilidad al Ruido de Etiquetas y Entrenamiento:

  • Hallazgo crucial: La calidad de la aproximación posterior es tan importante como la métrica elegida.
  • En entrenamiento end-to-end bayesiano, $C_k$ y MI están bien desacoplados del ruido aleatorio.
  • En transfer learning (congelando una red preentrenada), ambas métricas se degradan y se entrelazan fuertemente con el ruido aleatorio, sugiriendo que la propagación de la incertidumbre a través de toda la red es vital para una atribución significativa.

5. Significado e Impacto

• De "Cuánto" a "Dónde": El trabajo cambia el paradigma de medir solo la magnitud de la incertidumbre a localizar su fuente. Esto es esencial para la toma de decisiones en sistemas de seguridad crítica donde no todos los errores son iguales.
• Robustez en Clases Raras: Proporciona una solución teórica y práctica al problema de la supresión de incertidumbre en clases con baja prevalencia, permitiendo que los modelos bayesianos sean efectivos en escenarios de desequilibrio de clases.
• Advertencia sobre el Entrenamiento: Destaca que las métricas de incertidumbre avanzadas pueden fallar si el modelo subyacente (especialmente en enfoques post-hoc o de transferencia) no captura adecuadamente la estructura de la varianza posterior.
• Herramienta de Diagnóstico: El diagnóstico de sesgo ($\rho_k$) ofrece una forma práctica de saber cuándo confiar en la descomposición y cuándo cambiar a métricas basadas en correlación.

En conclusión, el artículo presenta una herramienta matemáticamente fundamentada que mejora la seguridad y la interpretabilidad de los clasificadores bayesianos, permitiendo intervenciones más precisas basadas en qué clase específica está causando la incertidumbre del modelo.