Fine-Grained Uncertainty Quantification via Collisions

Resumen Técnico: Cuantificación de Incertidumbre de Alta Resolución mediante Colisiones

1. Planteamiento del Problema

A medida que los clasificadores de aprendizaje automático se implementan en sectores de alto riesgo (salud, finanzas, contratación), la necesidad de cuantificar la incertidumbre se vuelve crítica. El artículo identifica una limitación en las métricas actuales de Cuantificación de Incertidumbre (UQ):

• Incertidumbre Aleatoria (Aleatoric): Se refiere a la incertidumbre inherente a los datos que no puede reducirse con más conocimiento (ej. síntomas idénticos que pueden deberse a enfermedades diferentes).
• Limitaciones de las métricas existentes: Métodos como la Tasa de Error Bayesiana (BER), la entropía o la validación cruzada suelen proporcionar un valor único o una medida global. Estos no capturan la granularidad fina necesaria para entender qué pares de clases son difíciles de distinguir entre sí. Por ejemplo, saber que un sistema tiene un 10% de error no indica si el error proviene de confundir la clase A con la B, o la C con la D.

El problema central es cómo medir y estimar la dificultad inherente de distinguir entre pares específicos de clases en una distribución de datos, utilizando únicamente datos etiquetados con "one-hot" (una sola etiqueta por muestra), sin acceso a las distribuciones de probabilidad posterior reales.

2. Metodología Propuesta

Los autores proponen una nueva métrica llamada Matriz de Colisión ($S$) y un marco de dos pasos para estimarla y utilizarla para inferir distribuciones posteriores.

A. Definición de la Matriz de Colisión ($S$)

• Concepto de Colisión de Clase: Ocurre cuando una misma entrada $x$ se observa en diferentes clases en múltiples instancias.
• Definición Formal: La matriz $S$ es una matriz estocástica por filas de tamaño $K \times K$ (donde $K$ es el número de clases). La entrada $S_{i,j}$ se define como la probabilidad esperada de que una característica observada inicialmente en la clase $i$ sea clasificada en la clase $j$ si se observa nuevamente:
  $$S_{i,j} = \mathbb{E}_{x \sim D_i} [P(c = j | x)]$$
• Propiedades:
  • Captura la incertidumbre aleatoria inherente a la distribución de datos, independientemente del clasificador.
  • Los elementos fuera de la diagonal representan la dificultad de distinguir entre clases (similitud semántica).
  • Se relaciona directamente con la Tasa de Error Bayesiana (BER) y la matriz de confusión esperada de un Clasificador Bayesiano Probabilístico (PBC).

B. Estimación de la Matriz de Colisión (Algoritmo 1)
Dado que las etiquetas "one-hot" no revelan las probabilidades posteriores reales, los autores proponen un método innovador de dos pasos:

1. Estimación de la Matriz Gramiana de Filas ($G$):

   • Se demuestra teóricamente que, bajo ciertas condiciones (matriz simétrica, no negativa y estrictamente diagonalmente dominante), la matriz $S$ está única y determinísticamente definida por su matriz Gramiana de filas $G = S S^T$.
   • Se entrena un Modelo de Contraste de Pares (Pair-Wise Contrastive Model), denotado como $V$. Este modelo toma dos entradas $(x, \tilde{x})$ y predice la probabilidad de que pertenezcan a la misma clase.
   • La entrada $G_{i,j}$ se estima calculando el promedio de las salidas de $V$ sobre pares de datos de la clase $i$ y la clase $j$:
     $$G_{i,j} \approx \frac{1}{|T_i||T_j|} \sum_{x \in T_i} \sum_{\tilde{x} \in T_j} V(x, \tilde{x})$$

2. Recuperación de $S$ desde $G$:

   • Se resuelve un problema de optimización para encontrar la matriz $S$ que minimice la diferencia entre $S S^T$ y la $G$ estimada, sujeto a restricciones de estocasticidad y dominancia diagonal.
   • Esto permite recuperar $S$ sin necesidad de estimar las distribuciones posteriores directamente en la etapa de entrenamiento.

C. Estimación de Distribuciones Posteriores (Algoritmo 2)
Una vez estimada $S$, el método permite calcular la distribución de probabilidad posterior $y(x)$ para cualquier nueva entrada $x$:

1. Se calculan los puntuaciones de similitud esperada $q(x)$, que representan qué tan bien $x$ se asemeja a los puntos de cada clase (usando el mismo modelo $V$).
2. Se establece una relación lineal: $q(x) = S y(x)$.
3. Se despeja la posterior estimada: $\hat{y}(x) = \hat{S}^{-1} \hat{q}(x)$.

3. Contribuciones Clave

1. Nueva Métrica de Alta Resolución: Introducción de la Matriz de Colisión, que desglosa la incertidumbre aleatoria por pares de clases, ofreciendo una visión mucho más detallada que la BER o la entropía.
2. Resultados Teóricos Nuevos: Demostración de que una matriz estocástica no negativa y estrictamente diagonalmente dominante está única y determinísticamente definida por su Gramiana de filas ($G = S S^T$).
3. Método de Estimación sin Etiquetas Posteriores: Desarrollo de un algoritmo que estima $S$ y las distribuciones posteriores utilizando únicamente datos etiquetados con "one-hot", mediante un modelo de contraste de pares (PAC-learnable).
4. Aplicaciones Prácticas:
   • Consolidación de Clases: Identificar qué clases deberían fusionarse para mejorar la precisión.
   • Muestreo Adaptativo: Ajustar funciones de pérdida o estrategias de muestreo basándose en la dificultad específica entre pares de clases.
   • Suavizado de Etiquetas (Label Smoothing): Crear etiquetas de entrenamiento basadas en datos que penalicen menos las confusiones entre clases similares.

4. Resultados Experimentales

Los autores validaron su método en datos sintéticos (mezclas gaussianas) y conjuntos de datos del mundo real (MNIST, Adult Income, Diabetes, etc.):

• Estimación de $S$:
  • En datos sintéticos, el método basado en Gramiana (Algoritmo 1) superó consistentemente a las líneas base (clasificadores calibrados, Dropout Monte Carlo, Redes Bayesianas) en términos de Distancia de Variación Total (TVD) con la matriz $S$ real.
  • El método fue más eficiente computacionalmente que las redes Bayesianas, requiriendo menos épocas de entrenamiento para alcanzar alta precisión.
• Validación en MNIST:
  • La matriz de colisión estimada capturó correctamente la incertidumbre inherente en dígitos visualmente ambiguos (ej. confusión entre 3 y 5, o 4 y 9), mostrando probabilidades de colisión más altas para estos pares, lo cual coincide con la intuición humana.
• Datos Tabulares Reales:
  • El análisis de la matriz $S$ en conjuntos de datos como "Diabetes" y "Ingresos" reveló limitaciones fundamentales de los datos. Por ejemplo, en el conjunto de diabetes, la matriz mostró una baja precisión inherente (muchos falsos positivos inevitables), indicando que el problema no es el modelo, sino la falta de información en los datos para hacer diagnósticos precisos, aunque la sensibilidad (recall) sea alta.
• Estimación de Posteriores:
  • El método propuesto para estimar $y(x)$ mostró una menor varianza y un error promedio (TVD) más bajo en comparación con métodos de ensamblaje y calibración, siendo más robusto ante cambios en la dimensionalidad y el número de clases.

5. Significado e Impacto

Este trabajo representa un avance significativo en la teoría y práctica de la cuantificación de incertidumbre:

• Cambio de Paradigma: Pasa de medir la incertidumbre como un valor escalar global a una estructura matricial que describe las relaciones de confusión entre clases.
• Independencia del Clasificador: La Matriz de Colisión es una propiedad de la distribución de datos, no de un modelo específico, lo que la convierte en un estándar objetivo para evaluar la dificultad de un problema de clasificación.
• Utilidad Práctica: Proporciona a los ingenieros de ML y científicos de datos herramientas para entender por qué un modelo falla (confusión entre clases específicas) y qué mejoras en los datos (no en el modelo) son necesarias para reducir la incertidumbre.
• Aplicabilidad en Alto Riesgo: En campos como la medicina, permite distinguir entre la incertidumbre que se puede resolver con un mejor modelo y la incertidumbre inherente que requiere más datos o pruebas adicionales, mejorando la toma de decisiones críticas.

En conclusión, el artículo ofrece un marco matemático riguroso y un algoritmo práctico para descomponer y cuantificar la incertidumbre aleatoria a un nivel de detalle sin precedentes, transformando cómo interpretamos y gestionamos el riesgo en sistemas de aprendizaje automático.