Unstable Rankings in Bayesian Deep Learning Evaluation

Resumen Técnico: Rankings Inestables en el Aprendizaje Profundo Bayesiano (BDL)

1. El Problema: La Falacia de la Escasez de Datos

La evaluación estándar de los métodos de Aprendizaje Profundo Bayesiano (BDL) asume que las estimaciones de las métricas de rendimiento (como el CRPS o la NLL) son fiables. Sin embargo, este estudio identifica un fallo crítico: en regímenes de escasez de datos (bajo $n$), los rankings de los métodos son altamente inestables y poco fiables.

Los autores argumentan que las comparaciones basadas en estimaciones puntuales (promedios simples) son científicamente poco fiables en escenarios de pocos datos (como en medicina o descubrimiento de fármacos), ya que el ruido de muestreo de los datos de entrenamiento puede enmascarar o incluso invertir la verdadera jerarquía de rendimiento de los métodos. El problema no reside en los métodos de BDL en sí, sino en la varianza de los estimadores de las métricas cuando el conjunto de entrenamiento es pequeño.

2. Metodología Propuesta

Para abordar esta incertidumbre, los autores proponen un marco de evaluación basado en la estadística bayesiana que trata las métricas no como valores fijos, sino como variables aleatorias.

• Modelo Jerárquico Bayesiano (BHM): Proponen un modelo que modela el valor de una métrica para un método $m$ en una realización de datos $i$ como:
  $$y_{m,i} \sim \mathcal{N}(\mu_m + \gamma_i, \sigma^2_m)$$
  Donde $\mu_m$ es el valor latente real de la métrica, $\sigma^2_m$ es la varianza específica del método (crucial porque cada método tiene una estabilidad distinta) y $\gamma_i$ es un intercepto aleatorio que captura la estructura de los datos compartidos en cada realización.
• Probabilidad Posterior de Ranking: En lugar de decir "el Método A es mejor que el B", calculan $P(A \prec B)$, la probabilidad de que el valor real de la métrica del método A sea menor que el del B, permitiendo cuantificar la certeza de la superioridad.
• Diferencia Mínima Detectable (MDD) Predictiva: Introducen una curva de MDD que responde a la pregunta: "¿Qué tan grande debe ser la diferencia de rendimiento para que pueda ser detectada con fiabilidad en un nuevo experimento con $n$ muestras?". Esto proporciona una herramienta de diagnóstico para saber si el tamaño de la muestra es suficiente antes de extraer conclusiones.

3. Contribuciones Clave

1. Cuantificación de la incertidumbre en la evaluación: Un marco para realizar inferencia sobre la superioridad de métodos mediante modelos jerárquicos.
2. Diagnóstico de tamaño de muestra: La métrica MDD permite a los investigadores determinar la potencia estadística de sus experimentos de evaluación.
3. Demostración de la no-portabilidad de rankings: Evidencia de que un método que parece superior en un dataset puede ser inferior en otro debido a la varianza de la estimación.

4. Resultados Principales

El estudio evaluó seis métodos (MCD, Deep Ensembles, SWAG, BBB, CP y MAP) en cinco datasets. Los hallazgos fueron:

• Inestabilidad de los Rankings: En el dataset sintético, el ranking entre MCD y Deep Ensembles se invierte según el tamaño de $n$. En el dataset Energy, MCD domina con $n=50$, pero el ranking se invierte totalmente a $n=200$ a favor de Deep Ensembles.
• Dependencia del Dataset: Los rankings no son universales. Un método puede ser claramente superior en un dataset (ej. Kin8nm) pero resultar inconcluso en otro (ej. Concrete) con el mismo número de muestras.
• Varianza de las Métricas: La varianza de las métricas disminuye con $n$, pero a ritmos muy distintos según el método (siguiendo una ley de potencia $n^{-\alpha}$). Las métricas de cobertura (como PICP) son extremadamente poco fiables por debajo de $n=100$.
• Estabilidad de CRPS vs NLL: El CRPS (Continuous Ranked Probability Score) demostró ser significativamente más estable y robusto para estimaciones con muestras pequeñas que la NLL (Negative Log-Likelihood).

5. Significado e Implicaciones

Este trabajo tiene implicaciones profundas para la práctica de la investigación en IA. Advierte que las tablas de clasificación (leaderboards) basadas en puntos promedio son engañosas en entornos de datos limitados.

Los investigadores no deben declarar la superioridad de un método basándose únicamente en un valor promedio si la diferencia observada es menor que la MDD para ese tamaño de muestra. El estudio establece la necesidad de un cambio de paradigma: pasar de una evaluación de "punto único" a una evaluación consciente de la incertidumbre, donde la suficiencia de los datos de evaluación sea un requisito previo para cualquier conclusión científica.