Bandwidth Selection in Kernel Density Estimation for Model Calibration

Resumen Técnico: Selección de Ancho de Banda en la Estimación de Densidad de Núcleo para la Calibración de Modelos

Planteamiento del Problema
A medida que los modelos de aprendizaje profundo se despliegan en aplicaciones de alto riesgo, la fiabilidad de sus estimaciones de incertidumbre (calibración) es tan crítica como su precisión predictiva. La descalibración ocurre cuando las puntuaciones de confianza de un modelo no se alinean con la verdadera probabilidad de los resultados. Evaluar la calibración requiere estimar la verdadera probabilidad condicional $R = E[y | f(x)]$, la cual es desconocida y debe aproximarse empíricamente.

Los métodos tradicionales dependen del agrupamiento por intervalos (binning, por ejemplo, el Error de Calibración Esperado), que particiona el espacio de predicción en intervalos discretos. Aunque es simple, el binning introduce discontinuidades artificiales, sufre de alta varianza y es sensible al esquema de partición. Además, es asintóticamente inconsistente y enfrenta la maldición de la dimensionalidad en entornos multiclase.

La Estimación de Densidad de Núcleo (KDE) ha surgido como una alternativa suave y diferenciable al binning. Sin embargo, la fiabilidad de los estimadores basados en KDE depende fuertemente de la elección del ancho de banda del núcleo ($h$). Las técnicas de selección estándar, como la Estimación de Máxima Verosimilitud (MLE), suelen ser subóptimas para tareas de calibración. El MLE tiende a favorecer anchos de banda patológicamente pequeños para maximizar la densidad local, lo que provoca que el estimador se sobreajuste al ruido de muestreo en lugar de capturar el perfil de calibración subyacente. Esto resulta en una "trampa de varianza-sesgo" donde el estimador degenera en un muestreador de etiquetas de vecino más cercano, produciendo superficies de calibración ruidosas y poco fiables.

Metodología: Alineación de Riesgo (RA)
Los autores proponen la Alineación de Riesgo (RA), un novedoso marco de optimización para seleccionar el ancho de banda óptimo en los estimadores de calibración basados en KDE. La idea central se deriva de la descomposición de Bregman de las reglas de puntuación propias (proper scoring rules), que descompone el riesgo esperado de una pérdida propia en dos componentes:

1. Error de Calibración (CE): La discrepancia entre las probabilidades predichas y las verdaderas probabilidades condicionales.
2. Refinamiento (REF): La capacidad del modelo para distinguir entre muestras.

Los autores demuestran teómente que, si bien los estimadores individuales para la calibración y el refinamiento están contaminados por la varianza del estimador de la probabilidad condicional ($\text{Var}(\hat{R})$), estos términos de varianza exhiben una cancelación estructural cuando se suman para formar el riesgo total. Específicamente:

• En el término de calibración, la varianza actúa como un sesgo positivo espurio.
• En el término de refinamiento, la variancia se manifiesta como un sesgo negativo.
• Al combinarse, los términos de varianza de segundo orden se cancelan, dejando el sesgo del riesgo agregado acoplado principalmente al sesgo de estimación de $R$, escalado por un peso dependiente de la probabilidad predicha.

Basándose en esto, el objetivo de RA minimiza la discrepancia agregada entre el riesgo reconstruido por KDE y el riesgo observado empírico (etiquetas reales) a través del conjunto de datos:
$$L_{RA}(h) = \sum_{i=1}^{n} |\hat{r}_{kde, i}(h) - r_i|^p$$
donde $\hat{r}_{kde, i}$ es el riesgo reconstruido utilizando el estimador KDE, y $r_i$ es el riesgo observado. Al alinear el riesgo reconstruido con la verdad empírica, RA selecciona un ancho de banda que suprime el ruido estocástico local (varianza) mientras preserva la suavidad del estimador, evitando eficazmente la compensación varianza-sesgo que afecta al MLE.

Contribuciones Clave

1. Marco Novedoso: Introducción del objetivo de Alineación de Riesgo (RA), un marco de optimización basado en principios para la selección del ancho de banda en estimadores de calibración basados en KDE, formulado como un problema de alineación de estimación de riesgo.
2. Análisis Teórico: Una demostración teórica de que el objetivo de RA minimiza el sesgo de estimación de la calibración mediante el aprovechamiento de la cancelación de los términos de varianza en la descomposición del riesgo total. Esto establece un criterio aplicable a diversas métricas, incluyendo los errores de calibración canónicos y por clase.
3. Validación Empírica: Experimentos extensos que muestran que RA supera consistentemente a los métodos de MLE y binning en la selección de anchos de banda, logrando evaluaciones de calibración más fiables en múltiples arquitecturas y conjuntos de datos.

Resultados
Los autores evaluaron su método tanto en datos sintéticos como en datos del mundo real:

• Datos Sintéticos: En escenarios con probabilidades condicionales de verdad de terreno conocidas, los estimadores KDE utilizando RA lograron el mejor rendimiento en la estimación del error de calibración por clase, superando significativamente a los baselines de MLE y binning. RA produjo gráficos de fiabilidad que se alineaban estrechamente con la verdad de terreno, mientras que los anchos de banda seleccionados por MLE resultaron en picos agudos indicativos de sobreajuste.
• Datos del Mundo Real: Los experimentos en CIFAR-10/100, ImageNet y Amazon Reviews utilizando varios modelos (ResNet, VGG, ViT, Transformers) confirmaron la superioridad de RA. En configuraciones por clase, RA produjo consistentemente el Error Absoluto Medio (MAE) más bajo en comparación con los métodos de MLE y binning.
  • Nota sobre Alta Dimensionalidad: El artículo señala que en entornos de dimensionalidad extremadamente alta (por ejemplo, calibración canónica con 1,000 clases de ImageNet), los métodos KDE (incluido RA) se degradan debido a la dispersión de los datos en el simplex de probabilidad. En estos regímenes específicos, los autores observaron que los métodos KDE se volvieron menos competitivos que los enfoques de Regresión de Núcleo de Ridge (KRR), lo que sugiere que, aunque RA optimiza el ancho de banda, la elección del núcleo sigue siendo crítica en altas dimensiones.

Significancia y Reivindicaciones
El artículo afirma que RA proporciona un criterio de selección de ancho de banda basado en principios que aborda las limitaciones fundamentales de los actuales estimadores de calibración de KDE. Al desplazar el enfoque de optimización de la recuperación de la densidad (MLE) hacia la alineación del riesgo, el método asegura que las evaluaciones de calibración sean robustas al ruido de muestreo.

Los autores sostienen que RA produce evaluaciones de calibración más fiables que los métodos estándar, particularmente en configuraciones por clase. Destacan que su enfoque mantiene la eficiencia computacional de KDE ($O(n^2)$) al tiempo que evita la costosa validación cruzada requerida por los marcos de riesgo alternativos basados en MSE. El trabajo sugiere que RA facilita una recuperación robusta de la variedad de probabilidad condicional, ofreciendo una base estable para evaluar la calibración de modelos en aplicaciones de alto riesgo. Los autores mantienen la modestia respecto a la calibración canónica de alta dimensión, reconociendo que la dispersión de los datos sigue siendo un desafío para los enfoques de KDE en tales regímenes.