Resumen Técnico: Escalado de Temperatura Adaptativo a Cuantiles para la Calibración de Confianza

1. Definición del Problema y Motivación

Las redes neuronales profundas frecuentemente producen estimaciones de confianza mal calibradas, exhibiendo a menudo un exceso de confianza incluso cuando las predicciones son incorrectas. Aunque el Escalado de Temperatura (TS) sigue siendo el método de calibración post-hoc estándar debido a su simplicidad, este depende de un reescalado global y uniforme de los logits. Los autores argumentan que este enfoque no logra abordar la estructura altamente heterogénea de la descalibración observada a través del espectro de confianza.

Mediante un análisis por cuantiles, el artículo demuestra que las mayores discrepancias entre la corrección y la confianza no ocurren de manera uniforme. En cambio, la ubicación y la forma de la descalibración varían significamente dependiendo del régimen:

• Configuraciones Estándar: Los errores se concentran en los cuantiles de menor confianza.
• Configuraciones de Cola Larga (Long-tailed): Los errores se desplazan hacia los cuantiles de confianza media debido a la prevalencia de clases de frecuencia media.
• Desplazamientos Distribucionales: Los métodos de reescalado global tienen dificultades porque las perturbaciones de las covariables alteran la escala absoluta de los valores de confianza mientras preservan su orden relativo.

Los métodos existentes, incluyendo variantes avanzadas como la Calibración de Grupo (GC) o temperaturas dependientes de la entrada, asumen implícitamente una transformación suave y globalmente consistente. Esta rigidez estructural les impide atacar eficazmente regiones específicas donde la descalibración es más severa, lo que conduce a un rendimiento subóptimo bajo escenarios desafiantes como el desequilibrio de clases y los desplazamientos de dominio.

2. Metodología: Escalado de Temperatura Adaptativo a Cuantiles (QaTS)

Para abordar estas limitaciones, los autores proponen el Escalado de Temperatura Adaptativo a Cuantiles (QaTS), un método de calibración post-hoc que adapta el parámetro de temperatura basándose en el cuantil de confianza empírico de una predicción en lugar de su magnitud de confianza bruta.

Mecanismo Central

1. Reparametrización por Cuantiles:
   El método mapea las confianzas brutas $p$ en un espacio de cuantiles uniforme $\tau \in [0, 1]$ utilizando la función de distribución acumulativa (CDF) del conjunto de calibración. Esto transforma el objetivo del Error de Calibración Esperada (ECE) en una integral sobre el eje de cuantiles uniforme, evitando que las regiones densas de confianza dominen la métrica de error y haciendo explícita la estructura heterogénea de la descalibración.

2. Función de Temperatura por Muestra:
   En lugar de un único escalar $T$, QaTS define una temperatura dependiente de la muestra $T(x)$ como una función lineal monótona de la cuantía empírica $q(x)$:
   $$T(x) = a \cdot (1 - q(x)) + b$$
   donde $a$ y $b$ son parámetros positivos aprendibles.

   • Las predicciones de bajo cuantil (típicamente excesivamente confiadas y propensas al error) reciben temperaturas más altas, suavizando la confianza.
   • Las predicciones de alto cuantil reciben ajustes menores, preservando la precisión y evitando distorsiones innecesarias.

3. Optimización:
   Los parámetros $a$ y $b$ se optimizan en un conjunto de calibración minimizando la Verosimilitud Negativa del Logaritmo (NLL), una regla de puntuación estrictamente propia. Esta optimización de sustitución alinea las probabilidades calibradas con las frecuencias de corrección empírica, minimizando efectivamente el ECE reparametrizado.

4. Inferencia:
   Para una muestra de prueba $x$, los logits se escalan mediante el $T(x)$ computado antes de aplicar la softmax. Debido a que $T(x)$ depende del rango (cuantil) de la confianza en lugar de su valor absoluto, el método hereda la estabilidad basada en el rango de los cuantiles. Esto hace que QaTS sea robusto a los efectos de escalado global de los logits asociados frecuentemente con los desplazamientos de covariables, siempre que el orden relativo de las confianzas se preserve aproximadamente.

3. Contribuciones Clave

El artículo describe tres contribuciones principales:

1. Análisis por Cuantiles: Un análisis detallado que revela que los errores de calibración son altamente heterogéneos a través del espectro de confianza y varían significativamente entre diferentes regímenes (estándar vs. cola larga). Este análisis expone las limitaciones estructurales de los métodos basados en TS que no pueden atacar regiones específicas de concentración de errores.
2. Algoritmo QaTS: La introducción de una estrategia simple y eficiente que opera directamente en el espacio de cuantiles. Formaliza una reparametrización por cuantiles del ECE e introduce una función de temperatura monótona que se adapta al rango relativo de cada predicción.
3. Validación Empírica Exhaustiva: Experimentos extensos en 162 configuraciones, incluyendo visión por computadora estándar, imágenes médicas, clasificación de texto y segmentación semántica, bajo diversas condiciones (distribuciones de cola larga, desplazamientos distribucionales).

4. Resultados Experimentales

Los autores evalúan QaTS frente a líneas base post-hoc de vanguardia, incluyendo modelos no calibrados, TS, Regresión Isotónica (IR), AdaTS, Calibración de Grupo (GC) y FeatClip.

• Benchmarks Estándar: En CIFAR-10, CIFAR-100 e ImageNet, QaTS logra consistentemente el ECE más bajo, superando a todos los métodos competidores en arquitecturas CNN y Vision Transformer.
• Distribuciones de Cola Larga: En escenarios con severo desequilibrio de clases (ej. CIFAR-100-LT, ImageNet-LT), los métodos estándar a menudo fallan o se degradan. QaTS demuestra una robustez sustancial, reduciendo el ECE en un 80–90% en algunos casos comparado con líneas base como AdaTS y GC.
• Desplazamientos Distribucionales: Bajo corrupciones sintéticas (CIFAR-100-C) en varios niveles de severidad, QaTS supera significativamente a los métodos que preservan la precisión, logrando un ECE 2–3 veces menor. Notablemente, supera a HFE, un método diseñado específicamente para desplazamientos distribucionales que requiere acceso a muestras fuera de la distribución (OOD) para cada dominio objetivo. QaTS logra esto sin requerir ningún dato del dominio objetivo.
• Generalización: El método muestra un rendimiento superior en clasificación de imágenes médicas (HAM10000, MedMNIST2D), segmentación semántica (Pascal VOC) y clasificación de texto (20 Newsgroups).
• Preservación de la Precisión: A diferencia de FeatClip, que mejora la calibración a costa de una degradación significativa de la precisión (hasta un 4–6%), QaTS preserva los rankings de clases predichas, manteniendo el rendimiento discriminativo mientras mejora la calibración.
• Compatibilidad: QaTS actúa como una capa complementaria post-hoc, reduciendo aún más el ECE cuando se aplica sobre modelos entrenados con objetivos de calibración consciente (ej. pérdida Brier, Focal Loss, Label Smoothing).

5. Significado y Reivindicaciones

El artículo afirma que QaTS ofrece una base simple, eficiente y robusta para la calibración post-hoc. Su importancia radica en:

• Abordar la Heterogeneidad: Al pasar de puntuaciones de confianza bruta a un espacio de cuantiles, QaTS apunta explícitamente a las regiones donde la descalibración es más severa, superando la limitación de "talla única" del escalado de temperatura global.
• Robustez al Desplazamiento: La formulación basada en rangos asegura la estabilidad bajo desplazamientos distribucionales donde los magnitudes absolutas de confianza cambian pero el orden relativo se preserva.
• Practicidad: No requiere reentrenamiento, ni acceso a los pesos del modelo o gradientes, ni redes auxiliares, lo que lo hace escalable a modelos preentrenados grandes y backbones congelados.
• Aplicabilidad Universal: El método demuestra una efectividad consistente a través de diversas tareas, arquitecturas y escenarios desafiantes del mundo real, posicionándolo como una estrategia de calibración universal que mejora la fiabilidad sin comprometer la precisión predictiva.