Resumen Técnico: Evaluación Comparativa de Funciones de Puntuación de No Conformidad en Predicción Conformal

Enunciado del Problema

La predicción conformal (PC) ofrece una alternativa rigurosa a la calibración de modelos en la clasificación de aprendizaje automático mediante la generación de conjuntos de predicción en lugar de predicciones de clase única. Aunque la PC garantiza que la clase verdadera esté contenida dentro del conjunto de predicción con una probabilidad al menos igual a $1 - \alpha$ (donde $\alpha$ es una tasa de error preespecificada), la utilidad práctica de estos conjuntos depende en gran medida de su tamaño. Un conjunto de predicción demasiado grande carece de información.

El tamaño y la utilidad de estos conjuntos están determinados por la elección de la función de puntuación de no conformidad. A pesar de la existencia de numerosas funciones de puntuación en la literatura, hay una falta de estudios sistemáticos que examinen sus propiedades, efectividad e interacción con las arquitecturas de modelos y el desequilibrio de clases. Este artículo aborda la brecha en la comprensión de cómo funcionan diferentes funciones de puntuación en diversos dominios conformales (espacio de probabilidad, espacio de logits y espacio de características) y bajo diferentes condiciones, incluidos conjuntos de datos desequilibrados.

Metodología

Métrica de Evaluación

Los autores introducen una nueva métrica de evaluación, $I_1$, para evaluar las funciones de puntuación independientemente de una elección arbitraria de la tasa de error $\alpha$. Las métricas tradicionales informan el tamaño medio del conjunto de predicción a un $\alpha$ fijo, lo cual puede ser engañoso si $\alpha$ no está alineado con la precisión del modelo.
La métrica se define como:
$$I_k = \frac{1}{1 - A_k} \int_{0}^{1 - A_k} \bar{|P|}(\alpha) \, d\alpha$$
donde $A_k$ es la precisión del modelo top-$k$ (específicamente $A_1$ para precisión top-1), y $\bar{|P|}(\alpha)$ es el tamaño medio del conjunto de predicción a la tasa de error $\alpha$. Esta integral restringe la evaluación al rango "interesante" de tasas de error (de 0 a la tasa de error inherente del modelo), proporcionando un único número objetivo donde valores más bajos indican un mejor rendimiento (conjuntos de predicción más pequeños).

Configuración Experimental

• Conjuntos de datos: ImageNet (1000 clases), CIFAR-100 (100 clases) y CIFAR-10 (10 clases).
• Modelos: ResNet50 (principal), ResNet18 y EfficientNet-B0.
• Dominios Conformales: El estudio evalúa funciones de puntuación en tres espacios distintos:
  1. Espacio de Probabilidad: La salida de la función softmax ($\Delta_{n-1}$).
  2. Espacio de Logits: Los vectores de salida crudos antes de softmax ($\mathbb{R}^n$).
  3. Espacio de Características: Los vectores de características finales antes de la capa de salida lineal.
• Funciones de Puntuación Evaluadas:
  • Distancia de Etiqueta: Distancia entre la predicción y la etiqueta codificada one-hot.
  • Distancia de Margen: Distancia al límite de decisión entre la clase verdadera y la clase incorrecta más probable.
  • Distancia Media: Distancia a la media de los ejemplos de calibración pertenecientes a la misma clase.
  • Vecino Más Próximo: Relación de distancias a ejemplos de la misma clase frente a ejemplos de clase diferente.
  • APS/RAPS/SAPS: Conjuntos de Predicción Adaptativos y sus variantes regularizadas (métodos basados en rango).
  • Gradiente/Gradiente Rápido: Métodos basados en características que aproximan la distancia al límite de decisión en el espacio de características.
• Prueba de Desequilibrio: Se probó un escenario condicional a la clase donde las clases minoritarias se redujeron a una prevalencia del 10% para evaluar qué tan bien manejan diferentes funciones de puntuación el desequilibrio de clases.

Resultados Clave

Rendimiento de las Funciones de Puntuación

Los resultados de la evaluación comparativa, resumidos por la métrica $I_1$, revelan patrones de rendimiento distintos:

• Basadas en Distancia vs. Basadas en Rango: Las funciones de puntuación basadas en distancia generalmente superaron a los métodos basados en rango (APS, RAPS, SAPS) en términos de tamaño del conjunto de predicción, particularmente al utilizar distancia coseno.
• Dominios y Métricas Óptimos:
  • La Distancia de Margen en el Espacio de Logits utilizando Distancia Coseno logró los valores $I_1$ más bajos para ImageNet en los modelos ResNet.
  • La Distancia Media funcionó excepcionalmente bien en CIFAR-100, particularmente en el Espacio de Características con Distancia Coseno.
  • La Distancia de Etiqueta en el Espacio de Probabilidad con Distancia Coseno también fue altamente competitiva.
• Euclídea vs. Coseno: Se encontró que la distancia euclídea es menos adecuada para espacios de alta dimensión (como los vectores de características en ResNet50), mientras que la distancia coseno se comportó de manera robusta, lo que sugiere que estos modelos organizan las clases en clusters aproximadamente ortogonales.
• Aleatorización en APS/RAPS: El estudio encontró que el término aleatorizado ($u$) en APS y RAPS no es estrictamente necesario para las garantías de cobertura en entornos calibrados. Establecer $u$ como una constante pequeña (sirviendo como desempate) a menudo produjo un mejor rendimiento que el enfoque aleatorizado estándar.
• Métodos de Gradiente: Los métodos de Gradiente y Gradiente Rápido fueron computacionalmente costosos y, en el caso del Gradiente Rápido, funcionaron significativamente peor que otros métodos en los conjuntos de datos probados.

Impacto de la Arquitectura del Modelo

Mientras que ResNet50 y ResNet18 mostraron un ordenamiento relativo similar del rendimiento de las funciones de puntuación, EfficientNet-B0 exhibió una clasificación diferente. Esto sugiere que la arquitectura del modelo (por ejemplo, funciones de activación como ReLU vs. Swish) influye en las propiedades geométricas del dominio conformal y, por lo tanto, en la elección óptima de la función de puntuación, potencialmente más que la precisión cruda del modelo.

Desequilibrio de Clases

En el escenario desequilibrado, las clases minoritarias a menudo se incluyeron en los conjuntos de predicción con frecuencias mucho más altas que su prevalencia real (por ejemplo, una inclusión del 27% para una clase con prevalencia real del 0.1%). Los autores señalan que, aunque esto reduce la precisión del predictor, es un reflejo "honesto" de la incertidumbre subyacente del modelo con respecto a las clases raras. La Distancia Media en el espacio de características volvió a mostrar la mejor capacidad para minimizar esta sobre-inclusión mientras mantenía la cobertura.

Significado y Afirmaciones

El artículo afirma llenar una brecha de conocimiento sobre las propiedades y la efectividad de las funciones de puntuación de no conformidad. Sus contribuciones principales son:

1. Evaluación Comparativa Sistemática: Proporcionar una comparación exhaustiva de diversas funciones de puntuación en múltiples conjuntos de datos, modelos y dominios conformales.
2. Métrica de Evaluación: Introducir $I_1$ como una métrica robusta de un solo número que tiene en cuenta la precisión del modelo y evita la selección arbitraria de tasas de error.
3. Perspectivas de Dominio y Métrica: Demostrar que la distancia coseno es superior a la distancia euclídea en dominios conformales de alta dimensión y que el espacio de logits a menudo supera al simplex de probabilidad.
4. Orientación Práctica: Ofrecer un punto de partida para que los practicantes seleccionen funciones de puntuación basadas en su arquitectura de modelo y características de conjunto de datos específicos, en lugar de depender de un único método "mejor" universal.

Los autores concluyen que ninguna función de puntuación es universalmente superior; más bien, la elección óptima depende del contexto específico del modelo y los datos. Sin embargo, la evaluación comparativa proporciona una base clara y basada en datos para realizar estas selecciones.