Reliable Conformal Prediction for Ordinal Classification Using the Ranked Probability Score

Resumen Técnico: Predicción Conforme Fiable para Clasificación Ordinal mediante el Puntaje de Probabilidad Clasificado

Planteamiento del Problema

La clasificación ordinal (CO) implica predecir etiquetas discretas con un orden lineal natural (por ejemplo, la gravedad de una enfermedad, grupos de edad, calificaciones crediticias). Si bien se ha progresado significativamente en la predicción de puntos para la CO, la cuantificación de la incertidumbre (UQ) sigue estando poco desarrollada, particularmente en dominios de alto riesgo como la medicina y las finanzas. La Predicción Conforme (CP) estándar ofrece conjuntos de predicción libres de distribución con garantías de cobertura marginal, pero enfrenta desafíos específicos en el entorno ordinal:

1. Contigüidad: Los conjuntos de predicción deben ser intervalos contiguos (por ejemplo, {niño, adolescente, adulto}) para respetar el orden de las etiquetas. Los conjuntos no contiguos (por ejemplo, {niño, anciano}) son semánticamente irracionales.
2. Riesgo Ordinal: Cuando una etiqueta verdadera cae fuera del conjunto de predicción (fallo de cobertura), la severidad del error depende de la distancia ordinal. Un método que minimiza el tamaño del conjunto (eficiencia) podría producir conjuntos que, al fallar, omiten la etiqueta verdadera por un margen amplio, lo que conduce a una estimación catastrófica del riesgo.
3. Supuestos de Distribución: Los métodos existentes suelen depender de procedimientos de búsqueda codiciosa (greedy) o imponen la unimodalidad (un único pico en la distribución predictiva) para asegurar la contigüidad. Estos supuestos pueden no cumplirse para datos complejos (por ejemplo, distribuciones bimodales derivadas del desacuerdo de expertos) y pueden conducir a estimaciones de incertidumbre sesgadas.

Los enfoques actuales luchan por equilibrar la eficiencia del conjunto con la minimización de la magnitud del error de cobertura ordinal sin imponer fuertes sesgos estructurales al modelo predictivo subyacente.

Metodología

Los autores proponen un método de CP agnóstico al modelo para la clasificación ordinal basado en el Puntaje de Probabilidad Clasificado (RPS, por sus siglas en inglés).

Mecanismo Central:

• Puntaje de No Conformidad: En lugar de utilizar puntajes centrados en la moda (como el Clasificador de Conjuntos de Valor de Ambigüedad Mínima o los Conjuntos de Predicción Adaptativos), el método utiliza el RPS como la medida de no conformidad. El RPS es una regla de puntuación estrictamente propia definida sobre distribuciones acumulativas predictivas:
  $$\text{RPS}(X, Y) = \frac{1}{K-1} \sum_{k=1}^{K-1} (F_X(k) - \mathbb{1}\{Y \leq y_k\})^2$$
  donde $F_X(k)$ es la función de distribución acumulativa (CDF) predictiva y $K$ es el número de clases.
• Construcción del Conjunto de Predicción: Para una instancia de prueba $X_{n+1}$ y una tasa de fallo de cobertura $\alpha$, el conjunto de predicción se define como:
  $$C_\alpha(X_{n+1}) = \{y \in \mathcal{Y} : \text{RPS}(X_{n+1}, y) \leq \hat{q}_{1-\alpha} \}$$
  donde $\hat{q}_{1-\alpha}$ es el cuantil empírico $(1-\alpha)$ de los puntajes RPS calculados en un conjunto de calibración.

Propiedades Teóricas:
El artículo establece tres propiedades clave de los conjuntos basados en RPS:

1. Cobertura Marginal: El método satisface la garantía estándar de cobertura marginal ($P(Y \in C(X)) \geq 1-\alpha$) bajo el supuesto de intercambiabilidad, independientemente del modelo predictivo subyacente.
2. Contigüidad y Centrado en la Mediana: A diferencia de los enfoques basados en la moda, los conjuntos basados en RPS son contiguos por construcción. La función de puntaje RPS es en forma de V alrededor de la mediana de la distribución predictiva. Por consiguiente, los conjuntos de predicción resultantes son intervalos contiguos centrados en la mediana, no en la moda. Esto se mantiene incluso para distribuciones multimodales donde la moda y la mediana difieren.
3. Optimidad del Riesgo Ordinal: Bajo un entorno de cobertura condicional oracle (donde la distribución condicional verdadera es conocida), los conjuntos basados en RPS minimizan la distancia esperada $L_1$ (riesgo ordinal) entre la etiqueta verdadera y el conjunto de predicción. El método optimiza la reducción del riesgo ordinal en lugar de solo la cardinalidad del conjunto.

Eficiencia Computacional:
El método es computacionalmente eficiente. Aunque calcular ingenuamente el RPS para todas las $K$ etiquetas toma $O(K^2)$, los autores demuestran una relación de recurrencia que permite calcular todos los puntajes en tiempo lineal $O(K)$. La complejidad general escala linealmente tanto con el número de puntos de calibración como con el número de etiquetas.

Contribuciones Clave

1. Nueva Medida de No Conformidad: Introducción del Puntaje de Probabilidad Clasificado (RPS) como una medida de no conformidad estrictamente propia y agnóstica al modelo, específicamente para la predicción conforme ordinal.
2. Garantías Teóricas: Demostración de que los conjuntos basados en RPS satisfacen la cobertura marginal, son anidados con respecto a $\alpha$, y son inherentemente contiguos y centrados en la mediana sin requerir supuestos de unimodalidad.
3. Optimización de Riesgo: Demostración de que los conjuntos basados en RPS optimizan directamente el riesgo ordinal (error $L_1$ basado en conjuntos), contrastando con los métodos centrados en la moda que priorizan la eficiencia del conjunto.
4. Eficiencia: Un algoritmo de implementación en tiempo lineal que evita los procedimientos de búsqueda codiciosa o de búsqueda binaria requeridos por los métodos de CP ordinal existentes.
5. Validación Empírica: Evaluación exhaustiva en múltiples conjuntos de datos de imágenes ordinales (BACH, RetinaMNIST, FGNet) y datos tabulares, comparando contra líneas base como min-CPS, COPOC (LAC/APS) y OCDF.

Resultados Experimentales

Los autores evaluaron el método en múltiples conjuntos de datos utilizando métricas que capturan tanto la eficiencia como el riesgo ordinal:

• Magnitud del Fallo de Cobertura: Medido por la Magnitud Media de Fallo de Cobertía Absoluta (MAMM) y la Magnitud de Fallo de Cobertia Absoluta en el Peor Caso (WAMM). Los conjuntos basados en RPS alcanzaron consistentemente valores más bajos de MAMM y WAMM en comparación con los métodos centrados en la moda (min-CPS, COPOCL, COPOCA), lo que indica que, cuando ocurren errores, la etiqueta verdadera está más cerca del conjunto de predicción.
• Compromiso Eficiencia vs. Riesgo: Medido por la Pérdida del Puntaje de Intervalo Promedio (AISL), que penaliza tanto los intervalos amplios como las grandes distancias de fallo de cobertura. Los conjuntos basados en RPS lograron un equilibrio favorable, superando a menudo a las líneas base en AISL.
• Contigüidad: Todos los conjuntos basados en RPS fueron contiguos (CV = 0), mientras que las líneas base no ordinales (LAC, APS) frecuentemente violaron la contigüidad.
• Robustez: En casos con distribuciones predictivas multimodales (por ejemplo, opiniones de expertos bimodales), el RPS mantuvo un rendimiento robusto, mientras que los métodos centrados en la moda tendieron a subestimar el riesgo ordinal al enfocarse en el único pico de mayor probabilidad.

Significancia y Reivindicaciones

El artículo afirma que la predicción conforme basada en RPS proporciona una solución robusta y versátil para la cuantificación de la incertidumbre ordinal. Su principal significancia radica en:

• Representación Fiel de la Incertidumbre: Al estar centrados en la mediana y ser contiguos por diseño, reflejan con precisión la estructura ordinal completa y los riesgos asociados, particularmente en escenarios con distribuciones sesgadas o multimodales donde los enfoques basados en la moda fallan.
• Aplicabilidad en Escenarios de Alto Riesgo: El método minimiza la severidad del fallo de cobertura, un requisito crítico en dominios como el diagnóstico médico y la evaluación de riesgos financieros, donde el costo de un error es proporcional a su distancia ordinal.
• Practicidad: Ofrece un marco computacionalmente eficiente y agnóstico al modelo que no depende de restricciones arquitectónicas específicas (como la unimodalidad) ni de procedimientos de búsqueda costosos, lo que lo hace aplicable a cualquier predictor probabilístico subyacente.

Los autores concluyen que, si bien los conjuntos basados en RPS pueden no producir siempre los conjuntos de predicción más pequeños (maximizando la eficiencia), logran un equilibrio superior entre la amplitud del intervalo y la magnitud del fallo de cobertura ordinal, lo que los convierte en una opción fiable para tareas de predicción ordinal del mundo real. El trabajo futuro sugerido incluye la descomposición de la incertidumbre en componentes epistémicos y aleatorios dentro de este marco.