Partial VOROS: A Cost-aware Performance Metric for Binary Classifiers with Precision and Capacity Constraints

1. El Problema

La evaluación de clasificadores binarios en aplicaciones de alto riesgo (como sistemas de alerta en hospitales para pacientes críticos) a menudo falla al utilizar métricas tradicionales como el Área bajo la Curva ROC (AUROC) o las curvas ROC estándar. Estas métricas presentan tres limitaciones críticas en contextos operativos reales:

1. Costos Asimétricos: No tienen en cuenta que los costos de los falsos positivos (FP) y los falsos negativos (FN) son diferentes y varían según el contexto. En medicina, un FN (no detectar un deterioro) es mucho más costoso que un FP (una falsa alarma), pero la relación exacta es incierta y variable.
2. Restricciones de Precisión: En sistemas de alerta, la precisión (la fracción de alarmas que son verdaderas) debe superar un umbral mínimo ($\alpha$) para evitar la "fatiga de alarmas", donde el personal clínico ignora las alertas debido a un exceso de falsos positivos.
3. Restricciones de Capacidad: Los sistemas tienen un límite físico en la cantidad de alertas que pueden procesar simultáneamente (capacidad $\kappa$), determinado por la relación paciente-doctor o los recursos disponibles. Ignorar esto puede llevar a sistemas teóricamente buenos pero operativamente inviables.

Las métricas existentes no logran integrar simultáneamente la optimización de costos, el cumplimiento de un umbral de precisión y un límite de capacidad de predicciones positivas.

2. Metodología

Los autores proponen una nueva métrica de rendimiento llamada Partial VOROS (Volumen sobre la Superficie ROC Parcial). La metodología se basa en extender el análisis geométrico de las curvas ROC a un espacio tridimensional y acotado.

A. Definición del Espacio de Factibilidad

El trabajo formaliza cómo las restricciones de precisión y capacidad acotan el espacio de ROC (donde $x$ es la Tasa de Falsos Positivos y $y$ es la Tasa de Verdaderos Positivos) a una Región Factible:

• Límite de Precisión ($\ell_\alpha$): Una línea que define el mínimo de precisión requerido. Solo los puntos por encima de esta línea son válidos.
• Límite de Capacidad ($\ell_\kappa$): Una línea que define el máximo número total de predicciones positivas ($N_{TP} + N_{FP} \le \kappa$). Solo los puntos por debajo de esta línea son válidos.
• Geometría: La intersección de estas líneas con el cuadrado unitario de ROC crea polígonos (triángulos o cuadriláteros) que representan el conjunto de clasificadores operativamente viables.

B. El Parámetro de Costo Fraccional ($t$)

Se utiliza un parámetro $t \in [0, 1]$ que representa la proporción del costo total atribuible a los falsos positivos. Esto permite modelar una distribución de costos inciertos en lugar de un valor fijo.

C. Definición de Partial VOROS

La métrica se construye en tres pasos:

1. Área Parcial de Clasificadores Inferiores: Para un punto dado en la región factible y un costo $t$, se calcula el área de la región factible que tiene un costo mayor (es decir, clasificadores "peores").
2. Superficie ROC 3D: Se eleva el análisis a 3D, donde el tercer eje es el costo ($t$). Se define una "línea de iso-rendimiento" para cada punto.
3. Integración (Volumen Parcial): El Partial VOROS (PV) se calcula integrando el área máxima de clasificadores inferiores sobre la región factible, promediada a través de una distribución de probabilidad deseada para los costos $p(t)$.
   • Fórmula conceptual: $PV(F) = \frac{1}{A^*} \int_{0}^{1} p(t) \max_{\tau} (A^*_t(F_\tau)) dt$
   • Donde $A^*$ es el área total de la región factible y $A^*_t$ es el área de clasificadores inferiores para un umbral $\tau$ y costo $t$.

El PV es una métrica "mayor es mejor", con un rango normalizado de 0.0 a 1.0, donde 1.0 representa el clasificador factible perfecto.

3. Contribuciones Clave

1. Nueva Métrica (Partial VOROS): Un indicador de rendimiento unificado que es monótono con el costo y que solo considera la región del espacio de clasificadores que cumple con las restricciones operativas de precisión y capacidad.
2. Análisis Geométrico Riguroso: Se establece la geometría poligonal de la región factible bajo diferentes combinaciones de límites de precisión y capacidad, demostrando cómo estas restricciones transforman el espacio de búsqueda de modelos.
3. Extensión del VOROS: Se generaliza el trabajo previo de Ratigan y Cowen (2025) sobre el volumen ROC 3D para incluir restricciones "duras" (hard constraints), no solo preferencias de costo.
4. Herramientas Prácticas: Se proporciona código de código abierto y una guía de usuario para calcular esta métrica, facilitando su adopción por parte de la comunidad.

4. Resultados Experimentales

Los autores evaluaron la métrica en dos escenarios principales:

• Re-análisis de Puntuaciones de Alerta Temprana (Edelson et al.):

  • Al aplicar Partial VOROS a datos de 7 hospitales, se demostró que no existe un único "mejor" modelo (NEWS, NEWS2 o Rothman Index) universal.
  • El modelo ganador depende estrictamente de los límites de precisión y capacidad. Por ejemplo, NEWS2 es superior en escenarios de alta precisión y baja capacidad, mientras que NEWS es mejor cuando la capacidad es mayor. Esto matiza conclusiones anteriores que favorecían a un solo modelo.

• Selección de Modelos para Mortalidad (MIMIC-IV y eICU):

  • Se compararon estrategias de selección de modelos: maximizar PV (consciente de costos y restricciones), maximizar VOROS total (consciente de costos pero sin restricciones), maximizar Recall en la región factible, y maximizar AUROC parcial.
  • Hallazgo Principal: La estrategia max PV consistentemente logró el menor costo esperado en los datos de prueba en comparación con las alternativas.
  • Importancia de las Restricciones: En escenarios estrictos (alta precisión, baja capacidad), los modelos seleccionados por VOROS total (que ignora las restricciones) fallaron al no cumplir con los límites de capacidad o precisión en los datos de prueba, resultando en costos más altos. La selección basada en PV garantizó el cumplimiento de las restricciones operativas y minimizó el costo.

5. Significado e Impacto

El trabajo es significativo porque cierra la brecha entre el rendimiento teórico de los modelos de aprendizaje automático y las realidades operativas de su despliegue.

• Viabilidad Operativa: Proporciona un marco para seleccionar modelos que no solo son precisos, sino que son utilizables por el personal humano (evitando la fatiga de alarmas) y gestibles por los recursos del sistema (limitando la carga de trabajo).
• Toma de Decisiones Informada: Permite a los stakeholders (médicos, administradores) definir sus umbrales de tolerancia ($\alpha$ y $\kappa$) y la incertidumbre en los costos, obteniendo una métrica que refleja directamente el valor de negocio/clinico del modelo.
• Generalización: Aunque se enfoca en clasificación binaria, el enfoque geométrico de acotar el espacio de búsqueda según restricciones operativas ofrece una vía para mejorar la evaluación de modelos en cualquier dominio donde los recursos sean limitados y los costos de error asimétricos.

En resumen, Partial VOROS transforma la evaluación de clasificadores de un ejercicio puramente estadístico a uno de ingeniería de sistemas, asegurando que los modelos seleccionados estén alineados con las limitaciones del mundo real y los objetivos de costo.