A Consequentialist Critique of Binary Classification Evaluation: Theory, Practice, and Tools

Este artículo propone un marco de evaluación de clasificación binaria basado en la teoría de la decisión y el uso de reglas de puntuación propias como la puntuación Brier, respaldado por una herramienta práctica en Python y una variante técnica mejorada, para superar la dependencia actual de métricas de umbral fijo en la literatura de aprendizaje automático.

Lo esencial

Imagina que estás entrenando a un guardia de seguridad (un modelo de inteligencia artificial) para que decida quién entra a un club exclusivo. El guardia no toma decisiones al azar; primero mira una "puntuación de confianza" que le da el sistema. Si la puntuación es alta, entra; si es baja, se queda fuera.

El problema que plantean los autores de este paper es que, hasta ahora, hemos estado evaluando a este guardia con reglas que no tienen mucho sentido en la vida real.

Aquí tienes la explicación sencilla, usando analogías:

1. El Problema: La "Regla del 50%" y el "Ranking Ciego"

En el mundo de la investigación de Inteligencia Artificial, la mayoría de la gente evalúa a sus modelos de dos formas principales, y ambas tienen fallos graves:

• La "Regla de la Precisión" (Accuracy): Es como decir: "El guardia está bien si acierta el 90% de las veces". Pero, ¿qué pasa si el guardia confunde a un ladrón con un invitado VIP? En medicina o justicia, confundir a un enfermo con un sano (falso negativo) es mucho más grave que confundir a un sano con un enfermo (falso positivo). La "precisión" trata ambos errores como si fueran iguales, como si equivocarse al adivinar el clima fuera tan grave como equivocarse al diagnosticar un cáncer. Es una métrica que ignora las consecuencias reales.
• El "Ranking Ciego" (AUC-ROC): Es como evaluar al guardia solo por si logra poner a los "mejores" candidatos en la parte superior de la lista, sin importar si la lista es de 100 personas o de 10. Es útil si tienes un presupuesto fijo (ej. "solo puedo contratar a los 5 mejores"), pero en la vida real, a menudo no sabemos cuántos "positivos" habrá, y cada decisión se toma de forma independiente.

2. La Solución: Pensar en las Consecuencias (Consecuencialismo)

Los autores dicen: "Dejemos de adivinar y empecemos a pensar en el daño o beneficio real".

Imagina que tienes un termómetro de arrepentimiento.

• Si el guardia deja entrar a un ladrón, el termómetro marca un "arrepentimiento" alto (costo alto).
• Si el guardia detiene a un inocente, el termómetro marca un "arrepentimiento" medio.

La idea central es que no debemos elegir una sola línea de corte (umbral) para evaluar al modelo. En la vida real, no sabemos exactamente dónde poner esa línea.

• ¿Es más peligroso dejar entrar a un criminal? Entonces bajamos la línea.
• ¿Es más peligroso detener a un inocente? Entonces subimos la línea.

Como no sabemos el "precio exacto" del error, deberíamos evaluar al modelo promediando su desempeño en todo un rango de posibilidades, no solo en un punto fijo.

3. Las Herramientas Nuevas: "Brier Score" y "Log Loss" (Los Termómetros)

El paper revive dos herramientas antiguas pero poderosas que la gente ha ignorado: el Puntaje Brier y la Pérdida Logarítmica.

• La analogía del meteorólogo: Imagina un meteorólogo que dice "hay un 80% de probabilidad de lluvia". Si llueve, su "puntaje" es bueno. Si no llueve, su puntaje es malo. Pero lo importante es que este puntaje mide qué tan bien calibrada está su confianza, no solo si acertó o no.
• La innovación: Los autores crearon una versión "recortada" (clipped) de estas herramientas.
  • Antes: El puntaje Brier promedio todo, desde "casi imposible" hasta "casi seguro". Esto es como evaluar al guardia asumiendo que el ladrón podría ser tan peligroso como un niño perdido (rango de 0 a 100%).
  • Ahora: Con su nueva herramienta (briertools), puedes decir: "Solo quiero evaluar al guardia en el rango donde el ladrón es peligroso, digamos entre un 5% y un 20% de probabilidad". Esto es mucho más realista para un hospital o un tribunal.

4. El Caso Real: El Cáncer de Mama

Ponen un ejemplo brillante con el cáncer de mama.

• Los médicos no se ponen de acuerdo: ¿Cuándo debemos tratar a una paciente? ¿Cuando el riesgo es del 1.66%? ¿Del 2%? ¿Del 3%?
• Si usas las métricas antiguas, podrías elegir un modelo que parece "el mejor" en general, pero que falla estrepitosamente en ese rango específico de riesgo (1.66% - 3%).
• Al usar la nueva herramienta de los autores, descubrieron que un modelo que parecía "peor" en general, era en realidad el mejor para ese rango de riesgo específico. ¡Cambiaron la decisión final!

5. La Caja de Herramientas: briertools

Para que esto no sea solo teoría, los autores crearon un paquete de software gratuito llamado briertools (una caja de herramientas para el puntaje Brier).

• Es como un traductor que convierte las matemáticas complejas en gráficos fáciles de entender.
• Te permite ver no solo si el modelo es bueno, sino dónde es bueno y dónde falla, dependiendo de qué tan estricto seas con tus decisiones.

En Resumen

Este paper es un grito de ayuda para los científicos de datos: "Dejen de adivinar el umbral perfecto y dejen de usar métricas que ignoran el costo de los errores".

En lugar de preguntar "¿Acertó el modelo?", deberíamos preguntar: "¿Qué tan bien se comporta el modelo en el rango de decisiones que realmente nos importa?".

Han creado las herramientas matemáticas y el software para que cualquiera pueda hacer esto, asegurando que las decisiones de la IA (desde quién va a la cárcel hasta quién recibe tratamiento médico) se basen en el impacto real y no en números fríos que no cuentan la historia completa.

Resumen técnico

Resumen Técnico

1. El Problema

El artículo identifica una desconexión fundamental entre la forma en que se evalúan los modelos de aprendizaje automático (ML) y la realidad de su despliegue en el mundo real.

• Contexto: Muchas decisiones críticas (diagnóstico médico, justicia penal) requieren convertir pronósticos probabilísticos en decisiones binarias (sí/no) mediante un umbral ($\tau$).
• La Discrepancia: La práctica actual en conferencias principales de ML (ICML, FAccT, CHIL) depende en gran medida de métricas de umbral fijo (como Precisión, Exactitud/Accuracy) o métricas de ranking (como AUC-ROC).
• La Crítica: Estas métricas asumen implícitamente que los costos de los errores (falsos positivos vs. falsos negativos) son conocidos, fijos o que las decisiones se toman bajo un presupuesto fijo (Top-K). Sin embargo, en escenarios reales (como la medicina), el umbral óptimo es a menudo incierto, varía según el contexto y las decisiones son independientes entre instancias.
• Consecuencia: Optimizar o evaluar con métricas inadecuadas puede llevar a seleccionar modelos que no maximizan el valor real (beneficio neto) en el escenario de despliegue específico.

2. Metodología y Marco Teórico

Los autores adoptan una perspectiva consecuencialista basada en la teoría de la decisión, donde la evaluación debe modelar el impacto real de las decisiones.

• Formalización del Arrepentimiento (Regret): Definen el rendimiento de un clasificador como el valor esperado o el "arrepentimiento" ($R$), que es el costo excedente de usar un modelo en comparación con la regla de decisión óptima bajo una estructura de costos dada.
• Taxonomía de Evaluación: Proponen un marco basado en dos factores clave para seleccionar la métrica adecuada:
  1. Acoplamiento de Instancias: ¿Las decisiones son independientes (cada caso se evalúa por sí mismo) o dependen de un presupuesto fijo (Top-K, como asignar camas de UCI)?
  2. Especificidad del Umbral: ¿El umbral de decisión es conocido con exactitud o es incierto/variable?
• Análisis Empírico: Realizaron una revisión asistida por LLM (Claude 3.5 Haiku) de 2,610 artículos de ICML, FAccT y CHIL de 2024.
  • Hallazgo: La Exactitud (Accuracy) domina fuera de la salud (>50%), y el AUC-ROC domina dentro de la salud. Las reglas de puntuación propias (como Brier y Log Loss) se usan en menos del 15% de los casos, a pesar de ser teóricamente superiores para decisiones independientes con umbral incierto.

3. Contribuciones Clave

A. Teóricas:

1. Reglas de Puntuación con Umbral Acotado (Bounded-Threshold Scoring Rules):
   • Derivan nuevas versiones de la Puntuación Brier y la Pérdida Logarítmica (Log Loss) que promedian el arrepentimiento solo sobre un intervalo acotado de ratios de costos $[a, b]$, en lugar de sobre todo el intervalo unitario $[0, 1]$.
   • Esto resuelve la crítica de Assel et al. (2017) sobre que el Brier estándar promedia sobre umbrales clínicamente irrelevantes.
   • Fórmula Clave: Muestran que la puntuación Brier acotada es computacionalmente eficiente, requiriendo solo dos evaluaciones de la puntuación Brier estándar tras proyectar (recortar) las predicciones al intervalo $[a, b]$.
2. Reconciliación con el Análisis de Curvas de Decisión (DCA):
   • Demuestran teóricamente que el DCA (Net Benefit) y las reglas de puntuación propias (Brier/Log Loss) pertenecen a la misma familia basada en el arrepentimiento.
   • Muestran que el Brier acotado es equivalente al promedio del Beneficio Neto sobre un intervalo de umbrales, proporcionando una interpretación semántica más coherente para la heterogeneidad de preferencias en la población.

B. Prácticas:

1. Taxonomía de Selección de Métricas: Proporcionan una guía clara (Tabla 1 en el paper) para que los practicantes elijan la métrica correcta según su escenario de despliegue (ej. si es Top-K o independiente, si el umbral es fijo o incierto).
2. Herramienta de Software (briertools):
   • Lanzan un paquete de Python compatible con sklearn que implementa las métricas propuestas (Brier acotado, Log Loss acotado, curvas de arrepentimiento).
   • Permite visualizar la descomposición de la puntuación en calibración y discriminación en una escala común, algo que métricas como AUC no permiten.

4. Resultados y Estudio de Caso

• Revisión de Literatura: Confirman que la comunidad de ML ignora sistemáticamente las métricas de puntuación propia, prefiriendo métricas de umbral fijo (Accuracy) o de ranking (AUC), lo cual es teóricamente inconsistente con escenarios de umbral incierto.
• Estudio de Caso (Cáncer de Mama):
  • Analizaron la predicción de riesgo de cáncer de mama con umbrales de tratamiento disputados (1.66% vs 3%).
  • Resultado: Un modelo XGBoost modificado con un umbral interno de 2% tenía un rendimiento global (Brier/Log Loss estándar) peor que los modelos de referencia. Sin embargo, al evaluarlo con puntuaciones acotadas en el intervalo clínicamente relevante [1.66%, 3%], este modelo superó a todos los demás.
  • Implicación: La evaluación consciente del umbral puede invertir la clasificación de modelos, seleccionando el que realmente es mejor para el contexto específico.
• Descomposición: El uso de briertools reveló que un modelo con menor AUC pero mejor calibración podía tener un menor arrepentimiento esperado, demostrando que la calibración es crítica cuando los umbrales son inciertos.

5. Significado e Impacto

• Cambio de Paradigma: El artículo argumenta que la evaluación de modelos no debe ser una búsqueda de métricas "universales" (como Accuracy o AUC), sino una alineación explícita con la estructura de costos y la incertidumbre del entorno de despliegue.
• Puente entre Teoría y Práctica: Al proporcionar herramientas prácticas (briertools) y derivaciones matemáticas eficientes, eliminan la barrera técnica para adoptar reglas de puntuación propias acotadas.
• Relevancia en Salud y Ética: Ofrece un marco riguroso para decisiones de alto riesgo donde los costos de los errores son asimétricos y los umbrales de intervención son debatidos por expertos (médicos, jueces), evitando la simplificación excesiva que imponen métricas como la Exactitud.

En resumen, el paper demuestra que las métricas tradicionales a menudo evalúan la "incorrecta" propiedad del modelo para el problema real, y propone un marco unificado basado en el arrepentimiento y herramientas software para corregir esta desalineación.