Resumen Técnico: Visualización de la Distribución de Métricas de la Matriz de Confusión

Planteamiento del Problema

La cultura imperante en el modelado algorítmico a menudo prioriza la optimización del rendimiento predictivo en conjuntos de datos y evaluaciones (benchmarks) específicos. Este enfoque ha dado lugar a una proliferación de literatura que debate los méritos relativos de diversas métricas de rendimiento (por ejemplo, el Coeficiente de Correlación de Matthews frente al F1-score frente a la Exactitud) para determinar qué métrica es la "mejor". Sin embargo, este artículo argumenta que tales debates suelen pasar por alto una fuente fundamental de incertidumbre: la naturaleza discreta de las matrices de confusión empíricas derivadas de conjuntos de datos finitos.

Cuando los clasificadores se evalúan con datos de prueba limitados, las métricas de rendimiento resultantes son estimaciones sujetas a una incertidumbre estadística significativa. Esta incertidumbre suele verse eclipsada por las pequeñas diferencias en el rendimiento empírico entre modelos competidores. Además, las visualizaciones estándar (como las curvas ROC) a menudo tratan las tasas como variables continuas, ocultando el hecho de que las matrices de confusión empíricas son recuentos discretos. El artículo postula que, sin tener en cuenta la incertidumbre inherente a estos recuentos discretos, las afirmaciones sobre la superioridad de un clasificador o la optimalidad de métricas específicas son a menudo prematuras y potencialmente engañosas.

Metodología

Los autores emplean un enfoque geométrico y probabilístico para visualizar y cuantificar la incertidumbre en las métricas de rendimiento.

1. Representación Geométrica (El Simplex de Confusión):

   • El artículo propone representar las matrices de confusión binarias (con elementos $a, b, c, d$ que suman un total fijo $N$) como puntos en una red isométrica tridimensional, denominada "simplex de confusión".
   • A diferencia de proyecciones anteriores (como el tetraedro de Chicco et al.) que normalizan los recuentos por $N$ y pierden información sobre el tamaño de la muestra, esta proyección preserva los recuentos enteros, mapeando cada matriz de confusión única a un punto único en $\mathbb{Q}^3$.
   • Al seccionar este simplex 3D en números fijos de ejemplos positivos ($p$) y negativos ($n$), los autores derivan redes rectangulares 2D que corresponden al espacio de las posibles curvas ROC para un determinado tamaño de dataset.

2. Derivación Algebraica de Contornos:

   • Los autores derivan expresiones algebraicas exactas para los contornos (isolíneas) de diversas métricas de rendimiento (tanto dependientes de la prevalencia como independientes de la prevalencia) dentro y más allá del espacio ROC estándar.
   • Estas expresiones permiten la visualización de la geometría de las métricas (por ejemplo, contornos de MCC como elipses concéntricas, contornos de F1 como líneas rectas) en función de la Tasa de Verdaderos Positivos (TPR) y la Tasa de Verdaderos Negativos (TNR).

3. Modelado Probabilístico de la Incertidumbre:

   • Para modelar la incertidumbre de las predicciones futuras dado un observado matriz de confusión, el artículo utiliza la inferencia bayesiana.
   • Modelo Binomial: Asume que las tasas de verdaderos positivos/negativos están fijas en sus valores empíricos.
   • Modelo Beta-Binomial: Incorpora la incertidumbre previa (utilizando distribuciones uniformes no informativas, $Beta(1,1)$) para generar distribuciones predictivas posteriores. Este enfoque es más conservador y refleja la incertidumbre inherente a los tamaños de muestra pequeños.
   • Los autores calculan las funciones de masa de probabilidad (pmf) predictivas posteriores exactas para las matrices de confusión y, mediante el mapeo a través de los contornos de las métricas, derivan las pmf para las métricas de rendimiento (por ejemplo, MCC, Exactitud Balanceada, F1).

4. Visualización Interactiva:

   • La metodología se implementa mediante visualizaciones interactivas utilizando Desmos y R. Estas herramientas permiten a los usuarios explorar cómo cambia la distribución de los valores de las métricas con el tamaño de la muestra, el desequilibrio de clases y la elección del modelo de incertidumbre.

Principales Contribuciones

• Reencuadre del Debate de las Métricas: El artículo desplaza el enfoque de discutir qué métrica es "mejor" hacia la comprensión de cómo surge la incertidumbre en las estimaciones de las métricas a partir de la naturaleza discreta de las matrices de confusión y los datos limitados.
• Proyección del Simplex de Confusión: Introducción de una proyección isométrica 3D que preserva la información del tamaño de la muestra, distinguiéndose de las proyecciones basadas únicamente en relaciones relativas.
• Derivaciones de Contornos Exactos: Provisión de expresiones algebraicas para los contornos de numerosas métricas de rendimiento, revelando su comportamiento geométrico (por ejemplo, cómo la excentricidad de los contornos de MCC depende de la prevalencia).
• Distribuciones Discretas de Métricas: El artículo destaca que las métricas de rendimiento, aunque a menudo se tratan como continuas, toman valores discretos en entornos empíricos. El artículo visualiza los "saltos" y las distribuciones multimodales resultantes en los valores de las métricas causados por la alineación de los puntos discretos de la ROC con los contornos de las métricas.
• Cuantificación de la Incertidumbre: Cálculo de las pmf predictivas posteriores exactas para las métricas de rendimiento bajo modelos beta-binomiales, mostrando que la incertidumbre puede ser sustancial incluso cuando las estimaciones puntuales parecen distintas.

Resultados y Observaciones

• Incertidumbre vs. Brechas de Rendimiento: Las visualizaciones demuestran que para conjuntos de datos pequeños o desequilibrados, la distribución de los posibles valores de las métricas (la incertidumbre) a menudo se solapa significencialmente entre diferentes clasificadores. En consecuencia, la diferencia en el rendimiento empírico entre dos modelos puede ser estadísticamente indistinguible.
• Impacto del Tamaño de la Muestra: A medida que aumenta el número total de ejemplos ($N$), las distribuciones predictivas posteriores de las métricas se estrechan (la desviación estándar escala con $1/\sqrt{N}$), reduciendo la incertidumbre. Sin embargo, para clases raras, la incertidumbre sigue siendo alta a menos que el número absoluto de ejemplos para esa clase sea suficiente.
• Geometría de las Métricas:
  • MCC: Los contornos forman elipses concéntricas cuya forma depende de la prevalencia.
  • F1 y Threat Score: Los contornos son líneas rectas que intersectan fuera del espacio ROC, con pendientes que dependen de la prevalencia.
  • Exactitud (Accuracy): Los contornos son líneas paralelas.
• Efectos de la Discretidad: El artículo destaca que añadir un solo ejemplo a un conjunto de datos puede cambiar la multiplicidad de puntos que yacen en un contorno de métrica específico, lo que conduce a cambios no suaves en las distribuciones de los valores de las métricas (por ejemplo, la distribución de MCC y la Exactitud Balanceada se vuelve más suave con un ejemplo negativo adicional, mientras que el F1 permanece menos afectado debido a su relación lineal específica con $p$ y $n$).
• Desequilibrio de Clases: El artículo aclara que, si bien existen métricas "balanceadas", estas no reducen intrínsecamente la incertidumbre. La incertidumbre es impulsada por la abundancia absoluta de ejemplos, no solo por la razón de equilibrio.

Significado y Reivindicaciones

El artículo afirma que su principal significación radica en concienciar sobre la sustancial incertidumbre inherente a las estimaciones de las métricas de rendimiento derivadas de conjuntos de datos empíricos.

• Temperar las Afirmaciones: Los autores argumentan que las afirmaciones de rendimiento (por ejemplo, "El Modelo A es mejor que el Modelo B" o "La Métrica X es la mejor") deben moderarse con una comprensión de la incertidumbre en las matrices de confusión subyacentes.
• Datos sobre Métricas: El artículo sostiene que la solución a la alta incertidumbre no es la selección de una "mejor" métrica, sino la recopilación de datos más representativos. Ninguna métrica puede reducir la incertidumbre causada por tamaños de muestra finitos.
• Utilidad Práctica: Al proporcionar herramientas de visualización e interacción, los autores pretenden ayudar a los profesionales a poner en perspectiva las estadísticas de rendimiento empírico, fomentando un enfoque en la reducción de la incertidumbre antes de participar en debates sobre la superioridad de las métricas o el ranking de los clasificadores.
• Modestia: El artículo establece explícitamente que no aborda la transparencia del modelo, la equidad o la representatividad de los datos de evaluación (el supuesto de que los datos futuros provienen del mismo proceso que los pasados). Su alcance está estrictamente limitado a la incertidumbre estadística de las métricas de rendimiento dados conjuntos de datos de evaluación fijos.

En conclusión, el artículo sirve como un recurso de advertencia y educativo, instando a la comunidad a reconocer que el "ruido" de la incertidumbre estadística en las matrices de confusión discretas puede fácilmente eclipsar la "señal" de las diferencias de rendimiento entre clasificadores.