Challenges in the calibration of tree-based models for imbalanced classification

Resumen Técnico: Desafíos en la Calibración de Modelos Basados en Árboles para Clasificación Desbalanceada

Planteamiento del Problema
En la clasificación binaria desbalanceada, es una práctica común el submuestreo (undersampling) de la clase mayoritaria para crear un conjunto de entrenamiento balanceado. Sin embargo, este procedimiento sesga las probabilidades predichas por el modelo porque la distribución de entrenamiento ya no representa a la población subyacente. Para corregir esto, se han propuesto métodos de calibración analítica (específicamente la Ec. 1 derivada por Dal Pozzolo et al., 2015) para mapear las predicciones de modelos submuestreados de vuelta a las probabilidades reales de la población basándose en la tasa de muestreo. Aunque se aplica ampliamente a modelos como los Bosques Aleatorios (Random Forests, RF), este artículo investiga si este enfoque analítico produce estimaciones de probabilidad bien calibradas cuando se aplica a modelos basados en árboles entrenados con datos submuestreados.

Metodología
Los autores emplean un enfoque multifacético para evaluar la eficacia de la calibración analítica:

1. Análisis Teórico: El artículo examina primero la validez matemática de aplicar la Ec. 1 a los Bosques Aleatorios Balanceados (Balanced Random Forests, Chen et al., 2004). Demuestra que la derivación de la Ec. 1 depende de supuestos sobre las probabilidades de muestreo que son vulnerados por el procedimiento de bootstrapping inherente a los Bosques Aleatorios Balanceados.
2. Estudio de Caso Empírico: Utilizando un conjunto de datos del mundo real sobre incendios forestों causados por el hombre en la región de Lac La Biche, Alberta (1996–2016), los autores entrenan Bosques Aleatorios estándar con datos submuestreados. Varían sistemáticamente dos hiperparámetros: la tasa de muestreo de la clase mayoritaria y el número de predictores considerados en cada división ($m_{try}$). Los modelos se calibran utilizando la Ec. 1, y las estimaciones de prevalencia resultantes (suma de las probabilidades predichas) se comparan contra el número real de eventos.
3. Estudio de Simulación: Para aislar variables y controlar el proceso generador de datos, se desarrolla un simulador con 10 predictores y una relación no lineal compleja (Ec. 2). Esto permite la generación de conjuntos de datos con probabilidades reales conocidas. Los autores repiten el estudio de caso empírico en estos conjuntos de datos simulados para evaluar la consistencia de los hallazgos.
4. Investigación de Mecanismos:
   • Efecto de $m_{try}$: Los autores analizan la distribución de las predicciones antes y después de la calibración utilizando gráficos de cuantiles-cuantiles para comprender cómo la no linealidad de la Ec. 1 interactúa con la "extremidad" de las predicciones de los Bosques Aleatorios.
   • Efecto de la Tasa de Muestreo: Los autores prueban Árboles de Decisión individuales (ajustados a pureza) en conjuntos de datos con niveles variables de desbalance, para determinar si los árboles mismos exhiben un sesgo hacia la clase minoritaria, lo que explicaría la sobreestimación sistemática observada en los Bosques Aleatorios.

Contribuciones Clave
El artículo realiza tres contribuciones principales:

1. Inaplicabilidad para Bosques Aleatorios Balanceados: Demuestra que la calibración analítica (Ec. 1) es teóricamente inadecuada para los Bosques Aleatorios Balanceados porque el proceso de bootstrapping altera la probabilidad de inclusión de las observaciones de la clase minoritaria ($\mathbb{P}(S=1|Y=1) \approx 0.632$), vulnerando los supuestos requeridos para la derivación de la ecuación.
2. Sensibilidad de Hiperparámetros en Bosques Aleatorios Estándar: Revela que, para los Bosques Aleatorios estándar entrenados con datos submuestreados, la calibración analítica conduce a estimaciones de prevalencia que no son invariantes a las elecciones de hiperparámetros. Específicamente, la prevalencia estimada aumenta sistemáticamente con tanto el número de predictores considerados en cada división como la tasa de muestreo utilizada.
3. Descubrimiento de Sesgo de Clase Minoritaria en Árboles de Decisión: Contrariando la literatura predominante que sugiere que los árboles de decisión están sesgados hacia la clase mayoritaria (ignorando o subestimando a la minoría), los autores proporcionan evidencia de que los árboles de decisión pueden estar sesgados hacia la clase minoritaria (sobreestimando probabilidades) cuando se entrenan con datos desbalanceados. Este sesgo persiste incluso después de la calibración analítica, provocando una sobrepredicción sistemática.

Resultos

• Predicción de Incendios Forestales: En la aplicación al mundo real, el número predicho de incendios forestales varió en más de un 40% dependiendo de la elección de los hiperparámetros, a pesar de que los modelos fueron calibrados. Las estimaciones mostraron claras correlaciones positivas con tanto la tasa de muestreo como el número de predictores considerados en cada división.
• Simulación: El estudio de simulación confirmó los hallazgos del mundo real, mostrando que las estimaciones de prevalencia aumentaron con la tasa de muestreo y el número de predictores. En muchos casos, los modelos calibrados sobreestimaron sistemáticamente la prevalencia real hasta en un 20%.
• Mecanismo de $m_{try}$: El análisis mostró que los Bosques Aleatorios producen predicciones más extremas (más cercanas a 0 o 1) cuando se consideran más predictores en cada división. Aunque las distribuciones previas a la calibración eran similares, la naturaleza no lineal de la Ec. 1 amplificó estas diferencias tras la calibración, causando que el modelo con mayor $m_{try}$ produjera estimaciones de prevalencia significativamente más altas.
• Mecanismo de la Tasa de Muestreo: La investigación en árboles de decisión individuales reveló que, a medida que el desbalance de clases aumentaba, la relación entre la probabilidad predicha y la probabilidad real aumentaba (superando el 1.0), indicando un sesgo de sobrepredicción hacia la clase minoritaria. Este sesgo no fue eliminado por la calibración analítica.

Significancia y Afirmaciones
Los autores concluyen que la calibración analítica no es adecuada para calibrar modelos basados en árboles entrenados con datos submuestreados. El método falla en producir estimaciones de probabilidad bien calibradas porque la prevalencia resultante depende de elecciones arbitrarias de hiperparámetros y de sesgos inherentes en la estructura del árbol que la fórmula analítica no puede corregir.

El artículo argumenta que, dado que las buenas estimaciones de prevalencia son una condición necesaria para una buena calibración, el fallo en producir estimaciones de prevalencia estables indica un error fundamental en el enfoque. En consecuencia, los autores sugieren que los modelos basados en árboles entrenados con datos submuestreados deberían utilizar métodos de calibración capaces de aprender el patrón de descalibración a partir de los datos, tales como la calibración beta o la escala de Platt modificada, en lugar de depender de correcciones analíticas.

El hallazgo de que los árboles de decisión pueden estar sesgados hacia la clase minoritaria se presenta como un contrapunto significativo a la literatura existente, sugiriendo que los profesionales no deben asumir automáticamente que los árboles de decisión descuidarán la clase minoritaria en entornos desbalanceados. Sin embargo, los autores mantienen la modestia, señalando que este sesgo no se observó consistentemente en todas las configuraciones (por ejemplo, en algunas variaciones de implementación en R) y que se requiere más trabajo para comprender plenamente las condiciones bajo las cuales ocurre este sesgo.