🤖 machine learning

The Hidden Cost of Resampling: How Imbalance Correction Degrades Probability Calibration in Tree Ensembles

Este artículo demuestra que, si bien SMOTE degrada ligeramente la calibración de probabilidad en los ensambles de árboles, el submuestreo aleatorio causa errores de calibración severos en proporciones de desequilibrio altas, pero ambos problemas pueden resolverse eficazmente mediante la recalibración post-hoc sin sacrificar significativamente el rendimiento de clasificación.

Autores originales: Zewen Liu

Publicado 2026-06-30

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Zewen Liu

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

La visión general: El "costo oculto" de corregir el desequilibrio

Imagina que eres un profesor intentando calificar a una clase donde el 99% de los estudiantes son excelentes (la "Mayoría") y solo el 1% tiene dificultades (la "Minoría"). Si solo miras el promedio de las notas, la clase parece perfecta. Pero si quieres ayudar a los estudiantes con dificultades, necesitas prestarles atención extra.

En el aprendizaje automático (machine learning), esto se llama desequilibrio de clases. Para solucionarlo, los científicos de datos utilizan el remuestreo (resampling):

Sobremuestreo (SMOTE): Crean copias "sintéticas" de los estudiantes con dificultades para que la clase parezca más equilibrada.
Submuestreo (Undersampling): Desechan a la mayoría de los estudiantes excelentes para que los que tienen dificultades no se vean opacados.

El descubrimiento del artículo:
Los autores descubrieron que, aunque estos trucos ayudan al modelo a mejorar su capacidad de clasificar quién tiene dificultades (encontrar a las personas correctas), secretamente dañan la capacidad del modelo para decirte qué tan seguro está.

Piensa en un pronosticador del tiempo. Si dice: "Hay un 70% de probabilidad de lluvia", esperas que llueva 7 de cada 10 veces. Si el modelo está calibrado, dice la verdad. Si está mal calibrado, podría decir "70%" cuando en realidad solo va a llover el 10% de las veces.

Este artículo pregunta: ¿Estos trucos de "corrección" arruinan la honestidad del modelo sobre su propia confianza?

Los tres hallazgos principales

1. El truco de la "copia sintética" (SMOTE) es un precio pequeño a pagar

La analogía: Imagina que tienes una receta para un pastel, pero solo tienes un huevo. Para hacer más pasteles, fotocopias las instrucciones del huevo. El pastel sigue sabiendo bien (el modelo encuentra a las personas correctas), pero las instrucciones sobre cuánto huevo usar se vuelven un poco difusas.
El resultado: Usar SMOTE (crear datos sintéticos) hace que el modelo sea ligeramente menos honesto sobre su confianza. Sin embargo, el daño es pequeño. El modelo sigue encontrando bien a los estudiantes con dificultades, y la ligera pérdida de "honestidad" suele valer la pena por la ganancia de encontrarlos.

2. El truco de "tirar los datos" (Undersampling) es peligroso

La analogía: Imagina que tienes 1,000 estudiantes, pero decides tirar a 990 de ellos solo para concentrarte en los 10 que tienen dificultades. Ahora estás tratando de aprender un tema complejo con solo 10 ejemplos. Podrías adivinar la respuesta correcta por suerte, pero tu confianza será completamente errática.
El resultado: El submuestreo aleatorio es el verdadero villano. Cuando el desequilibrio es enorme (como 70 a 1), este método destruye la honestidad del modelo. El modelo se vuelve extremadamente sobreconfiado. Dice: "¡Estoy 99% seguro!", cuando en realidad está adivinando a ciegas porque no tenía suficientes datos para aprender.

3. El "arreglo mágico" (Recalibración)

La analogía: Imagina un termómetro que es preciso pero que marca 5 grados de más. No necesitas reconstruir el termómetro; solo necesitas añadir una pegatina que diga "Restar 5".
El resultado: Los autores encontraron un arreglo simple y económico. Después de entrenar el modelo (incluso si usó los "malos" trucos anteriores), puedes pasarlo por un paso rápido de "recalibración" (usando métodos como el escalamiento de Platt o la regresión isotónica).

Esto arregla el problema de la honestidad casi por completo.
No cuesta casi nada en términos de la capacidad del modelo para clasificar personas.
Nota crucial: No puedes simplemente usar una fórmula matemática para "deshacer" el truco de los datos sintéticos (SMOTE) porque SMOTE cambia la forma de los datos, no solo los números. Necesitas una "pegatina" basada en datos (recalibración) para arreglarlo.

Por qué esto te importa

Si estás construyendo un sistema que toma decisiones basadas en probabilidades (por ejemplo, "¿Es este préstamo riesgoso? Si el riesgo es >20%, rechazarlo"), debes preocuparte por la calibración.

La trampa: La mayoría de la gente solo verifica si el modelo encuentra los casos "malos" (usando métricas como F1 o AUC). El artículo muestra que el remuestreo a menudo mejora estas puntuaciones, haciéndote pensar que tu modelo es excelente.
La realidad: Aunque el modelo es mejor encontrando los casos malos, sus números de probabilidad podrían estar mintiéndote. Podría decir "20% de riesgo" cuando el riesgo real es del 50%.
La solución:
1. Si utilizas remuestreo, siempre verifica la calibración del modelo (honestidad), no solo su precisión.
2. Si utilizas submuestreo en datos altamente desequilibrados, ten mucho cuidado; puede romper la confianza del modelo.
3. Añade siempre un paso de recalibración al final si tu sistema depende de números de probabilidad. Es un arreglo barato que te salva de tomar malas decisiones basadas en una falsa confianza.

Resumen en una frase

El remuestreo ayuda a los modelos a encontrar eventos raros, pero a menudo rompe su capacidad de decir qué tan seguros están; sin embargo, un simple paso de "recalibración" puede arreglar esta honestidad rota sin arruinar el rendimiento del modelo.

Resumen Técnico: El Costo Oculto del Remuestreo en Conjuntos de Árboles

1. Planteamiento del Problema

El desequilibrio de clases es omnipresente en dominios de alto riesgo como la detección de fraude y el cribado de enfermedades. El remedio estándar implica técnicas de remuestreo —específicamente la Técnica de Sobremuestreo de la Clase Minoritaria Sintética (SMOTE), el sobremuestreo aleatorio (ROS) y el submuestreo aleatorio (RUS)— para equilibrar los conjuntos de entrenamiento. Aunque estos métodos se evalúan rutinariamente mediante métricas de discriminación (p. ej., F1-score, AUC, recall de la clase minoritaria), casi nunca se evalúan para la calibración de probabilidad.

Muchos sistemas desplegados dependen de probabilidades predichas para decisiones posteriores (p. ej., optimización de costos esperados, umbrales de triaje). El remuestreo distorsiona deliberadamente la distribución previa de clases observada durante el entrenamiento, lo que lleva a la hipótesis de que también distorsiona las probabilidades emitidas. Este documento investiga si el remuestreo degrada la calibración de los conjuntos de árboles, cómo esta degradación escala con la razón de desequilibrio (IR) y si las correcciones post-hoc pueden reparar el daño sin sacrificar el poder de clasificación.

2. Metodología

El estudio emplea un diseño experimental riguroso de diseño de estadísticas emparejadas, de múltiples semillas, a través de cinco conjuntos de datos de clasificación binaria públicos (con Razones de Desequilibrio que van de 1.9 a 70.1) y dos modelos de conjuntos de árboles: Random Forests (RF) y Histogram Gradient Boosting (HGB).

Condiciones Experimentales:
- Línea Base (Baseline): Sin remuestreo.
- Remuestreo: SMOTE, ROS y RUS (apuntando a un equilibrio de clases 1:1 dentro de los pliegues de entrenamiento).
- Control: Ponderación de clases (rebalanceo de la pérdida sin modificación de los datos).
- Calibración Post-hoc: Escalamiento de Platt e Isotonic regression aplicados a modelos SMOTE en un conjunto de calibración reservado.
Métricas:
- Calibración: Error de Calibración Esperado (ECE), Brier score y diagramas de fiabilidad.
- Discriminación: ROC-AUC, PR-AUC y F1 de la clase minoritaria.
Análisis Estadístico: Las comparaciones utilizan la prueba de rango con signo de Wilcoxon para muestras emparejadas a través de 10 semillas aleatorias y validación cruzada de 5 pliegues. Los tamaños del efecto se cuantifican mediante el $\delta$ de Cliff. Se aplica la corrección de Holm–Bonferroni para controlar las tasas de error de familia.
Investigaciones Específicas:
- H1: ¿Degrada el remuestreo la calibración?
- HH2: ¿Puede la recalibración post-hoc reparar el daño?
- H3: ¿Cómo escala el daño con la razón de desequilibrio y la agresividad del sobremuestreo?
- H4 (Resultado Negativo): ¿Se transfiere a SMOTE la corrección analítica de cambio de prioridad (válida para el submuestreo)?

3. Resultados Clave

A. El Remuestreo Degrada la Calibración (H1)

Todas las familias de remuestreo aumentan significativamente el ECE en comparación con la línea base, aunque la magnitud varía drásticamente:

SMOTE y ROS: Causan un aumento de pequeño a moderado en el ECE (p. ej., SMOTE: $0.052 \to 0.061$ , $\delta = +0.27$ ).
Submuestreo Aleatorio (RUS): Causa una degradación severa, particularmente en razones de desequilibrio altas. En el conjunto de datos yeast_ml8 (IR=70), el RUS infla el ECE de $0.008 $a$ 0.395$. Esto se atribuye al "colapso del tamaño de la muestra" (entrenar con $\sim50$ muestras) más que al mecanismo de remuestreo en sí, aunque el RUS sigue siendo perjudicial en conjuntos de datos con tamaños de muestra adecuados.
Ponderación de Clases: Causa solo cambios marginales en la calibración, lo que indica que el daño proviene de alterar la distribución de los datos de entrenamiento, no simplemente de la función objetivo.

B. La Recalibración Post-hoc Repara el Daño (H2)

Un único paso de recalibración post-hoc (Platt o Isotonic) elimina efectivamente el daño de calibración causado por SMOTE:

Reducción de ECE: El ECE de SMOTE cae de $0.061 $a$ 0.021$ (Platt) y $0.025$ (Isotonic), cayendo a menudo por debajo de la línea base original.
Costo de Clasificación (Ranking): La reparación incurre en un costo insignificante para el poder de clasificación. El AUC disminuye solo $0.002 $($ \delta = -0.07$). Esta pequeña caída se atribuye en gran medida a la reducción de datos requerida para el conjunto de calibración, no a la transformación en sí.
Compromiso (Trade-off): Cambiar un descenso de $0.002$ en AUC por una reducción del $66\%$ en el ECE es favorable para los sistemas de toma de decisiones.

C. Escalamiento con Desequilibrio y Agresividad (H3)

Razón de Desequilibrio (Imbalance Ratio): El daño de calibración de RUS crece abruptamente con la razón de desequilibrio. En contraste, la penalización de calibración de SMOTE permanece relativamente pequeña y estable a través del rango de IR estudiado (1.9–70).
Razón de Sobremuestreo: El error de calibración crece monótonamente con la agresividad de SMOTE (la cantidad de datos sintéticos inyectados), mientras que las métricas de discriminación (AUC, F1) permanecen planas o mejoran ligeramente.

D. La Corrección Analítica Falla para SMOTE (Resultado Negativo)

El documento demuestra que la corrección analítica de cambio de prioridad (que funciona para el submuestreo mediante el ajuste de la prioridad desplazada $\pi_{train}$ ) no se transfiere a SMOTE.

Razonamiento: El RUS desplaza solo la prioridad $p(y)$ , dejando intacta la densidad condicional de clase $p(x|y)$ . SMOTE, sin embargo, sintetiza nuevos puntos mediante interpolación, distorsionando así la densidad condicional de clase $p(x|y=1)$ .
Resultado: Aplicar la corrección analítica a los modelos SMOTE falla en mejorar el ECE (incluso empeorándolo en algunos casos), mientras que la recalibración isotónica basada en datos tiene éxito.

E. Estabilidad de la Atribución de Características

El análisis SHAP en el conjunto de datos credit-g indica que SMOTE preserva la estructura de características aprendida (correlación de Spearman de 0.96 en los rankings de importancia de características) mientras corrompe la escala de probabilidad. Esto confirma que el daño de calibración es un problema de escala corregible mediante transformaciones monótonas, no un cambio fundamental en lo que el modelo aprende.

4. Significancia y Contribuciones

Los autores posicionan este trabajo no como el descubrimiento de un fenómeno novedoso (ya que el daño de calibración del submuestreo fue observado previamente por Dal Pozzolo et al.), sino como una consolidación y extensión práctica y basada en evidencia del conocimiento existente.

Clarificación del Riesgo: El estudio distingue entre los costos de calibración "pequeños pero reales" para SMOTE y los costos "genuinamente peligrosos" para RUS, especialmente en razones de desequilibrio extremas.
Guía Práctica: Proporciona un protocolo claro para los profesionales: si se utiliza el remuestreo y las probabilidades impulsan las decisiones, un paso de recalibración post-hoc es necesario y suficiente.
Corrección Metodológica: Advierte explícitamente contra la aplicación de correcciones analíticas de cambio de prioridad a los métodos de sobremuestreo sintético, ya que no tienen en cuenta la distorsión de la densidad.
Estándar de Evaluación: El documento argumenta que los estudios de aprendizaje desequilibrado deben reportar métricas de calibración (ECE, Brier) junto con métricas de discriminación (F1, AUC) para evitar el despliegue de modelos con probabilidades poco confiables.

5. Limitaciones

Los autores reconocen varias fronteras de sus afirmaciones:

El estudio se limita a datos tabulares y dos modelos de conjuntos de árboles; las redes neuronales y otras modalidades pueden comportarse de manera diferente.
La descomposición de la pérdida de AUC en "reducción de datos" vs. "costos de transformación de calibración" se basa en una relación de división específica.
La explicación del fallo de la corrección analítica de SMOTE es una hipótesis intuitiva respecto a la distorsión de $p(x|y)$ , que requiere un análisis formal en trabajos futuros.
Los resultados están limitados por el rango de desequilibrio probado (IR 1.9–70); las razones extremas (cientos o miles) pueden generar efectos mayores.