🤖 AI

When Single-Dataset Conclusions Fail: A 45-Task Study of Threshold Tuning and Resampling for Imbalanced Classification

Este estudio demuestra que confiar en evaluaciones de un solo conjunto de datos para la clasificación desbalanceada es engañoso, ya que un análisis exhaustivo de 45 tareas revela que el ajuste de umbrales y las técnicas de remuestreo como SMOTE mejoran significamente el rendimiento a través de diversos ratios de desbalance, de forma contraria a los resultados nulos observados en el popular pero no representativo conjunto de datos de fraude de tarjetas de crédito.

Autores originales: Diyorbek Musaev

Publicado 2026-08-18

📖 6 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Diyorbek Musaev

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

En el mundo del aprendizaje automático, a menudo se pide a las computadoras que tomen decisiones binarias: si este correo electrónico es spam o no, si esta transacción es fraudulenta o legítima, si este escaneo médico muestra una enfermedad o un estado saludable. Estas tareas se vuelven difíciles cuando un resultado es mucho más común que el otro. Si un banco procesa un millón de transacciones al día y solo unos pocos cientos son fraudulentas, la computadora ve una montaña de actividad normal y un pico diminuto, casi invisible, de fraude. Esto se conoce como desequilibrio de clases. Para ayudar a la computadora a ver el evento raro, los investigadores han desarrollado herramientas estándar. Podrían crear artificialmente más ejemplos del evento raro para equilibrar los datos de entrenamiento, o podrían ajustar la línea de decisión interna de la computadora. Por defecto, una computadora suele decidir que un evento es positivo solo si está segura en más del cincuenta por ciento. En un mundo desequilibrado, esa línea del cincuenta por ciento podría ser demasiado alta, lo que causaría que la computadora pierda los eventos raros por completo. Por lo tanto, la práctica estándar es bajar esa línea, haciendo que la computadora sea más propensa a dar la voz de alarma.

Durante años, la comunidad científica ha dependido de un único y famoso conjunto de datos de transacciones de tarjetas de crédito para probar estas herramientas. Es el referente más utilizado en el campo, que contiene cientos de miles de transacciones reales con una fracción minúscula de fraude. Cuando los investigadores probaban sus métodos en este conjunto de datos específico, a menudo llegaban a una conclusión segura: las herramientas estándar eran innecesarias. Descubrieron que un modelo de computadora simple y bien calibrado podía detectar el fraude perfectamente bien sin ajustes especiales, y que intentar ajustar la línea de decisión o equilibrar los datos en realidad empeoraba las cosas. Este hallazgo se convirtió en una regla de oro ampliamente aceptada, sugiriendo que, para modelos bien comportados, todo el aparato de manejo de desequilibrios era superfluo.

Un nuevo estudio cuestiona la seguridad de esta regla. Los investigadores, trabajando en la Universidad Tecnológica de Queensland, se hicieron una pregunta simple pero profunda: ¿una conclusión extraída de un conjunto de datos específico se aplica al resto del mundo? Comenzaron retesteando rigurosamente el famoso conjunto de datos de fraude de tarjetas de crédito utilizando un protocolo estricto y libre de fugas de información (leakage-free) que garantizara que ninguna información de los resultados de prueba influyera accidentalmente en el entrenamiento. Sus resultados confirmaron la vieja historia. En este conjunto de datos específico, un modelo estándar llamado Bosque Aleatorio (Random Forest) funcionó mejor en su configuración por defecto, y cualquier intento de ajustar el umbral de decisión o añadir datos sintéticos al conjunto de entrenamiento no proporcionó ningún beneficio. De hecho, en este conjunto de datos, los ajustes hicieron que el modelo fuera ligeramente peor.

Sin embargo, los investigadores no se detuvieron ahí. Tomaron exactamente el mismo protocolo de prueba y lo aplicaron a una colección mucho más amplia de cuarenta y cinco tareas diferentes de clasificación binaria. Estas tareas variaban desde la identificación de dígitos escritos a mano hasta el diagnóstico de cáncer de mama e incluían tanto datos del mundo real como escenarios sintéticos cuidadosamente construidos. Las proporciones de desequilibrio en esta nueva colección variaban ampliamente, desde una diferencia leve de uno a uno y medio, hasta una diferencia severa de uno a ciento setenta y ocho. Cuando ejecutaron sus modelos a través de este conjunto diverso, la historia cambió por completo.

La conclusión que funcionó en el conjunto de datos de tarjetas de crédito resultó ser una anomalía, específica para ese conjunto de datos y ese modelo. A través de las cuarenta y cinco tareas, el mismo modelo de Bosque Aleatorio que no necesitaba ayuda en los datos de fraude, fue el que más se benefició de tener su umbral de decisión ajustado. Los ajustes que fueron perjudiciales en el conjunto de datos de fraude resultaron útiles en la colección más amplia. Del mismo modo, una técnica llamada SMOTE, que genera artificialmente ejemplos de la clase rara, resultó ser perjudicial en el conjunto de datos de fraude, pero proporcionó un aumento significativo en el rendimiento en la mayoría de las otras tareas. Los investigadores descubrieron que el beneficio de ajustar el umbral de decisión no es una línea recta que mejora a medida que los datos se vuelven más desequilibrados. En cambio, el beneficio sigue una forma de U invertida. Es insignificante cuando el desequilibrio es leve, alcanza su punto máximo en el rango medio de desequilibrio y luego declina nuevamente cuando el desequilibrio es extremo.

Este descubrimiento explica por qué el conjunto de datos de fraude de tarjetas de crédito, con su extrema proporción de desequilibrio de uno a quinientos setenta y siete, es un mal lugar para estudiar estas cuestiones. Se encuentra en la zona donde el beneficio de la calibración es el más bajo y difícil de medir de manera fiable. El estudio también probó una intuición común: que un investigador podría observar qué tan mal está calibrado un modelo y decidir si ajustar el umbral basándose en eso. Descubrieron que esta intuición es falsa. No había un vínculo confiable entre el error de calibración de un modelo y la cantidad de ayuda que recibía del ajuste. Un modelo podía estar mal calibrado y no ganar nada con el ajuste, o estar bien calibrado y ganar mucho.

Las implicaciones para cualquiera que construya estos sistemas son claras. La idea de que un solo conjunto de datos puede proporcionar una regla universal sobre cómo manejar eventos raros es insegura. Un método que funciona perfectamente en un conjunto de datos puede fallar o incluso tener un efecto contraproducente en otro. Los investigadores recomiendan que los profesionales prueben rutinariamente diferentes umbrales de decisión en un conjunto de validación para cada nueva tarea, en lugar de asumir que una configuración por defecto es suficiente o que un ajuste específico es siempre necesario. También aconsejan no confiar en los diagnósticos de calibración para tomar esta decisión, ya que esas métricas no predicen el resultado. El estudio concluye que, si bien la validez interna —asegurar que un experimento sea libre de errores— es importante, la validez externa —asegurar que los hallazgos se mantengan a través de diferentes datos— es igualmente crítica. Un experimento metodológicamente perfecto en un solo conjunto de datos aún puede conducir a la conclusión general errónea, y la única forma de saber qué funciona es probarlo en una amplia variedad de situaciones.

Resumen Técnico: Cuando las conclusiones de un único conjunto de datos fallan

1. Planteamiento del problema

La literatura sobre el manejo del desequilibrio de clases en la clasificación binaria frecuentemente extrae conclusiones generales basadas en evaluaciones de rendimiento realizadas en un único conjunto de datos de referencia (benchmark). Esta práctica asume que los hallazgos respecto a la eficacia de las intervenciones (como el remuestreo o el ajuste del umbral de decisión) en un conjunto de datos son propiedades del método en sí, en lugar de artefactos de la distribución específica de los datos.

El autor identifica una brecha crítica en la validez externa: incluso cuando un estudio de un solo conjunto de datos es metodológicamente riguroso (libre de filtración de datos o leakage), sus conclusiones pueden no generalizarse a otras tareas. Específicamente, el artículo investiga si el consenso de que "los ensambles bien calibrados no requieren el manejo del desequilibrio" se mantiene a través de un espectro más amplio de ratios de desequilibrio y familias de modelos, o si es una anomalía específica del altamente documentado conjunto de datos de fraude de tarjetas de crédito de Kaggle.

2. Metodología

Protocolo de evaluación

El estudio emplea un protocolo estricto de validación cruzada anidada libre de filtración para asegurar la validez interna:

División externa: Partición estratificada de $k$ -folds (5-fold para el conjunto de fraude, 3-fold para la suite de 45 tareas).
División interna: El conjunto de entrenamiento externo se divide en un conjunto de entrenamiento interno y un conjunto de validación interno (80/20 o 75/25).
Preprocesamiento: StandardScaler se ajusta únicamente en el conjunto de entrenamiento interno. Si se utiliza el Sobremuestreo de Síntesis de Aplicación de Minorías (SMOTE), este se aplica únicamente al conjunto de entrenamiento interno escalado. Ni los pliegues (folds) de validación ni los de prueba se remuestrean o escalan utilizando estadísticas del conjunto de prueba.
Selección del umbral: Para las estrategias ajustadas, el umbral de decisión se selecciona en el pliegue de validación interno para maximizar el F1. El pliegue de prueba nunca se utiliza para la selección del umbral.
Reporte: Las métricas (F1, AUPRC, ROC-AUC, error de calibración) se computan en el pliegue de prueba mantenido aparte.

Diseño del estudio

La investigación consta de dos estudios distintos:

Estudio A (Fraude de tarjeta de crédito): Una replicación del estándar de referencia utilizando el conjunto de datos de fraude de tarjetas de crédito de Kaggle (284,807 transacciones, 0.172% de clase positiva, ratio de desequilibrio 1:577). Se probaron cinco familias de modelos: Random Forest, Gradient Boosting, MLP, Regresión Logística y un Autoencoder.
Estudio B (Suite de 45 tareas): Una evaluación exhaustiva a través de 45 tareas de clasificación binaria con ratios de desequilibrio que van desde 1:1.5 hasta 1:178.
- Composición: 15 tareas del mundo real (14 tareas estándar de dígitos, cáncer de mama y vino, más una tarea de cáncer de mama submuestreada) y 30 tareas sintéticas generadas mediante make_classification para variar sistemáticamente el desequilibrio, la separación de clases y la dimensionalidad.
- Escala: 2,025 ajustes de modelos a través de cuatro familias de modelos (Regresión Logística, Random Forest, Histogram Gradient Boosting, MLP) y cuatro estrategias (Plain, Tuned Threshold, Class-Balanced + Tuned, SMOTE + Tuned).

Métrica clave

La métrica principal de interés es la diferencia de F1 emparejada ( $\Delta F1$ ):
$\Delta F1 = F1(\text{umbral } t^*) - F1(\text{umbral } 0.5)$
Esto aísla el efecto del ajuste de umbral comparando el modelo ajustado contra el umbral por defecto en el mismo pliegue de prueba.

3. Resultados clave

La anomalía del conjunto de datos único (Estudio A)

En el conjunto de datos de fraude de tarjetas de crédito, un Random Forest simple con el umbral por defecto de 0.5 logró un F1 de 0.861 ± 0.021.

Ajuste de umbral: No proporcionó ningún beneficio ( $\Delta F1 = -0.002$ ).
Remuestreo (SMOTE): Degradó el rendimiento (el F1 cayó aproximadamente 2.3 puntos).
Conclusión de solo el Estudio A: Para un ensamble bien calibrado con desequilibrio severo, el manejo del desequilibrio es innecesario y potencialmente perjudicial.

El fallo de generalización (Estudio B)

Cuando se aplicó el mismo protocolo a la suite de 45 tareas, la conclusión para Random Forest se revirtió:

Random Forest: Se convirtió en la familia de modelos que más se benefició del ajuste de umbral en toda la suite ( $\Delta F1 = +0.101 \pm 0.134$ ).
Otros modelos: La Regresión Logística, el Histogram Gradient Boosting y el MLP replicaron su comportamiento del conjunto de datos de fraude (ganancias pequeñas o neutras), convirtiendo al Random Forest en la anomalía específica en el conjunto de datos de fraude.
SMOTE: Aunque fue perjudicial en el conjunto de datos de fraude, el SMOTE fue beneficioso en promedio en la suite ( $\Delta F1 = +0.076$ , $p = 2.7 \times 10^{-17}$ ), aunque el beneficio dependió altamente del modelo (por ejemplo, +0.170 para MLP frente a +0.005 para Regresión Logística).

La relación no monotónica

El beneficio del ajuste de umbral no es monotónico con respecto al ratio de desequilibrio. Sigue una distribución en forma de U invertida:

Desequilibrio leve (< 1:5): El ajuste es marginalmente perjudicial ( $\Delta F1 \approx -0.009$ ).
Desequilibrio moderado (1:15 – 1:40): El ajuste alcanza su pico de efectividad ( $\Delta F1 = +0.120$ ).
Desequilibrio extremo (> 1:100): El beneficio declina ( $\Delta F1 = +0.045$ ).
Implicación: El conjunto de datos de fraude de tarjetas de crédito (1:577) se sitúa en la cola "decreciente" de esta curva, lo que lo convierte en un escenario no representativo para estudiar la selección de umbrales.

Fallo de los diagnósticos de calibración

El artículo pone a prueba la heurística de que el error de calibración de un modelo (en el conjunto de validación) predice el beneficio del ajuste de umbral.

Resultado: Esta hipótesis es rechazada. El Error de Calibración Esperado (ECE) no está correlacionado con $\Delta F1$ ( $r = -0.087$ ). El Brier score muestra solo una débil correlación positiva ( $r = +0.137$ ), explicando menos del 2% de la varianza.
Conclusión: Los profesionales no pueden utilizar métricas de calibración para decidir a priori si el ajuste de umbral vale la pena.

4. Contribuciones

Demostración de la falta de generalización: Una prueba concreta de que las conclusiones extraídas del conjunto de datos de fraude de tarjetas de crédito (el más documentado) no se generalizan, específicamente invirtiendo el hallazgo para Random Forest respecto a la necesidad del manejo del desequilibrio.
Caracterización de tendencias generalizables:
- El ajuste de umbral es beneficioso en promedio pero depende altamente del modelo.
- SMOTE es beneficioso en promedio pero ineficaz para la Regresión Logística.
Descubrimiento de la U invertida: Identificación de una relación no monotónica entre el ratio de desequilibrio y el beneficio del ajuste de umbral, explicando por qué los conjuntos de datos de desequilibrio extremo arrojan resultados engañosos para la selección de umbrales.
Resultado negativo sobre diagnósticos: Rechazo empírico de la idea de que el error de calibración en el conjunto de validación puede servir como un sustituto (proxy) para decidir si ajustar los umbrales.

5. Significado y Reivindicaciones

El artículo argumenta que la validez externa es tan crítica como la validez interna en la investigación de aprendizaje automático.

Para profesionales: El ajuste de umbral debe realizarse como un paso rutinario en un pliegue de validación porque es computacionalmente económico y beneficioso en promedio. Sin embargo, los profesionales no deben confiar en los diagnósticos de calibración para saltarse este paso, ni deben asumir que el remuestreo es universalmente perjudicial o útil sin considerar la familia de modelos específica.
Para investigadores: Las afirmaciones generales sobre la eficacia de los métodos de manejo de desequilibrio (por ejemplo, "el Método X es innecesario para el Modelo Y") son inseguras si se basan en un solo conjunto de datos. El autor recomienda un mínimo de una docena de tareas que abarquen al menos dos órdenes de magnitud en el ratio de desequilibrio para respaldar tales afirmaciones.
Para revisores: La evaluación de un artículo no debe detenerse en la comprobación de la filtración de datos; los revisores deben cuestionar si las conclusiones de un solo conjunto de datos han sido probadas en términos de generalizabilidad.

El autor establece explícitamente que su trabajo no pretende afirmar que el ajuste de umbral sea siempre efectivo, sino que las condiciones bajo las cuales es efectivo (o inefectivo) son complejas y dependen del conjunto de datos, lo que hace que las "reglas de oro" de un solo conjunto de datos sean peligrosas.