🤖 machine learning

An Experimental Study on the Rashomon Effect of Balancing Methods in Imbalanced Classification

Autores originales: Mustafa Cavus, Przemysław Biecek

Publicado 2026-05-18

📖 6 min de lectura🧠 Análisis profundo

Autores originales: Mustafa Cavus, Przemysław Biecek

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

La Gran Imagen: El Problema de las "Muchas Respuestas Correctas"

Imagina que estás intentando predecir quién ganará una partida de ajedrez. Tienes un conjunto de datos de partidas anteriores, pero hay un problema: el 90% de las partidas fueron ganadas por las blancas, y solo el 10% por las negras. Esto se llama un conjunto de datos desequilibrado.

Si entrenas un modelo informático con estos datos sin arreglarlo, la computadora se vuelve perezosa. Aprende que "las blancas siempre ganan", por lo que predice "blancas" para cada nueva partida. Obtiene un 90% de precisión, pero falla completamente al predecir las victorias de las negras.

Para solucionar esto, los científicos de datos utilizan métodos de equilibrado. Actúan como un chef que añade ingredientes a una sopa:

Sobre-muestreo (Oversampling): Copian las partidas raras de "victoria de las negras" para crear más de ellas (como añadir más sal).
Sub-muestreo (Undersampling): Tiran algunas de las partidas comunes de "victoria de las blancas" para hacer la olla más pequeña (como eliminar el exceso de agua).

El objetivo es hacer que la computadora preste atención a la clase minoritaria. Pero este artículo plantea una pregunta aterradora: ¿Arreglar los datos crea un nuevo tipo de confusión?

El Efecto Rashomon: El Fenómeno de las "Muchas Verdades"

El artículo utiliza un concepto llamado Efecto Rashomon. Imagina una escena del crimen donde cinco testigos diferentes dan cinco historias distintas. Las cinco historias son plausibles y se ajustan a los hechos igual de bien, pero se contradicen entre sí.

En el aprendizaje automático, el Conjunto de Rashomon es un grupo de diferentes modelos informáticos que todos tienen un rendimiento casi idéntico (todos son "plausibles"), pero que hacen predicciones diferentes para la misma persona o situación.

Modelo A dice: "Este solicitante de préstamo es seguro".
Modelo B dice: "Este solicitante de préstamo es arriesgado".
Ambos modelos tienen la misma puntuación general de precisión.

Si simplemente eliges un modelo al azar (selección ciega), podrías elegir accidentalmente el que niega un préstamo a una buena persona, incluso cuando otro modelo igualmente preciso lo habría aprobado. Esto se llama Multiplicidad Predictiva.

El Experimento: ¿Qué Sucede Cuando Equilibramos los Datos?

Los autores querían saber: ¿El uso de métodos de equilibrado (sobre-muestreo/sub-muestreo) empeora este problema de las "Muchas Verdades"?

Tomaron 21 conjuntos de datos reales diferentes (como detección de spam, fraude con tarjetas de crédito y calidad del vino) y los hicieron pasar por una "fábrica de modelos" (una herramienta llamada Forester) que crea cientos de modelos ligeramente diferentes para cada conjunto de datos. Lo hicieron dos veces:

Usando los datos originales, desequilibrados.
Usando datos equilibrados (después de aplicar los métodos de equilibrado).

Luego midieron tres cosas para ver cuánto discrepaban los modelos entre sí:

Ambigüedad: ¿Cuántas personas reciben respuestas contradictorias? (ej. "5 de cada 100 personas reciben predicciones diferentes").
Discrepancia: ¿Cuál es el peor escenario posible? (ej. "Un modelo específico discrepa con los demás en 20 personas").
Oscuridad (Nueva Métrica): Esta es la nueva idea del artículo. Mide la cantidad promedio de confusión. En lugar de solo preguntar "¿Hay un conflicto?", pregunta "¿Qué desordenado es el conflicto en promedio?". Piénsalo como medir la "niebla" sobre los datos.

Los Hallazgos: La "Solución" Hizo la Niebla Más Espesa

Esto es lo que descubrieron:

Los Métodos de Equilibrado Aumentan la Confusión: Cuando usaron métodos de equilibrado (como SMOTE o sobre-muestreo aleatorio), la Oscuridad y la Discrepancia aumentaron.
- La Analogía: Imagina que estás intentando encontrar un perro perdido en un parque. En el parque original (datos desequilibrados), todos los perros de búsqueda se ponen de acuerdo sobre dónde está el perro. Pero cuando añades "equilibrado" (como añadir más perros de búsqueda o cambiar el terreno), los perros de búsqueda empiezan a ladrar en direcciones diferentes. Todos siguen siendo perros "buenos", pero no pueden ponerse de acuerdo sobre la ubicación.
La "Parcial" Solución No Funcionó: Algunos expertos sugirieron usar "resampling parcial" (solo equilibrar los datos un poco, no al 100%) para evitar este desorden. Los autores lo probaron, pero descubrieron que no ayudó. La confusión permaneció alta independientemente de cuánto equilibraran los datos.
La Importancia de las Variables Cambió: También verificaron si los modelos estaban mirando pistas diferentes. Por ejemplo, un modelo podría pensar que los "ingresos" son el factor más importante, mientras que otro piensa que la "edad". Descubrieron que, aunque el orden de importancia no cambió drásticamente en un sentido estadístico, los métodos de equilibrado sí hicieron que los modelos se comportaran de manera diferente en general.

La Solución: Un Nuevo Tablero de Control

Dado que no pudieron evitar que ocurriera la confusión, los autores propusieron una forma de monitorearla.

Sugirieron usar un Gráfico Extendido de Ganancia de Rendimiento.

Imagina un tablero de control con dos manómetros.
Manómetro 1 (Horizontal): Muestra cuánto mejora el modelo al predecir correctamente (Ganancia de Rendimiento).
Manómetro 2 (Vertical): Muestra cuánto discrepan los modelos entre sí (Multiplicidad/Oscuridad).

La Lección: No deberías mirar solo el Manómetro 1. Podrías encontrar un método que mejore ligeramente la precisión (el Manómetro 1 sube), pero que cause una explosión masiva en la discrepancia (el Manómetro 2 sube mucho). Los autores dicen que necesitas mirar ambos manómetros para tomar una decisión responsable.

Resumen de las Afirmaciones del Artículo

Equilibrar los datos es necesario para problemas desequilibrados, pero tiene un costo oculto.
Los métodos de equilibrado aumentan la "Multiplicidad Predictiva". Crean una situación donde muchos modelos son igualmente precisos pero dan respuestas contradictorias a las mismas personas.
Nueva Métrica: Introdujeron la "Oscuridad" para medir qué "nebuloso" o conflictivo son las predicciones de estos modelos en promedio.
El Resampling Parcial no es una bala mágica. No resuelve el problema de la confusión aumentada.
IA Responsable: Al elegir un modelo, debes verificar no solo si es preciso, sino si es estable. Si eliges un modelo ciegamente de un "Conjunto de Rashomon" creado por métodos de equilibrado, corres el riesgo de tomar decisiones arbitrarias que dañen a individuos.

El artículo concluye que, aunque los métodos de equilibrado son un "refugio" para resolver datos desequilibrados, los investigadores deben tener cuidado de no caminar a ciegas hacia una niebla de predicciones contradictorias. Necesitan usar el nuevo "tablero de control" (el gráfico extendido) para ver la compensación entre precisión y estabilidad.

Resumen Técnico: Un Estudio Experimental sobre el Efecto Rashomon de los Métodos de Equilibrio en la Clasificación Desbalanceada

Planteamiento del Problema
En la IA centrada en datos, el desequilibrio de clases es un desafío prevalente donde los modelos tienden a favorecer la clase mayoritaria, lo que resulta en un rendimiento deficiente en la clase minoritaria. Si bien los métodos de equilibrio (por ejemplo, sobremuestreo, submuestreo) son enfoques centrados en datos estándar para mitigar esto, su impacto en el comportamiento del modelo permanece poco explorado. Específicamente, existe una falta de comprensión sobre cómo estos métodos influyen en el efecto Rashomon—un fenómeno donde múltiples modelos logran una precisión predictiva aproximadamente igual pero pueden generar predicciones contradictorias para las mismas observaciones. Esto conduce a la multiplicidad predictiva, donde la selección ciega de un modelo de un conjunto de modelos igualmente precisos puede dar lugar a resultados conflictivos, planteando riesgos para la validación, explicación y equidad del modelo. El artículo investiga si los métodos de equilibrio inflan esta multiplicidad predictiva y alteran los órdenes de importancia de las variables.

Metodología
Los autores realizaron experimentos utilizando un conjunto de 21 conjuntos de datos de referencia desbalanceados con ratios de desequilibrio que oscilaban entre 1.54 y 129.53. El estudio empleó el siguiente marco metodológico:

Métodos de Equilibrio: Se evaluaron cuatro técnicas: Sobremuestreo Aleatorio, SMOTE (Técnica de Sobremuestreo Sintético de la Clase Minoritaria), Submuestreo Aleatorio y Near Miss.
Construcción del Conjunto Rashomon: Se utilizó Forester (una herramienta de AutoML basada en árboles) para generar el conjunto Rashomon. Este enfoque permite controlar el tamaño del conjunto mediante parámetros de optimización bayesiana, creando un espacio de hipótesis empírico de modelos con valores de pérdida dentro de un umbral específico ( $\epsilon = 0.05$ ) del modelo de referencia.
Métricas para la Multiplicidad Predictiva:
- Métricas Existentes: Ambigüedad (proporción de observaciones con predicciones conflictivas) y Discrepancia (proporción máxima de observaciones conflictivas entre el modelo de referencia y cualquier modelo competidor).
- Métrica Propuesta: Oscuridad, definida como la proporción promedio de predicciones conflictivas para las observaciones a través de todos los modelos en el conjunto Rashomon. Esta métrica busca capturar la abundancia de conflictos de observación de manera más granular que la ambigüedad binaria.
- Discrepancia en el Orden de Importancia de Variables (VIOD): Una nueva métrica propuesta para medir la disimilitud en los órdenes de importancia de las variables entre el modelo de referencia y otros modelos en el conjunto, basada en el coeficiente de correlación $\tau$ de Kendall.
Variables Experimentales: El estudio varió las proporciones de remuestreo (resultando en ratios de desequilibrio de 1.0 a 1.25) para probar el remuestreo parcial como una posible estrategia de mitigación.
Análisis Estadístico: Los resultados se resumieron utilizando gráficos estadísticos y se evaluaron mediante pruebas de Kruskal-Wallis, Friedman y pruebas de pares de Dunnett.

Resultados Clave
Los experimentos abordaron cuatro preguntas de investigación específicas (PI):

PI1 (Impacto en la Multiplicidad Predictiva): Se encontró que los métodos de equilibrio inflaron la multiplicidad predictiva. El análisis visual y las pruebas estadísticas (Kruskal-Wallis, $p < 0.05$ ) demostraron que los modelos entrenados en conjuntos de datos equilibrados exhibieron una oscuridad y una discrepancia significativamente mayores en comparación con aquellos entrenados en datos originales desbalanceados. Las zonas de los métodos de equilibrio en el eje de oscuridad no se superpusieron con las zonas del conjunto de datos original, indicando un aumento distinto en las predicciones conflictivas.
PI2 (Impacto en la Importancia de las Variables): Con respecto a la Discrepancia en el Orden de Importancia de Variables (VIOD), el estudio encontró ninguna diferencia estadísticamente significativa en los valores medianos de VIOD entre los modelos entrenados en conjuntos equilibrados versus conjuntos originales. Esto contrasta con algunos hallazgos previos en conjuntos de datos más pequeños, sugiriendo que, aunque los conflictos de predicción aumentan, la clasificación fundamental de la importancia de las variables permanece relativamente estable a través del conjunto Rashomon en este contexto experimental más amplio.
PI3 (Remuestreo Parcial): La hipótesis de que el remuestreo parcial (por ejemplo, apuntando a un ratio de desequilibrio de 1.25) podría mitigar los cambios en el comportamiento del modelo fue rechazada. Las pruebas estadísticas (prueba de Friedman) no mostraron diferencias significativas en las métricas Rashomon a través de las proporciones de remuestreo variables, indicando que el remuestreo parcial no resuelve el problema de multiplicidad introducido por el equilibrio.
PI4 (Monitoreo de Compensaciones): El estudio validó la utilidad de un gráfico de ganancia de rendimiento extendido. Esta visualización mapea la compensación entre la ganancia de rendimiento (medida por la mejora del AUC) y la multiplicidad (oscuridad/discrepancia). Los resultados destacaron que, si bien los métodos de sobremuestreo (Sobremuestreo, SMOTE) generalmente mejoraron el rendimiento, también aumentaron la multiplicidad. Por el contrario, los métodos de submuestreo a veces fallaron en mejorar el rendimiento mientras aún aumentaban la multiplicidad.

Significado y Afirmaciones
El artículo afirma ser el primer estudio que examina el efecto Rashomon específicamente en el contexto de los métodos de equilibrio para la clasificación desbalanceada. Sus contribuciones principales son:

Evidencia Empírica de Inflación: Proporciona evidencia de que los métodos de equilibrio, aunque destinados a mejorar la precisión, aumentan inadvertidamente la multiplicidad predictiva (predicciones conflictivas) dentro del conjunto Rashomon.
Nueva Métrica (Oscuridad): La introducción de la oscuridad ofrece una visión más matizada de la multiplicidad predictiva al medir la proporción promedio de conflictos en lugar de simplemente la existencia de conflicto.
Refutación del Remuestreo Parcial: Cuestiona la noción de que el remuestreo parcial es una solución suficiente para los cambios en el comportamiento del modelo inducidos por el equilibrio.
Marco de Modelado Responsable: Los autores proponen utilizar el gráfico de ganancia de rendimiento extendido como una herramienta práctica para los profesionales de la IA centrada en datos. Esta herramienta permite monitorear la compensación entre las ganancias de rendimiento y los riesgos asociados con la multiplicidad predictiva, abogando por un proceso de selección de modelos más responsable que considere no solo la precisión, sino también la estabilidad y la consistencia de las predicciones del modelo.

El artículo concluye que, si bien los métodos de equilibrio son un "refugio" para la clasificación desbalanceada, los investigadores deben tener en cuenta el riesgo aumentado de multiplicidad. La selección ciega del conjunto Rashomon resultante es arriesgada; por lo tanto, el gráfico de ganancia de rendimiento extendido es esencial para llevar a cabo procesos de modelado de manera responsable.