How Class Imbalance Treatments Distort SHAP Attribution Fidelity: A Monte Carlo Investigation of Ranking and Magnitude Errors

Resumen Técnico: Cómo los tratamientos de desequilibrio de clases distorsionan la fidelidad de la atribución SHAP

Planteamiento del problema
SHAP (SHapley Additive exPlanations) es el estándar para la interpretación de clasificadores basados en árboles en dominios de alto riesgo, como el diagnóstico médico, la detección de fraude y la calificación crediticia. Los profesionales aplican rutinariamente tratamientos de desequilibrio de clases —sobremuestreo aleatorio, submuestreo aleatorio, métodos sintéticos (SMOTE, ADASYN) y ponderación de clases— para mejorar el rendimiento predictivo. Sin embargo, la suposición implícita de que estas manipulaciones de datos ascendentes no distorsionan las atribuciones SHAP descendentes permanece sin probar. Aunque los efectos de estos tratamientos sobre las métricas predictivas (AUC, F1) están bien documentados, su impacto en la fidelidad de las atribuciones de características no lo está. Específicamente, no está claro si estos tratamientos preservan el orden relativo de la importancia de las características o la magnitud numérica de las atribuciones, ambos aspectos críticos para diferentes tareas de interpretabilidad (por ejemplo, identificar los principales contribuyentes frente a la descomposición del riesgo).

Metodología
El estudio emplea un marco de simulación de Monte Carlo controlado para aislar los efectos de los tratamientos de desequilibrio en la fidelidad de SHAP, abordando tres brechas metodológicas en la literatura previa:

1. Referencia Oráculo: En lugar de utilizar una referencia de clases equilibradas (que distorsiona las escalas de magnitud), el estudio computa una referencia oráculo utilizando datos de entrenamiento casi infinitos bajo el desequilibrio nativo de cada celda de simulación.
2. Calibración de la dificultad de la tarea: El proceso de generación de datos (DGP) se calibra para que el AUC óptimo de Bayes permanezca constante (objetivo 0.82 ± 0.01) en todas las celdas. Esto asegura que las diferencias observadas en la fidelidad de SHAP se deban a los tratamientos en sí mismos y no a variaciones en la dificultad base de la tarea.
3. Métricas de dualidad de fidelidad: El estudio distingue explícitamente entre fidelidad de clasificación (preservación del orden de importancia de las características) y fidelidad de magnitud (preservación de los valores de atribución).

Diseño Experimental

• Generación de datos: Conjuntos de datos sintéticos con $p=20$ características extraídas de una distribución normal multivariante. Se probaron dos estructuras de correlación: características independientes y características de bloque correlacionadas (intra-bloque $\rho=0.6$).
• Factores:
  • Prevalencia ($\pi$): 0.02, 0.05, 0.10, 0.20.
  • Tamaño de muestra ($n$): 500, 2,000, 10,000.
  • Correlación: Independiente, Bloque.
  • Tratamientos ($k=6$): Ninguno (línea base), Sobremuestreo Aleatorio, Submuestreo Aleatorio, SMOTE, ADASYN y Ponderación de Clases.
• Modelo: LightGBM con hiperparámetros adaptativos a la capacidad (específicamente min_data_in_leaf escalado con el tamaño de la muestra post-balanceo para evitar la degeneración del modelo en casos de submuestreo extremo).
• Escala: 24 celdas de diseño $\times$ 100 replicaciones = 2,400 ejecuciones previstas por tratamiento. Ajustes exitosos totales: 14,371 (ocurrieron 28 fallos en celdas de extrema rareza/muestra pequeña debido a restricciones de vecino más cercano).
• Evaluación: Los valores SHAP se computaron en un conjunto de evaluación de prevalencia nativa (5,000 observaciones) para reflejar las condiciones de despliegue. La fidelidad se midió mediante 11 métricas: 6 basadas en el rango (Kendall $\tau$, Spearman $\rho$, RBO, Jaccard@k, Recall@k) y 5 basadas en la magnitud (L1, L2, similitud de coseno).

Resultados Clave
La investigación arroja cuatro hallazgos primarios:

1. El tamaño de la muestra domina la elección del tratamiento: El tamaño de la muestra de entrenamiento es el motor dominante de la fidelidad de clasificación de SHAP, superando la elección del tratamiento de desequilibrio por un factor de aproximadamente 3 a 5. Aumentar $n$ de 500 a 10,000 mejora la fidelidad de clasificación (Kendall $\tau$) en ~0.22, mientras que la dispersión entre el mejor y el peor tratamiento en un $n$ fijo es de solo ~0.03 a ~0.07.
2. La rareza extrema y las muestras pequeñas amplifican las brechas: La divergencia entre tratamientos es más pronunciada bajo extrema rareza ($\pi \le 0.05$) y muestras pequeñas ($n \le 2,000$). En estas condiciones, la brecha de tratamiento puede rivalizar con el efecto del tamaño de la muestra. El submuestreo aleatorio se desempeña particularmente mal aquí, fallando a menudo en la producción de modelos significativos.
3. Divergencia de la fidelidad de clasificación y de magnitud: Los dos ejes de fidelidad producen clasificaciones de tratamientos cualitativamente diferentes.
   • Clasificación: El sobremuestreo aleatorio es el que mejor se desempeña (mayor Kendall $\tau$), seguido de cerca por SMOTE y "Ninguno". El submuestreo aleatorio es consistentemente el peor.
   • Magnitud: "Ninguno" y la "Ponderación de clases" dominan conjuntamente, preservando mejor la magnitud de las atribuciones. El sobremuestreo aleatorio, aunque es bueno para la clasificación, infla significativamente las magnitudes de atribución. Los métodos sintéticos (SMOTE, ADASYN) rinden por debajo de lo esperado en magnitud. El submuestreo aleatorio es el peor en ambos ejes.
4. Frontera de Pareto: "Sin rebalanceo" y "Ponderación de clases" ocupan conjuntamente la frontera de Pareto, ofreciendo el mejor equilibrio entre preservar el rango y la magnitud. El sobremuestreo aleatorio es solo superior si el único objetivo es la clasificación, pero distorsiona las magnitudes. El submuestreo aleatorio es dominado en ambos ejes.

Significado y Reivindicaciones
El artículo sostiene que la suposición de que los tratamientos de desequilibrio son neutrales para las atribuciones SHAP es falsa. El estudio establece que:

• La interpretabilidad requiere un reporte dual: Confiar únicamente en métricas basadas en el rango oculta la inflación de magnitud causada por el sobremuestreo y los métodos sintéticos. Por el contrario, confiar únicamente en métricas de magnitud oculta las ventajas de clasificación del sobremuestreo. Ambas familias de métricas deben reportarse para evaluar plenamente la fidelidad.
• Recomendaciones por defecto: Cuando las atribuciones SHAP son un entregable, los profesionales deberían preferir tratamientos mínimamente invasivos. Se recomienda "Sin rebalanceo" y "Ponderación de clases" como opciones por defecto porque preservan tanto el orden como la magnitud de las contribuciones de las características.
• La distribución de evaluación importa: El estudio demuestra que el uso de un conjunto de evaluación de clases equilibradas para el análisis SHAP introduce distorsiones de magnitud. Es necesario un conjunto de evaluación de prevalencia nativa para alinear las magnitudes de SHAP con los escenarios de despliegue en el mundo real.

Los autores concluyen que, si bien la literatura sobre rendimiento predictivo puede justificar ciertas técnicas de remuestreo, estas elecciones conllevan un costo específico en la fidelidad de la interpretabilidad. Para aplicaciones donde SHAP se utiliza para la descomposición del riesgo, la ingeniería de características o el razonamiento cuantitativo, la distorsión de la magnitud por parte de las técnicas comunes de remuestreo (especialmente el sobremuestreo y el submuestreo aleatorio) plantea un riesgo significativo que puede mitigarse adoptando la ponderación de clases o sin rebalanceo.