How Class Imbalance Treatments Distort SHAP Attribution Fidelity: A Monte Carlo Investigation of Ranking and Magnitude Errors

Resumo Técnico: Como os Tratamentos de Desbalanceamento de Classes Distorcem a Fidelidade da Atribuição SHAP

Definição do Problema
O SHAP (SHapley Additive exPlanations) é o padrão para interpretar classificadores baseados em árvores em domínios de alto risco, como diagnóstico médico, detecção de fraude e pontuação de crédito. Profissionais aplicam rotineiramente tratamentos de desbalanceamento de classes — sobreamostragem aleatória (random oversampling/undersampling), métodos sintéticos (SMOTE, ADASYN) e ponderação de classes (class weighting) — para melhorar o desempenho preditivo. No entanto, a suposição implícita de que essas manipulações de dados a montante não distorcem as atribuições SHAP subsequentes permanece não testada. Embora os efeitos desses tratamentos sobre métricas preditivas (AUC, F1) estejam bem documentados, seu impacto na fidelidade das atribuições de características não está. Especificamente, não está claro se esses tratamentos preservam o ranking relativo de importância das características ou a magnitude numérica das atribuições, ambos críticos para diferentes tarefas de interpretabilidade (ex: identificar principais contribuintes vs. decomposição de risco).

Metodologia
O estudo utiliza um framework de simulação de Monte Carlo controlado para isolar os efeitos dos tratamentos de desbalanceamento na fidelidade do SHAP, abordando três lacunas metodológicas na literatura prévia:

1. Referência Oracle: Em vez de uma referência de classes balanceadas (que distorce escalas de magnitude), o estudo computa uma referência oracle usando dados de treinamento quase infinitos sob o desbalanceamento de classe nativo de cada célula de simulação.
2. Calibração de Dificuldade da Tarefa: O processo gerador de dados (DGP) é calibrado para que o AUC Bayes-ótimo permaneça constante (alvo de 0,82 ± 0,01) em todas as células. Isso garante que as diferenças observadas na fidelidade do SHAP se devam aos próprios tratamentos, e não a variações na dificuldade basal da tarefa.
3. Métricas de Fidelidade Duplas: O estudo distingue explicitamente entre fidelidade de ranking (preservação da ordem de importância das características) e fidelidade de magnitude (preservação dos valores de atribuição).

Design Experimental

• Geração de Dados: Conjuntos de dados sintéticos com $p=20$ características extraídas de uma distribuição normal multivariada. Duas estruturas de correlação foram testadas: características independentes e características em blocos (block-correlated features, $\rho=0,6$ intra-bloco).
• Fatores:
  • Prevalência ($\pi$): 0,02, 0,05, 0,10, 0,20.
  • Tamanho da Amostra ($n$): 500, 2.000, 10.000.
  • Correlação: Independente, Bloco.
  • Tratamentos ($k=6$): Nenhum (baseline), Random Oversampling, Random Undersampling, SMOTE, ADASYN e Class Weighting.
• Modelo: LightGBM com hiperparâmetros adaptativos à capacidade (especificamente min_data_in_leaf escalonado com o tamanho da amostra pós-balanceamento para evitar a degeneração do modelo em subamostragem extrema).
• Escala: 24 células de design $\times$ 100 replicações = 2.400 execuções pretendidas por tratamento. Total de ajustes bem-sucedidos: 14.371 (28 falhas ocorreram em células de extrema raridade/pequena amostra para métodos sintéticos devido a restrições de vizinho mais próximo).
• Avaliação: Os valores SHAP foram computados em um conjunto de avaliação de prevalência nativa (5.000 observações) para espelhar condições de implantação. A fidelidade foi medida usando 11 métricas: 6 baseadas em ranking (Kendall $\tau$, Spearman $\rho$, RBO, Jaccard@k, Recall@k) e 5 baseadas em magnitude (L1, L2, similaridade de cosseno).

Principais Resultados
A investigação produz quatro descobertas primárias:

1. O Tamanho da Amostra Domina a Escolha do Tratamento: O tamanho da amostra de treinamento é o principal motor da fidelidade de ranking do SHAP, superando a escolha do tratamento de desbalanceamento por um fator de aproximadamente 3 a 5. Aumentar $n$ de 500 para 10.000 melhora a fidelidade de ranking (Kendall $\tau$) em ~0,22, enquanto a dispersão entre os melhores e piores tratamentos em um $n$ fixo é de apenas ~0,03 a 0,07.
2. Raridade Extrema e Pequenas Amostras Amplificam as Lacunas: A divergência entre tratamentos é mais pronunciada sob extrema raridade ($\pi \le 0,05$) e pequenas amostras ($n \le 2.000$). Nessas condições, o hiato entre tratamentos pode rivalizar o efeito do tamanho da amostra. O random undersampling apresenta desempenho particularmente ruim aqui, frequentemente falhando em produzir modelos significativos.
3. Divergência de Fidelidade de Ranking e Magnitude: Os dois eixos de fidelidade produzem rankings de tratamento qualitativamente diferentes.
   • Ranking: O random oversampling performa melhor (maior Kendall $\tau$), seguido de perto pelo SMOTE e "Nenhum". O random undersampling é consistentemente o pior.
   • Magnitude: "Nenhum" e Class Weighting dominam conjuntamente, preservando melhor a magnitude das atribuições. O random oversampling, embora bom para ranking, infla significativamente as magnitudes das atribuições. Métodos sintéticos (SMOTE, ADASYN) têm desempenho inferior em magnitude. O random undersampling é o pior em ambos os eixos.
4. Fronteira de Pareto: "Sem rebalanceamento" e "Class weighting" ocupam conjuntamente a fronteira de Pareto, oferecendo o melhor equilíbrio entre preservação de rank e magnitude. O random oversampling é superior apenas se o único objetivo for o ranking, mas ele distorce as magnitudes. O random undersampling é dominado em ambos os eixos.

Significância e Alegações
O artigo afirma que a suposição de que os tratamentos de desbalanceamento são neutros às atribuições SHAP é falsa. O estudo estabelece que:

• Interpretabilidade exige relatório duplo: Confiar apenas em métricas de ranking oculta a inflação de magnitude causada por métodos de sobreamostragem e sintéticos. Inversamente, confiar apenas em métricas de magnitude oculta as vantagens de ranking da sobreamostragem. Ambas as famílias de métricas devem ser reportadas para avaliar totalmente a fidelidade.
• Recomendações Padrão: Quando as atribuições SHAP são um entregável, os profissionais devem preferir tratamentos minimamente invasivos. "Sem rebalanceamento" e "Class weighting" são recomendados como padrões porque preservam tanto a ordem quanto a magnitude das contribuições das características.
• A Distribuição de Avaliação Importa: O estudo demonstra que usar um conjunto de avaliação de classes balanceadas para análise SHAP introduz distorções de magnitude. Um conjunto de avaliação de prevalência nativa é necessário para alinhar as magnitudes SHAP com cenários de implantação no mundo real.

Os autores concluem que, embora a literatura de desempenho preditivo possa justificar certas técnicas de reamostragem, essas escolhas carregam um custo específico na fidelidade da interpretabilidade. Para aplicações onde o SHAP é usado para decomposição de risco, engenharia de características ou raciocínio quantitativo, a distorção de magnitude por técnicas comuns de reamostragem (especialmente random oversampling e undersampling) impõe um risco significativo que pode ser mitigado adotando class weighting ou nenhum rebalanceamento.