📊 statistics

Ablation Study of Class Imbalance Techniques for Credit Default Prediction with SHAP-based Explainability Analysis

Este estudo demonstra que, em tarefas de previsão de inadimplência de crédito, o parâmetro `scale_pos_weight` nativo do XGBoost supera significativamente a técnica tradicional de reamostragem SMOTE em termos de recall, destacando que a estratégia ideal para lidar com o desequilíbrio de classes depende do classificador específico utilizado, em vez de um método de reamostragem universal.

Autores originais: Atharv Tiwari

Publicado 2026-07-30

📖 6 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Atharv Tiwari

Artigo original sob licença CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você é um detetive tentando encontrar um único ladrão escondido em uma multidão de 100 pessoas. Noventa e dois deles são inocentes, e apenas oito são culpados. Se você simplesmente adivinhar "todos são inocentes", você estará certo 92% das vezes! Mas você pegaria zero ladrões. No mundo da ciência da computação, isso é chamado de problema de "desbalanceamento de classes". Isso acontece quando um modelo de computador é treinado com dados onde um resultado (como um empréstimo ser pago) acontece muito mais frequentemente do que o outro (um empréstimo entrar em inadimplência). Como o computador vê tantos exemplos "bons", ele fica preguiçoso e simplesmente prevê "bom" para todos, falhando em detectar os raros casos "ruins".

Por anos, a solução padrão para isso tem sido uma técnica chamada SMOTE. Pense no SMOTE como uma fotocopiadora para os casos raros. Se você tem apenas oito fotos de ladrões, o SMlete cria fotos sintéticas e falsas de novos ladrões, misturando e combinando detalhes dos reais, esperando dar ao computador prática suficiente para aprender o padrão. Mas há outra maneira. Alguns modelos de computador, especificamente um tipo poderoso chamado XGBoost, têm um "botão de volume" integrado para erros. Em vez de criar dados falsos, você pode simplesmente dizer ao computador: "Ei, se você perder um ladrão, isso é um erro enorme! Se você perder uma pessoa inocente, isso é um erro pequeno". Isso força o modelo a prestar atenção extra aos casos raros sem nunca tocar nos dados originais.

A grande questão é: é melhor criar dados de prática falsos (SMOTE) ou apenas aumentar o volume dos erros (o botão integrado)? Um novo estudo de Atharv Tiwari, do Punjab Engineering College, coloca essas duas abordagens frente a frente para ver qual delas realmente pega mais ladrões no mundo real da pontuação de crédito.

O Grande Duelo dos Cartões de Crédito

Neste estudo, o pesquisador montou um experimento massivo usando um conjunto de dados do mundo real de mais de 300.000 solicitações de empréstimo. Nesta multidão, 92% das pessoas pagaram seus empréstimos e apenas 8% entraram em inadimplência. Era a configuração perfeita para testar quão bem diferentes modelos de computador poderiam detectar os 8% sem se distraírem pelos 92%.

O pesquisador não escolheu apenas um modelo; ele testou três "detetives" diferentes:

Regressão Logística: O detetive tradicional e confiável que segue regras estritas.
Random Forest: Uma equipe de detetives que cada um olha para as pistas de forma diferente e votam na resposta.
XGBoost: Um detetive super inteligente que aprende com seus erros um por um, tornando-se mais afiado a cada rodada.

Cada detetive recebeu três estratégias de treinamento diferentes:

A Estratégia "Não Faça Nada": Apenas jogue os dados brutos para eles e veja o que acontece.
A Estratégia do "Botão de Volume": Use as configurações integradas do modelo para penalizar pesadamente a perda de um inadimplente (sem dados falsos).
A Estratégia da "Fotocopiadora": Use o SMOTE para criar inadimplentes falsos para equilibrar os dados de treinamento.

O Resultado Chocante

Os resultados foram um pouco como uma reviravolta em um filme de mistério. A estratégia "Não Faça Nada" falhou miseravelmente para todos, capturando quase nenhum inadimplente (menos de 2,2% de recall). Isso era esperado. Mas a batalha entre o "Botão de Volume" e a "Fotocopiadora" foi onde as coisas ficaram interessantes.

Quando o pesquisador usou o XGBoost, a estratégia do "Botão de Volume" integrado esmagou a competição. Ele conseguiu capturar 64,8% dos inadimplentes reais. A estratégia da "Fotocopiadora" (SMOTE), que tem sido a solução padrão por décadas, capturou apenas 43,3%. Essa é uma lacuna enorme de 21,5 pontos percentuais. O pesquisador realizou testes estatísticos rigorosos (chamados teste de McNemar) e confirmou que isso não foi uma coincidência; a diferença era tão grande que era estatisticamente certa ( $p < 10^{-6}$ ).

No entanto, a história mudou completamente quando trocaram para o Random Forest. Para este modelo, a estratégia do "Botão de Volume" mal funcionou (capturando apenas 7,8% dos inadimplentes), enquanto a "Fotocopiadora" (SMOTE) teve um desempenho muito melhor, capturando 41,2%.

Isso sugere que não existe uma única "bala de prata" para corrigir o desbalanceamento de dados. O que funciona para um tipo de modelo de computador pode falhar para outro. O estudo sugere que, para o modelo específico e poderoso XGBoost, simplesmente dizer ao modelo para se importar mais com os erros raros é muito superior a alimentá-lo com dados sintéticos e falsos.

Por que a Fotocopiadora Falhou (e o Botão Venceu)

Então, por que criar dados falsos prejudicou o modelo XGBoost? O pesquisador explica que, quando você tem um conjunto de dados complexo com 192 características diferentes (como renda, idade e histórico de crédito), criar uma pessoa falsa misturando duas pessoas reais pode resultar em um "monstro" que não existe na realidade. É como tentar misturar uma foto de um gato e um cachorro para fazer um novo animal; o resultado pode parecer estranho e confundir o computador. O modelo acaba aprendendo com o ruído em vez de padrões reais.

O "Botão de Volume" integrado evita essa armadilha inteiramente. Ele não toca nos dados nem cria exemplos falsos. Ele apenas altera a matemática nos bastidores para dizer: "Não perca os raros!". Isso manteve o treinamento limpo e permitiu que o XGBoost performasse em seu melhor nível.

O "Porquê" por trás do "Quem"

Para garantir que este modelo vencedor não fosse apenas uma caixa preta fazendo palpites aleatórios, o pesquisador usou uma ferramenta chamada SHAP (que significa SHapley Additive exPlanations). Pense no SHAP como uma lupa que mostra exatamente quais pistas o detetive usou para tomar uma decisão.

A análise revelou que o modelo estava se comportando de forma lógica. A pista mais importante foi o score externo do bureau (uma pontuação de crédito de outros bancos). Isso faz todo o sentido: se alguém tem um histórico de pagar outros credores, é provável que também te pague. O modelo também observou a proporção entre o valor do empréstimo e o valor do pagamento e a idade do tomador do empréstimo. Crucialmente, o raciocínio do modelo era transparente e defensável, o que é fundamental para bancos que precisam explicar suas decisões aos reguladores.

A Conclusão Final

O estudo conclui que, antes de começar a gerar milhares de pontos de dados falsos para corrigir um desbalanceamento, você deve tentar as ferramentas integradas e mais simples que seu modelo já possui. Para o XGBoost, a ponderação integrada não foi apenas mais fácil de usar; foi significativamente mais eficaz, capturando quase 22% a mais de inadimplentes do que o método tradicional.

No entanto, o pesquisador alerta que isso não é uma regra universal. Como o Random Forest teve um desempenho melhor com o método da "Fotocopiadora", você não pode assumir que uma técnica funciona para todos os modelos. A melhor abordagem depende inteiramente de qual "detetive" você está usando. No mundo regulamentado do setor bancário, onde capturar inadimplentes é vital, mas explicar decisões é obrigatório, esta descoberta oferece um caminho mais claro e eficiente: tente o botão simples primeiro, mas sempre verifique se ele se ajusta ao seu modelo específico.

Resumo Técnico: Estudo de Ablação de Técnicas de Desbalanceamento de Classes para Predição de Inadimplência de Crédito com Análise de Explicabilidade Baseada em SHAP

Definição do Problema
Conjuntos de dados de predição de inadimplência de crédito, como o conjunto de dados Home Credit Default Risk, exibem um desbalanceamento de classes severo (aproximadamente 92% de não inadimplentes vs. 8% de inadimplentes). Em tais cenários, métricas de acurácia padrão são enganosas, pois um modelo que prediz "não inadimplência" para todos os candidatos alcança alta acurácia, mas utilidade zero. A resposta padrão da indústria desde 2002 tem sido a Técnica de Sobreamostragem Sintética de Minorias (SMOTE), que gera exemplos sintéticos da classe minoritária para rebalancear o conjunto de treinamento. No entanto, permanece não testado se modelos de boosting de gradiente, especificamente o XGBoost, podem lidar com esse desbalanceamento nativamente através de ajustes na função de perda (via o parâmetro scale_pos_weight) sem introduzir dados sintéticos ou potencial vazamento de dados (data leakage). Além disso, a literatura existente frequentemente falha ao não integrar o tratamento de desbalanceamento de classes com a explicabilidade do modelo, um requisito crítico para conformidade regulatória no setor financeiro.

Metodologia
O estudo conduz um estudo de ablação controlado entre três classificadores — Regressão Logística, Random Forest e XGBoost — avaliados em 307.511 solicitações de empréstimo com 122 características originais (expandidas para 192 após engenharia de atributos e pré-processamento).

Design Experimental: Nove configurações foram testadas, combinando três classificadores com três estratégias de desbalanceamento:
1. Baseline (A): Sem rebalanceamento; hiperparâmetros padrão.
2. Reponderação Nativa (B): Pesagem de classe integrada (class_weight='balanced' para RF/LogReg; scale_pos_weight para XGBoost).
3. SMOTE + Ajuste de Limiar (C): SMOTE aplicado ao conjunto de treinamento para alcançar paridade de classes, seguido de otimização de limiar na curva de precisão-recall para maximizar o F1.
Avaliação: O desempenho foi medido usando Recall, Precisão, F1-score e ROC-AUC. A significância estatística foi determinada através do teste exato de McNemar em comparações pareadas. A estabilidade foi verificada via validação cruzada estratificada de cinco dobras (five-fold cross-validation).
Explicabilidade: A melhor configuração de desempenho foi analisada usando SHAP (SHapley Additive exPlanations) para decompor as predições em contribuições por característica, garantindo que a lógica do modelo esteja alinhada com os requisitos de transparência regulatória.

Principais Resultados
O estudo rendeu descobertas distintas em relação à interação entre a arquitetura do modelo e o tratamento de desbalanceamento:

Superioridade do XGBoost com Pesagem Nativa: O XGBoost utilizando scale_pos_weight (Estratégia B) alcançou um recall de 64,8%, superando significativamente a abordagem SMOTE (Estratégia C), que alcançou 43,3%. A diferença de 21,5 pontos percentuais foi estatisticamente significativa ( $p < 10^{-6}$ ).
Eficácia Dependente do Modelo: Os resultados não foram uniformes em todos os modelos. Enquanto a pesagem nativa se destacou no XGBoost e na Regressão Logística, ela teve um desempenho ruim no Random Forest (7,8% de recall). Por outro lado, o Random Forest apresentou seu melhor desempenho com o SMOTE (41,2% de recall). Isso demonstra que o tratamento de desbalanceamento não é uma solução "tamanho único", mas depende fortemente da família do classificador.
Estabilidade: A validação cruzada de cinco dobras confirmou a estabilidade da abordagem de pesagem nativa do XGBoost, com um recall médio de 64,1% ( $\pm 0,7\%$ ) e ROC-AUC de 0,755 ( $\pm 0,003$ ).
Importância das Características: A análise SHAP revelou que o EXT_SOURCE_AVG (pontuações agregadas de bureau externas) foi o principal impulsionador da avaliação de risco. O raciocínio do modelo foi monotônico e defensável: pontuações de bureau mais baixas aumentavam a probabilidade de inadimplência. Notavelmente, o gênero (CODE_GENDER_M) emergiu como a terceira característica mais importante, identificada autonomamente pelo modelo.

Significância e Alegações
O artigo reivindica três contribuições primárias para o campo da modelagem de risco de crédito:

Desafiando o Padrão SMOTE: O estudo fornece evidências empíricas de que, para o XGBoost, o ajuste nativo da função de perda (scale_pos_weight) é superior ao SMOTE em dados de crédito de alta dimensionalidade. Os autores argumentam que o SMOTE pode introduzir ruído em espaços de alta dimensionalidade ao interpolar entre instâncias minoritárias que diferem em muitos eixos, enquanto a pesagem nativa evita a modificação dos dados por completo.
Contextualizando Estratégias de Desbalanceamento: A pesquisa destaca que a eficácia de uma técnica de desbalanceamento é contingente ao algoritmo subjacente. Uma estratégia validada em uma família de modelos (ex: SMOTE para Random Forest) não necessariamente se transfere para outra (ex: XGBoost), instando os profissionais a validar as estratégias por modelo em vez de assumir universalidade.
Integração de Explicabilidade: Ao acoplar o alto desempenho do tratamento de desbalanceamento com a análise SHAP, o estudo aborda o "Gap 3", onde a pesquisa de desbalanceamento frequentemente carece da camada de interpretabilidade necessária para implantação regulatória (ex: sob as diretrizes preliminares do RBI). O stack proposto (XGBoost + scale_pos_weight + SHAP) oferece uma solução implantável que não requer pipelines de dados sintéticos, reduz riscos de vazamento de dados e fornece uma lógica de decisão transparente.

Limitações
Os autores reconhecem que as descobertas baseiam-se em um único conjunto de dados público e podem não se generalizar para dados bancários proprietários com distribuições de características diferentes. Adicionalmente, o estudo não incorporou custos de classificação incorreta específicos do negócio, análise de equidade (fairness) entre grupos demográficos ou funções de perda avançadas como a focal loss. O ajuste de limiar para o SMOTE não foi aninhado dentro da validação cruzada, o que pode levar a estimativas de desempenho ligeiramente otimistas para essa estratégia específica.

O Grande Duelo dos Cartões de Crédito

O Resultado Chocante

Por que a Fotocopiadora Falhou (e o Botão Venceu)

O "Porquê" por trás do "Quem"

A Conclusão Final

Mais como este