Benchmarking Gradient Boosting and Explainable AI for Credit Default Prediction on Imbalanced Financial Data: A Leakage-Safe Multi-Seed Evaluation with SHAP and LIME

Sempre que uma pessoa solicita um cartão de crédito ou um pequeno empréstimo, um cálculo oculto acontece nos bastidores. Bancos e credores devem decidir se confiam nessa pessoa com dinheiro, uma decisão que depende de prever se ela falhará em pagar de volta. Isso não é apenas um palpite; é um julgamento financeiro de alto risco que determina quem tem acesso à economia e a que custo. Para tomar essas decisões, as instituições dependem de modelos computacionais que analisam o histórico de uma pessoa — sua renda, suas contas passadas e como ela lidou com dívidas anteriormente. Esses modelos devem ser precisos, mas também devem ser justos e transparentes. As leis nos Estados Unidos exigem que, se um empréstimo for negado, o credor deve explicar exatamente o porquê. Isso significa que o computador não pode apenas dizer "não"; ele deve apontar os motivos específicos, como um pagamento atrasado ou um saldo elevado, que levaram à decisão. Se o modelo for uma caixa preta que ninguém entende, isso cria riscos jurídicos e resultados injustos para os tomadores de empréstimo.

Durante anos, pesquisadores tentaram construir melhores modelos para prever esses inadimplentes, muitas vezes usando inteligência artificial complexa. No entanto, um novo estudo sugere que muitos desses intentos anteriores foram construídos sobre bases frágeis. Os pesquisadores descobriram que práticas comuns no teste desses modelos frequentemente introduzem erros metodológicos, fazendo os computadores parecerem mais inteligentes do que realmente são. Eles também descobriram que alguns truques populares usados para corrigir problemas de dados são, na verdade, desnecessários. Ao estabelecer uma forma de testar esses sistemas mais rigorosa e honesta, a equipe identificou quais modelos realmente funcionam melhor e como explicar suas decisões sem confusão. O trabalho deles fornece um padrão novo e confiável de como as instituições financeiras devem avaliar as ferramentas que decidem quem recebe crédito.

O estudo focou em uma coleção massiva de dados do mundo real de uma empresa de cartões de crédito em Taiwan, envolvendo trinta mil clientes. Cerca de vinte e dois por cento desses clientes eventualmente falharam em pagar suas contas, criando uma situação onde os casos de "inadimplência" eram menos numerosos do que os casos "bons". Esse desequilíbrio é comum nas finanças e levou muitos pesquisadores a usar uma técnica chamada sobreamostragem sintética (synthetic oversampling). Este método cria pontos de dados falsos para equilibrar os números, esperando que isso ajude o computador a aprender melhor. Os pesquisadores deste estudo, no entanto, testaram se esse passo extra era realmente necessário. Eles construíram um protocolo de teste rigoroso que manteve os dados estritamente separados, garantindo que o computador nunca visse as respostas do teste enquanto estava aprendendo. Eles realizaram os testes dez vezes diferentes com diferentes pontos de partida aleatórios para garantir que os resultados fossem estáveis e não apenas um golpe de sorte.

Quando compararam seis tipos diferentes de modelos computacionais, os resultados foram claros. As ferramentas mais poderosas são uma família de modelos conhecidos como conjuntos de boosting de gradiente (gradient boosting ensembles). Estes são sistemas que combinam muitas árvores de decisão simples para fazer uma única previsão altamente precisa. Três versões específicas desses modelos — XGBoost, LightGBM e CatBoost — tiveram um desempenho quase idêntico, formando um nível superior que superou significativamente métodos mais antigos e simples, como a regressão logística, e abordagens de aprendizagem profunda (deep learning) mais recentes. Os principais modelos classificaram corretamente o risco de inadimplência cerca de setenta e nove por cento das vezes, um número que é estatisticamente indistinguível entre si, mas claramente superior às alternativas. O estudo descobriu que as diferenças entre esses três principais modelos eram tão pequenas que nenhum deles poderia ser declarado o vencedor absoluto; eles são simplesmente todos excelentes escolhas para este tipo de problema.

Talvez a descoberta mais surpreendente tenha sido relativa aos dados sintéticos. Os pesquisadores testaram se adicionar esses pontos de dados falsos e equilibrados melhorava os modelos. Eles descobriram que não. Uma vez que os pesquisadores ajustaram o limiar de decisão — o ponto específico onde o computador decide dizer "sim" ou "não" — com base em um conjunto de validação separado, a necessidade de dados sintéticos desapareceu. De fato, para este tipo de dados financeiros moderadamente desequilibrados, simplesmente ajustar o ponto de decisão foi suficiente para lidar com o desequilíbrio. Criar pontos de dados falsos foi não apenas redundante, mas poderia potencialmente introduzir ruído que confundiria o modelo. Isso sugere que as instituições financeiras podem pular a etapa complexa de gerar dados sintéticos e, em vez disso, focar em calibrar cuidadosamente suas regras de decisão.

Além de prever quem entrará em inadimplência, o estudo também observou quão bem esses modelos conseguem explicar suas próprias decisões, um requisito para conformidade legal. Os pesquisadores usaram dois métodos diferentes para gerar essas explicações: um baseado na teoria dos jogos e outro baseado em aproximações locais. Eles descobriram que, embora esses dois métodos geralmente concordassem sobre os fatores mais importantes, eles nem sempre concordavam sobre cada indivíduo. Em cerca de sessenta e dois por cento dos casos, as explicações eram razoavelmente consistentes, mas para alguns indivíduos, os dois métodos apontavam razões diferentes para uma negação. Essa discordância é um risco crítico. Se um banco confiar em apenas um método para dizer a um cliente por que ele foi rejeitado, e esse método for instável, o banco poderá enfrentar desafios legais. O estudo conclui que as instituições devem verificar a concordância entre diferentes ferramentas de explicação e ter especialistas humanos revisando casos onde o raciocínio do computador é obscuro.

Os pesquisadores também testaram suas descobertas em um conjunto de dados menor e mais antigo da Alemanha para ver se os resultados se sustentavam com menos dados. Eles descobriram que, com menos exemplos, a vantagem dos modelos complexos sobre os mais simples tornou-se mais difícil de provar estatisticamente, sugerindo que o poder dessas ferramentas avançadas depende de ter dados suficientes para aprender. Finalmente, a equipe verificou a equidade entre diferentes grupos, como homens e mulheres ou pessoas com diferentes níveis de escolaridade. Eles encontraram apenas pequenas diferenças na forma como o modelo tratava esses grupos, mas observaram que, para grupos muito pequenos, os dados eram escassos demais para tirar conclusões definitivas. O estudo enfatiza que, embora os modelos tenham desempenhado bem no geral, eles são treinados em dados históricos específicos e não podem ser aplicados cegamente a diferentes populações ou crises econômicas sem reavaliação.

Este trabalho estabelece uma maneira nova e mais limpa de testar modelos de pontuação de crédito. Prova que as ferramentas mais eficazes já estão disponíveis e que não precisam de truques de dados artificiais para funcionar bem. Mais importante ainda, destaca que a precisão não é suficiente; as explicações por trás das decisões devem ser consistentes e confiáveis. Ao seguir o protocolo rigoroso e livre de vazamentos (leakage-free) delineado pelo estudo, as instituições financeiras podem construir sistemas que sejam não apenas mais precisos, mas também mais confiáveis e juridicamente sólidos. O código e os dados usados nesta pesquisa estão agora abertos para que qualquer pessoa possa usar, garantindo que este novo padrão possa ser adotado e verificado pela comunidade em geral.