SHAP and LIME Explainability in Financial Machine Learning: A Systematic Review of Methods, Evaluation Gaps, and Barriers to Deployment
Esta revisão sistemática de 297 estudos revela que, embora o SHAP e o LIME sejam amplamente adotados para explicabilidade em aprendizado de máquina financeiro — particularmente para modelagem de crédito —, eles sofrem de uma falta crítica de avaliação formal, com apenas 9,1% dos artigos avaliando a qualidade da explicação, destacando uma necessidade urgente de padrões mais fortes de validação e implementação para garantir a conformidade regulatória e a confiança.
Artigo original sob licença CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo
No mundo financeiro moderno, bancos, seguradoras e empresas de negociação dependem fortemente de programas de computador complexos para tomar decisões de alto risco. Esses programas, frequentemente chamados de modelos de aprendizado de máquina, podem prever se uma pessoa pagará um empréstimo, sinalizar uma transação como fraudulenta ou determinar o preço de uma apólice de seguro. Embora essas ferramentas sejam incrivelmente poderosas, elas frequentemente operam como "caixas pretas". Isso significa que mesmo as pessoas que as construíram não conseguem ver facilmente como o computador chegou a uma resposta específica. Quando um empréstimo é negado ou uma conta é congelada, o cliente, o auditor e o regulador precisam saber o porquê. Para resolver isso, pesquisadores desenvolveram um campo chamado IA Explicável. Estas são ferramentas projetadas para lançar luz sobre a caixa preta, traduzindo a matemática complexa do computador em razões legíveis por humanos. Duas das ferramentas mais populares para este trabalho são conhecidas como SHAP e LIME. Elas atuam como tradutores, pegando uma previsão final e trabalhando de trás para frente para mostrar quais fatores, como renda ou histórico de gastos, foram mais importantes. No entanto, só porque uma ferramenta pode produzir uma explicação, não significa que essa explicação seja correta, estável ou confiável o suficiente para ser usada em um tribunal real ou em uma agência bancária.
Uma equipe de pesquisadores da Boston University, da University of California, Irvine, da Sharda University e do Indian Institute of Technology Kanpur decidiu investigar exatamente quão bem essas ferramentas estão sendo usadas no mundo real das finanças. Eles não olharam apenas para novas ideias; eles conduziram uma revisão sistemática massiva de quase 300 estudos científicos publicados entre 2016 e 2026. O objetivo deles era auditar as evidências. Eles queriam ver se os pesquisadores estavam apenas exibindo imagens bonitas de como um modelo funciona, ou se estavam realmente provando que essas imagens eram precisas e confiáveis. A equipe seguiu um protocolo rigoroso, pesquisando através de milhares de registros acadêmicos para encontrar apenas aqueles estudos onde o SHAP ou o LIME foram genuinamente aplicados a dados financeiros, como pontuação de crédito ou detecção de fraude. Eles então examinaram cada detalhe: que tipo de problema financeiro estava sendo resolvido, que tipo de modelo de computador estava sendo explicado e, o mais importante, se os pesquisadores testaram a qualidade de suas explicações.
Os resultados desta revisão revelam uma lacuna significativa entre a rapidez com que essas ferramentas estão sendo adotadas e a cautela com que estão sendo testadas. Os pesquisadores descobriram que o campo avançou muito rapidamente. A vasta maioria dos estudos analisados, cerca de 74%, focou em decisões simples de sim ou não, como aprovar um empréstimo ou detectar fraude. Nesses estudos, a ferramenta conhecida como SHAP foi a favorita clara, aparecendo em quase 94% de todos os artigos. Essa popularidade deve-se em grande parte ao fato de o SHAP funcionar muito bem com o tipo específico de modelos de computador que os bancos usam com mais frequência. A segunda ferramenta, o LIME, foi usada com muito menos frequência e geralmente apenas como uma nota lateral ao SHAP, em vez de como um método primário. Embora os pesquisadores tenham descoberto que quase todos os estudos relataram o quão bem seu modelo de computador previu o resultado, a história mudou completamente quando olharam para as próprias explicações.
A descoberta mais impressionante foi que quase ninguém estava realmente verificando se suas explicações eram boas. Dos 297 estudos revisados, apenas 21, aproximadamente 7%, realizaram um teste formal para ver se a explicação correspondia ao comportamento real do modelo. Outros 6 estudos ofereceram alguma evidência limitada, mas a grande maioria simplesmente gerou uma explicação e assumiu que ela estava correta. Os pesquisadores observaram que isso é uma negligência perigosa. Nas finanças, uma explicação não é apenas um auxílio visual; é uma parte crítica do processo de tomada de decisão. Se um banco diz a um cliente que seu empréstimo foi negado devido ao seu histórico de crédito, mas a explicação estiver errada ou for instável, isso cria riscos legais e éticos. A revisão descobriu que os pesquisadores frequentemente tratavam o ato de gerar uma explicação como o mesmo que validá-la, mas as evidências mostram que essas são duas coisas muito diferentes.
O estudo também analisou os obstáculos que impedem que essas ferramentas sejam usadas com segurança em sistemas do mundo real. Os pesquisadores descobriram que 72% dos estudos mencionaram barreiras técnicas ou relacionadas a dados. O problema mais comum citado foi o "desequilíbrio de classes", uma situação em que o evento sendo previsto, como um inadimplemento de empréstimo ou um caso de fraude, ocorre muito raramente em comparação com casos normais. Essa raridade torna difícil para as ferramentas de explicação fornecerem respostas consistentes. Outras barreiras incluíram a necessidade de resultados rápidos, preocupações com privacidade e o fato de que os dados financeiros mudam ao longo do tempo. No entanto, a revisão destacou um descompasso: embora os pesquisadores frequentemente listassem esses obstáculos como problemas, eles raramente testaram como essas questões realmente prejudicavam a qualidade das explicações. Eles nomearam os obstáculos, mas não mediram o dano.
Quando os pesquisadores olharam para como os cientistas tentaram construir confiança em seus resultados, descobriram que a maioria dependia de métodos fracos. Cerca de 36% dos estudos mencionaram alguma forma de validação, mas a abordagem mais comum foi simplesmente comparar os resultados do SHAP com o LIME. Se as duas ferramentas concordassem, os pesquisadores frequentemente assumiam que a explicação estava correta. A revisão argumenta que isso não é prova suficiente, porque ambas as ferramentas poderiam estar erradas da mesma maneira. Métodos mais fortes, como testar como a explicação se mantém quando os dados mudam ligeiramente, ou pedir que especialistas humanos julguem os resultados, foram usados em uma fração minúscula dos estudos. Os autores concluíram que o campo dominou a arte de produzir explicações, mas falhou amplamente em provar que essas explicações são confiáveis. Eles propõem um novo padrão para pesquisas futuras, instando os cientistas a parar de tratar a geração de uma explicação como o passo final. Em vez disso, eles devem tratar a explicação em si como um produto que precisa de testes rigorosos, assim como o próprio modelo financeiro que descreve, antes que seja usado para tomar decisões que afetam a vida das pessoas.
Afogado em artigos na sua área?
Receba digests diários dos artigos mais recentes que correspondam às suas palavras-chave de pesquisa — com resumos técnicos, no seu idioma.