An Experimental Study on Fairness-aware Machine Learning for Credit Scoring Problems

Este artigo apresenta um estudo experimental abrangente que demonstra que modelos de aprendizado de máquina conscientes de justiça alcançam um melhor equilíbrio entre precisão preditiva e equidade em comparação com modelos de classificação tradicionais no contexto de pontuação de crédito.

O essencial

Imagine que você vai pedir um empréstimo ao banco. Antigamente, um funcionário olhava seus documentos, conversava com você e tomava uma decisão. Hoje, isso é feito por computadores superinteligentes (chamados de Inteligência Artificial ou Aprendizado de Máquina) que analisam seus dados em segundos.

O problema é que esses computadores, assim como as pessoas, podem ter "vícios" ou preconceitos. Se o computador aprendeu com dados históricos onde mulheres eram discriminadas, ele pode continuar negando empréstimos para mulheres, mesmo que elas sejam tão boas pagadoras quanto os homens.

Este artigo é como um grande teste de laboratório para ver quais "receitas" de inteligência artificial conseguem ser justas sem perder a precisão.

Aqui está a explicação do que os pesquisadores fizeram, usando analogias do dia a dia:

1. O Problema: O "Juiz" Preconceituoso

Imagine que você tem um juiz (o algoritmo) que decide quem pode entrar em um clube. Se esse juiz olhar apenas para a cor da camisa do candidato e decidir quem entra, ele está sendo injusto. No mundo dos empréstimos, o "juiz" pode estar olhando para o gênero ou raça da pessoa, em vez de olhar apenas para a capacidade de pagamento.

Os pesquisadores queriam descobrir: Como consertar esse juiz para que ele seja justo, mas ainda assim bom em prever quem vai pagar a conta?

2. As Três Estratégias de "Reparação"

Os autores testaram três maneiras diferentes de consertar esses juízes (modelos de IA), como se fossem três técnicas de treinamento:

• Pré-processamento (Limpar a Água antes de beber): Antes de ensinar o computador, eles "lavam" os dados. É como se você tirasse todas as informações sobre gênero ou raça dos documentos antes de entregar ao juiz. O objetivo é que o juiz nunca saiba quem é quem, apenas olhe para os números financeiros.
  • Resultado: Funciona bem para ser justo, mas às vezes o juiz fica "cego" demais e começa a errar mais nas previsões de pagamento.
• Processamento (Treinar o Juiz durante a aula): Aqui, o computador aprende a tomar decisões, mas o professor (o algoritmo) fica gritando: "Ei, não discrimine!" a cada passo. O modelo é forçado a aprender a ser justo enquanto aprende a prever.
  • Resultado: Foi a melhor estratégia! O modelo AdaFair (um tipo de treinador inteligente) conseguiu ser muito preciso e muito justo ao mesmo tempo.
• Pós-processamento (Corrigir a Sentença depois): O computador faz a decisão primeiro. Depois, um supervisor olha a lista de aprovados e reprovados e ajusta algumas decisões para garantir que não houve injustiça. É como um juiz revisando a sentença antes de bater o martelo final.
  • Resultado: Funciona, mas às vezes é difícil ajustar tudo sem estragar a lógica original.

3. A Prova de Fogo: Os 5 Bancos de Dados

Os pesquisadores pegaram 5 conjuntos de dados reais (como se fossem 5 bancos diferentes com históricos de clientes diferentes) e aplicaram todas essas técnicas. Eles usaram uma régua chamada Medidas de Justiça para ver o quão "justo" cada modelo era.

• O que eles descobriram?
  • Os modelos tradicionais (os "juízes antigos") eram rápidos, mas injustos.
  • Os modelos "justos" (os "juízes reparados") conseguiram um equilíbrio incrível. Eles não perderam muita precisão, mas reduziram drasticamente a discriminação.
  • O modelo AdaFair foi o "campeão" do torneio, conseguindo ser o mais preciso e o mais justo na maioria dos casos.

4. O Veredito Final

A mensagem principal do artigo é: Não precisamos escolher entre ser precisos ou ser justos.

Antigamente, pensava-se que para ser justo, o banco teria que perder dinheiro ou errar mais. Este estudo mostra que, com as técnicas certas (especialmente o treinamento "durante o processo"), é possível ter um sistema de crédito que funciona bem para o banco e é justo para todas as pessoas, independentemente de gênero ou raça.

Resumo em uma frase

Os pesquisadores provaram que, com a receita certa de "treinamento", podemos ensinar a inteligência artificial a ser um juiz imparcial, garantindo que o empréstimo seja aprovado com base no seu dinheiro, e não no seu nome ou gênero.

Resumo técnico

Resumo Técnico: Estudo Experimental sobre Aprendizado de Máquina Consciente de Justiça para Problemas de Pontuação de Crédito

1. Problema Investigado

A digitalização da pontuação de crédito (credit scoring) tornou-se essencial para instituições financeiras, utilizando técnicas de Aprendizado de Máquina (ML) para avaliar a solvência dos clientes. No entanto, modelos de ML tradicionais tendem a perpetuar ou amplificar vieses discriminatórios baseados em atributos protegidos (como gênero, raça ou etnia), levando a decisões injustas.

O problema central abordado é a falta de investigação abrangente sobre o desempenho prático de modelos de ML conscientes de justiça (fairness-aware) especificamente no contexto de pontuação de crédito. Embora existam diversas métricas e modelos propostos na literatura, não há um consenso claro sobre qual abordagem oferece o melhor equilíbrio entre precisão preditiva e equidade em diferentes conjuntos de dados financeiros.

2. Metodologia

Os autores realizaram um estudo experimental comparativo abrangente, estruturado da seguinte forma:

• Conjuntos de Dados: Foram utilizados 5 conjuntos de dados públicos e amplamente utilizados na área financeira:

  1. Credit Approval (Austrália)
  2. Credit Card Clients (Taiwan)
  3. Credit Scoring (FinTech da Ásia Central)
  4. German Credit (Alemanha)
  5. PAKDD 2009 Credit Risk Assessment
     Análise Prévia: Antes da modelagem, foi realizada uma análise de viés nos dados utilizando Redes Bayesianas (Bayesian Networks) para identificar conexões diretas ou indiretas entre atributos protegidos (principalmente "Sexo/Gênero") e a classe alvo (aprovação/rejeição).

• Abordagens de Modelagem: O estudo comparou três categorias de métodos para mitigar viés:

  1. Pré-processamento: Modificação dos dados antes do treinamento (ex: Learning Fair Representations - LFR, Disparate Impact Remover - DIR).
  2. Processamento (In-processing): Modificação do algoritmo de aprendizado para incluir restrições de justiça (ex: Agarwal's method, AdaFair).
  3. Pós-processamento: Ajuste das previsões do modelo treinado (ex: Equalized Odds Post-processing - EOP, Calibrated Equalized Odds Post-processing - CEP).

• Modelos de Referência: Foram testados modelos tradicionais (Árvore de Decisão, Naive Bayes, MLP, kNN) e suas versões aplicadas com as técnicas de justiça acima.

• Métricas de Avaliação:

  • Desempenho: Acurácia (Acc) e Acurácia Balanceada (BA), dada a desbalanceamento das classes.
  • Justiça (Fairness): Foram avaliadas 8 métricas de justiça de grupo, incluindo Paridade Estatística (SP), Oportunidade Igual (EO), Odds Igual (EOd), Paridade Preditiva (PP), Igualdade Preditiva (PE), Igualdade de Tratamento (TE) e Área Absoluta Entre Curvas ROC (ABROCA).

3. Principais Contribuições

1. Análise de Viés em Dados Reais: Demonstração, via Redes Bayesianas, de que viés natural existe em todos os conjuntos de dados selecionados, justificando a necessidade de intervenções de justiça.
2. Avaliação Comparativa Abrangente: O primeiro estudo a testar sistematicamente 6 modelos específicos de justiça (cobrindo pré, intra e pós-processamento) em 5 datasets diferentes, utilizando um leque amplo de 8 métricas de justiça.
3. Identificação de Trade-offs: Mapeamento detalhado de como diferentes abordagens afetam o compromisso entre precisão e justiça, fornecendo diretrizes práticas para a indústria financeira.
4. Reprodutibilidade: Disponibilização do código-fonte e dos dados para a comunidade científica.

4. Resultados Experimentais

Os resultados revelaram padrões consistentes através dos diferentes datasets:

• Desempenho Geral: Modelos conscientes de justiça conseguem, em geral, alcançar um melhor equilíbrio entre precisão e justiça em comparação com modelos tradicionais, que tendem a ser mais precisos, mas altamente discriminatórios.
• Modelos Destaque:
  • AdaFair (In-processing): Consistemente superou os outros modelos na maioria dos datasets, alcançando os melhores resultados em acurácia e acurácia balanceada, mantendo simultaneamente métricas de justiça competitivas.
  • LFR (Pré-processamento): Frequentemente alcançou as melhores métricas de justiça (valores próximos de zero em SP, EO, EOd), mas à custa de uma queda drástica na acurácia (muitas vezes caindo para 0.5, equivalente a um classificador aleatório em dados desbalanceados).
  • DIR (Pré-processamento): Mostrou um equilíbrio mais favorável que o LFR, mantendo boa precisão enquanto reduzia o viés.
• Limitações do Pós-processamento: Modelos como EOP e CEP foram eficazes em ajustar as previsões para atender a certas métricas de justiça, mas muitas vezes não conseguiram calcular a métrica ABROCA (devido à falta de probabilidades de múltiplos limiares) e não superaram significativamente os modelos tradicionais em termos de equilíbrio global.
• Trade-off Inevitável: O estudo confirmou que é difícil satisfazer múltiplas métricas de justiça simultaneamente sem sacrificar algum nível de desempenho preditivo.

5. Significado e Conclusões

O estudo conclui que a adoção de métodos de ML conscientes de justiça é viável e necessária para mitigar a discriminação em sistemas de crédito. A abordagem de processamento (In-processing), especificamente o algoritmo AdaFair, emergiu como a solução mais robusta para o problema de pontuação de crédito, pois consegue melhorar a justiça sem degradar significativamente a capacidade preditiva do modelo.

Limitações e Trabalhos Futuros:

• A avaliação atual focou em atributos protegidos individuais (gênero), não considerando a interseccionalidade (ex: gênero e raça simultaneamente).
• A dependência de datasets públicos pode não capturar totalmente vieses complexos de domínios financeiros específicos.
• Futuras pesquisas devem focar na geração de dados sintéticos justos e no desenvolvimento de algoritmos explicáveis para entender as raízes do viés nos dados e nos algoritmos.

Em suma, o trabalho fornece uma base empírica sólida para que instituições financeiras selecionem e implementem modelos de crédito que sejam não apenas precisos, mas também éticos e conformes com regulamentações de não discriminação.