🤖 machine learning

Beyond Aggregate Calibration: Decomposing Income-Conditional Recall Disparities in Automated Credit Default Prediction

Este artigo revela que os pipelines de filtragem centrados em dados na previsão de inadimplência de crédito criam inadvertidamente disparidades severas de recall entre tomadores de alta e baixa renda, impulsionadas não apenas por atributos diretos de renda e vieses de precificação institucional, mas também por variáveis de proxy estruturais como o valor do empréstimo e a propriedade de imóveis que persistem mesmo quando atributos sensíveis são removidos.

Autores originais: Sai Srikar Boddupalli

Publicado 2026-08-11

📖 6 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Sai Srikar Boddupalli

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você é um detetive tentando resolver um mistério, mas em vez de impressões digitais, você está procurando números. Esta história vive no mundo do aprendizado de máquina (machine learning), onde computadores são ensinados a fazer previsões estudando enormes pilhas de dados passados. Pense nisso como um estudante estudando para uma prova ao ler milhares de exames antigos. Um tipo específico de prova que esses computadores fazem é a pontuação de crédito (credit scoring): decidir se uma pessoa pagará de volta um empréstimo ou se ela entrará em inadimplência (falhará no pagamento).

Mas aqui está a parte complicada: às vezes, os dados que o computador estuda são bagunçados. Talvez um rótulo esteja errado, ou talvez o computador fique confuso. Para corrigir isso, os cientistas frequentemente usam uma "pontuação de confiança". Se o computador estiver muito incerto sobre uma previsão, ele pode dizer: "Eu não confio neste ponto de dado; vamos descartá-lo". Isso é chamado de limpeza de dados (data cleaning). Outra grande ideia neste campo é a equidade (fairness). Queremos garantir que o computador trate todos da mesma forma, independentemente de quanto dinheiro eles ganham. Uma regra fundamental para a equidade é chamada de igualdade de oportunidades (equal opportunity), que significa simplesmente: se alguém realmente falhar em pagar um empréstimo, o computador deve ser igualmente bom em detectar essa falha, seja a pessoa rica ou pobre.

A grande questão é: será que a maneira como o computador "limpa" seus próprios dados acidentalmente torna as coisas injustas? E se tentarmos esconder informações sensíveis (como a renda) do computador para forçá-lo a ser justo, isso realmente funciona? Este artigo mergulha nessa questão, usando dados reais de empréstimos para ver se o computador está secretamente deturpando os dados.

A História do Artigo: Quando "Limpar" os Dados a Torna Mais Sujos

O pesquisador começou olhando para um conjunto de dados massivo de mais de 1,3 milhão de empréstimos de uma empresa chamada LendingClub. Ele notou algo estranho acontecendo quando usava o método padrão de "pontuação de confiança" para limpar os dados. O computador decidiu que algumas solicitações de empréstimo eram "ruidosas" ou não confiáveis e as marcou para exclusão.

Aqui está a reviravolta: o computador era muito mais propenso a descartar rótulos "ruidosos" de tomadores de empréstimos de alta renda que realmente entraram em inadimplência do que de tomadores de baixa renda que entraram em inadimplência. É como um professor corrigindo uma pilha de provas e decidindo que as respostas erradas das crianças ricas são apenas "erros" a serem ignorados, enquanto as respostas erradas das crianças pobres são tratadas como evidência real. Em números, o computador descartou 2,40% dos inadimplentes de alta renda como ruído, mas apenas 0,38% dos inadimplentes de baixa renda. Essa é uma diferença enorme na forma como os dados foram tratados.

Mas a verdadeira surpresa veio quando eles pararam de olhar apenas para a "limpeza" e passaram a olhar para as previsões reais. Eles usaram a regra da igualdade de oportunidades para verificar: "Se alguém realmente entrou em inadimplência, com que frequência o computador os pegou?"

Os resultados foram chocantes. O computador era ótimo em pegar inadimplentes de baixa renda (ele encontrou 72,84% deles). Mas para tomadores de empréstimos de alta renda que realmente entraram em inadimplência, o computador só pegou 55,98%. Isso é uma lacuna de 16,86 pontos percentuais. O computador estava essencialmente cego para as pessoas ricas que falharam em pagar, enquanto era muito aguçado para as pessoas pobres que falharam.

O Trabalho de Detetive: Por Que Isso Aconteceu?

O pesquisador não parou apenas ao encontrar a lacuna; ele queria saber o porquê. Eles usaram um truque inteligente chamado cegueira sequencial de características (sequential feature blinding). Imagine jogar um jogo de "20 Perguntas" onde você está tentando adivinhar um segredo. Primeiro, você deixa o computador ver tudo. Depois, você cobre os olhos dele para que ele não possa ver a renda do tomador de empréstimo. Depois, você cobre os olhos dele novamente para que ele nem consiga ver a taxa de juros.

Aqui está o que eles descobriram ao remover as camadas:

A Pista Direta da Renda: Quando eles simplesmente esconderam o número da "renda anual" do computador, a lacuna encolheu de 16,86 pontos para 7,49 pontos. Isso significa que o computador estava usando diretamente o número da renda para decidir quem era arriscado.
A Armadilha de Fluxo (Taxas de Juros): Mas mesmo depois de esconder a renda, a lacuna não desapareceu. O pesquisador percebeu que o computador estava usando a taxa de juros como um código secreto. Os bancos oferecem taxas de juros mais baixas para pessoas que eles consideram seguras. Como as pessoas ricas geralmente recebem taxas mais baixas, o computador aprendeu: "Taxa de juros baixa = Pessoa segura". Assim, quando uma pessoa rica realmente entrava em inadimplência, o computador a ignorava porque a taxa de juros dizia que ela era segura. Quando esconderam a taxa de juros também, a lacuna encolheu ainda mais, para cerca de 3,55 pontos.
O Fantasma Residual: Mesmo depois de esconder tanto a renda quanto as taxas de juros, uma pequena, mas real, lacuna permaneceu (cerca de 2,56 a 3,55 pontos). O computador ainda estava encontrando uma maneira de adivinhar a renda. Como? Olhando para o valor do empréstimo e a propried de imóvel. Pessoas ricas tendem a tomar empréstimos maiores e possuem casas com hipotecas. O computador usou esses "proxies" (pistas substitutas) para reconstruir a imagem de quem era rico, mesmo que não fosse permitido ver o número da renda.

A Grande Lição

O artigo mostra que simplesmente dizer a um computador "Não olhe para a renda" não o torna justo. O computador é como um detetive muito inteligente que pode descobrir o segredo apenas olhando para outras pistas, como o tamanho do empréstimo ou a taxa de juros que o banco ofereceu.

O autor descobriu que o viés institucional (como os bancos definem as taxas de juros) e os proxies comportamentais (quanto dinheiro as pessoas pegam emprestado) trabalham juntos para esconder a verdade. Mesmo que você tente limpar os dados, o computador reconstrói a injustiça usando esses outros sinais.

Portanto, se um banco quiser ser verdadeiramente justo, ele não pode apenas deletar a coluna "renda" de sua planilha. Eles precisam entender que todo o sistema — desde a taxa de juros definida por um subscritor humano até o valor do empréstimo que uma pessoa toma — está conectado. Se eles não corrigirem toda a cadeia, o computador continuará encontrando maneiras de tratar tomadores de empréstimos ricos e pobres de forma diferente, mesmo quando lhe é dito para não o fazer.

Resumo Técnico: Decomposição das Disparidades de Recall Condicionais à Renda em Predições Automatizadas de Inadimplência de Crédito

Problema
O artigo aborda uma interseção crítica entre a curadoria de IA centrada em dados e a equidade algorítmica na concessão de crédito ao consumo. Enquanto os pipelines de dados frequentemente utilizam escores de confiança do modelo para filtrar instâncias de treinamento "ruidosas" ou rotuladas incorretamente, e enquanto a literatura de equidade reconhece que a remoção de atributos protegidos raramente impede a reconstrução do viés via características correlacionadas, a interação específica entre a filtragem de rótulos baseada em confiança e as disparidades socioeconômicas permanece inexplorada. O problema central investigado é se a tendência de um algoritmo de tratar falhas de predição (falsos negativos) como ruído de dados enviesa sistematicamente ao longo das linhas de renda, e se intervenções de equidade "cegas" padrão (remoção de atributos sensíveis) são suficientes para eliminar essas disparidades.

Metodologia
O estudo utiliza um conjunto de dados de larga escala, acessível publicamente, do LendingClub (N = 1.344.936 registros, 2007–2018), focando em empréstimos com resultados terminais ("Totalmente Pago" ou "Inadimplente/Charged Off"). Os tomadores de empréstimo são categorizados post-hoc em três faixas de renda: Baixa (<$50k), Média ( $50k–$ 100k) e Alta (>$100k).

A pesquisa emprega uma metodologia de cegamento sequencial de características para isolar os drivers da disparidade através de três especificações de modelo:

Modelo Completo: Inclui todas as características, incluindo explicitamente a renda anual declarada.
Modelo Cego à Renda: Exclui a renda anual.
Modelo Duplo-Cego: Exclui tanto a renda anual quanto a taxa de juros de originação (para remover o viés institucional ascendente codificado por subscritores humanos).

O autor avalia o desempenho utilizando Igualdade de Oportunidades (Hardt et al., 2016), focando especificamente na Taxa de Verdadeiros Positivos (TPR/Recall) entre os inadimplentes reais, em vez da acurácia agregada. Para explicar os mecanismos por trás da disparidade residual, o estudo utiliza valores SHAP (SHapley Additive exPlanations) assinados out-of-sample, extraídos estritamente de uma partição de teste mantida separadamente para evitar a memorização in-sample. Os achados são validados em duas famílias de modelos: Árvores de Boosting de Gradiente (XGBoost) e Regressão Logística Regularizada.

Principais Contribuições

Auditoria Empírica de Limpeza de Rótulos: O artigo demonstra que a filtragem padrão por limiar de confiança introduz um viés estatisticamente significativo e condicional à renda. Inadimplentes de alta renda são desproporcionalmente marcados como "ruído de rótulo" (taxa de descarte de 2,40%) em comparação com inadimplentes de baixa renda (0,38%), uma disparidade confirmada por um teste qui-quadrado ( $\chi^2 = 1192,26, p < 0,0001$ ).
Reenquadramento da Métrica de Equidade: Ao aplicar o critério de Igualdade de Oportunidades, o estudo revela um déficit substancial de recall para tomadores de empréstimo de alta renda que métricas de calibração agregadas obscurecem. Há uma lacuna bruta de 16,86 pontos percentuais no recall entre inadimplentes de alta renda (55,98%) e de baixa renda (72,84%).
Decomposição de Mecanismos: O autor rastreia a disparidade a três mecanismos distintos:
- Dependência Direta: O uso direto da renda declarada explica aproximadamente metade da lacuna inicial.
- Viés Institucional Herdado: A taxa de juros de originação atua como um proxy para o julgamento do subscritor humano. Inadimplentes de alta renda receberam taxas de juros menores (mediana de 14,49% vs. 15,31% para baixa renda), levando o modelo a classificá-los incorretamente como de menor risco quando a renda é removida.
- Proxies Estruturais Residuais: Mesmo após o cegamento de renda e taxa de juros, uma lacuna estatisticamente significativa persiste (2,56% nos dados de teste mantidos separadamente). A análise SHAP identifica o valor do empréstimo e o status de propriedade de residência como os principais drivers, atuando como proxies estruturais que reconstroem o sinal de renda omitido.
Verificação Metodológica: Os resultados são robustos entre arquiteturas de modelos (XGBoost e Regressão Logística) e esquemas de validação (validação cruzada de 5 dobras vs. teste rigoroso mantido separadamente), confirmando que a disparidade está incorporada na estrutura dos dados e não é um artefato de um algoritmo específico.

Resultos

Filtragem de Confiança: Inadimplentes de alta renda são removidos como "ruído" a uma taxa aproximadamente 6 vezes maior do que os de baixa renda.
Disparidade de Recall: A lacuna inicial de TPR entre os grupos de alta e baixa renda é de 16,86 pontos percentuais.
Efeitos de Cegamento:
- A remoção da renda reduz a lacuna para 7,49 pontos percentuais.
- A remoção de ambos, renda e taxas de juros, reduz a lacuna ainda mais para 3,55 pontos percentuais (validação cruzada) e 2,56 pontos percentuais (teste mantido separadamente).
Drivers Residuais: A lacuna de 2,56% restante é impulsionada pelo valor do empréstimo e pela propriedade de residência. Tomadores de renda média, que tomam empréstimos em valores absolutos maiores do que os de baixa renda, apresentam um recall agregado ligeiramente superior aos de baixa renda no modelo duplo-cego, mas isso é um artefato de composição; quando analisados por decis de valor de empréstimo, os tomadores de alta renda exibem consistentemente o menor recall.

Significância e Alegações
O artigo alega que simplesmente cegar um algoritmo para atributos sensíveis (como renda) é insuficiente para garantir a equidade em contextos financeiros regulados. O estudo destaca que as decisões de precificação institucional (taxas de juros) e os proxies comportamentais subsequentes (tamanho do empréstimo, propriedade de ativos) coletivamente reconstroem os sinais de variáveis omitidas.

O autor conclui que as auditorias de equidade para fluxos de trabalho de IA centrados em dados em instituições financeiras devem ir além da remoção de atributos protegidos explícitos. Elas devem considerar variáveis institucionais ascendentes que codificam o julgamento humano prévio e geometrias de transação descendentes que reconstroem sistematicamente sinais omitidos. Os achados sugerem que, sem abordar esses proxies estruturais, os sistemas de crédito automatizados continuarão a produzir disparidades condicionais à renda tanto em heurísticas de limpeza de dados quanto no recall de classes minoritárias.

A História do Artigo: Quando "Limpar" os Dados a Torna Mais Sujos

O Trabalho de Detetive: Por Que Isso Aconteceu?

A Grande Lição

Mais como este