Resumo Técnico: Auditoria de Padrões Discriminatórios em Empréstimos Hipotecários através de Regras de Associação e Agrupamento Justo (Fair Binning)

Declaração do Problema

O setor de empréstimos hipotecários nos Estados Unidos exibe disparidades raciais e de gênero persistentes. Enquanto pesquisas anteriores focaram em auditar o viés ao nível do modelo ou construir classificadores justos, este artigo investiga se as operações de gestão de dados upstream, especificamente o agrupamento de atributos (binning), amplificam essas disparidades. O agrupamento de frequência igual padrão de atributos numéricos (ex: renda) pode criar grupos com composições demográficas enviesadas, potencialmente distorcendo a mineração de padrões downstream. Os autores questionam: O agrupamento consciente da equidade altera os padrões discriminatórios minerados dos dados de empréstimos?

O estudo utiliza o conjunto de dados HMDA 2023 (Home Mortgage Disclosure Act), uma rica fonte pública contendo mais de 10 milhões de registros anuais, focando na área metropolitana de Chicago.

Metodologia

Os autores propõem um pipeline de três estágios para auditar padrões discriminatórios:

1. Limpeza e Agrupamento de Dados (Binning)

• Fonte de Dados: 103.481 solicitações de hipoteca limpas da Divisão Metropolitana de Chicago-Naperville-Elgin (filtradas do snapshot nacional do HMDA 2023).
• Pré-processamento: O pipeline filtra empréstimos originados e negados, remove registros com dados demográficos ausentes, converte campos financeiros e corta outliers de renda (percentis 0,5–99,5).
• Estratégias de Agrupamento (Binning):
  • Agrupamento de Frequência Igual Padrão: Divide atributos numéricos (renda, valor do empréstimo) em $k=5$ baldes com contagens aproximadamente iguais.
  • Agrupamento Justo $\epsilon$-Enviesado ($\epsilon$-Biased Fair Binning): Implementa o algoritmo Divide-and-Conquer (D&C) proposto por Asudeh et al. [1]. Este algoritmo busca limitar o desvio demográfico dentro de cada balde a no máximo $\epsilon$. Ele minimiza o "Preço da Equidade" (Price of Fairness - PoF), definido como o desvio dos tamanhos dos baldes em relação à frequência igual.

2. Mineração de Regras de Associação (FP-Growth)

• Técnica: O FP-Growth é usado para minerar itemsets frequentes e regras de associação que predizem a negação de empréstimo.
• Entrada: As solicitações são convertidas em transações de 11 itens categóricos (ex: raça, sexo, balde de renda, categoria de DTI, resultado).
• Objetivo: Comparar os conjuntos de regras gerados sob o agrupamento padrão vs. o agrupamento justo para identificar se as restrições de equidade alteram os padrões discriminatórios explícitos (ex: regras onde a raça é um antecedente).
• Parâmetros: Suporte mínimo de 0,10, confiança mínima de 0,50, lift mínimo de 1,0.

3. Agrupamento (Clustering) e Auditoria de Impacto Dispar

• Agrupamento: O K-Means clustering é aplicado a quatro características financeiras (renda, valor do empréstimo, DTI, razão de empréstimo combinado com o valor do imóvel) para agrupar solicitantes por perfil financeiro. As taxas de juros são excluídas para evitar a filtragem de empréstimos negados.
• Auditoria: Dentro de cada cluster, a Razão de Impacto Dispar (DIR) é calculada para grupos demográficos (raça, etnia, sexo) contra um grupo de referência.
• Métrica: Um DIR abaixo de 0,80 (a "regra dos quatro quintos") indica impacto dispar. Esta abordagem isola a discriminação que não pode ser explicada por fatores de risco financeiro legítimos capturados nos clusters.

Principais Resultados

1. Viés de Agrupamento e Viabilidade

• Agrupamento Padrão: Produz um viés racial de 9,63% na discretização de renda, consistente com achados anteriores (8–10%).
• Viabilidade do Agrupamento Justo: Com sete grupos raciais, o algoritmo $\epsilon$-enviesado é inviável em limiares rígidos ($\epsilon=0,03$). Ele só tem sucesso com $\epsilon=0,08$ para renda e $\epsilon=0,06$ para valor do empréstimo.
• Preço da Equidade (PoF): Alcançar a equidade nesses limiares acarreta um alto custo, com os tamanhos dos baldes desviando-se significativamente da frequência igual (PoF de 29,4% para renda e 23,5% para valor do empréstimo).

2. Mineração de Regras de Associação (FP-Growth)

• Preditor Dominante: A alta razão dívida-renda (DTI) é o principal preditor de negação (67,2% de confiança, 2,81 de lift).
• Consistência das Regras: As principais regras de negação são idênticas sob os regimes de agrupamento padrão e justo.
• Ausência de Viés Explícito: Nenhuma regra com raça, sexo ou etnia como antecedentes atingiu o limiar de suporte de 10%. Os autores observam que isso não implica ausência de viés; em vez disso, o viés racial opera de forma indireta através de características financeiras correlacionadas (ex: solicitantes negros possuem rendas médias menores, colocando-os em baldes de maior risco).

3. Agrupamento e Impacto Dispar

• Perfis de Cluster: Cinco clusters foram identificados, variando de solicitantes sobrecarregados de dívidas (79% de negação) a solicitantes abastados (11% de negação).
• Achados de Impacto Dispar: Embora o FP-Growth não tenha encontrado regras raciais explícitas, a auditoria K-Means + DIR sinalizou 10 de 45 pares grupo-cluster como apresentando impacto dispar (DIR < 0,80).
• Achados Específicos:
  • Todos os pares sinalizados envolveram raça.
  • No Cluster 3 (grupo financeiramente similar: renda média de $104K, DTI de 34,5), solicitantes negros enfrentaram uma taxa de negação de 44,8% comparada a 20,3% para brancos (DIR = 0,693).
  • O DIR médio para auditorias baseadas em raça foi de 0,814, enquanto as auditorias de etnia e sexo não mostraram impacto dispar sistemático (DIRs médios de 0,932 e 1,094, respectivamente).

Contribuições e Significância

O artigo apresenta as seguintes contribuições:

1. Validação do Viés Upstream: Confirma que o pré-processamento de dados padrão (agrupamento/binning) introduz um viés racial mensurável (9,63%) nos dados do HMDA, validando a relevância dos problemas de agrupamento imparcial em contextos de empréstimo.
2. Restrições de Viabilidade da Equidade Multigrupo: Demonstra que, embora o agrupamento $\epsilon$-enviesado funcione para grupos binários, aplicá-lo a sete grupos raciais reduz drasticamente o conjunto de soluções viáveis e acarreta um alto Preço da Equidade, sugerindo limitações práticas para a equidade de múltiplos grupos na discretização de dados.
3. Abordagens de Auditoria Complementares: O estudo destaca que o FP-Growth e o Agrupamento (Clustering) oferecem insights complementares:
   • O FP-Growth identifica os principais fatores de negação (DTI) em toda a população, mas pode perder o viés indireto devido aos limiares de suporte.
   • O Agrupamento combinado com auditorias DIR revela o impacto dispar sistêmico que persiste mesmo entre solicitantes financeiramente similares, revelando a discriminação que a mineração de regras padrão pode negligenciar.
4. Evidência Empírica de Viés Indireto: Os resultados sugerem que o viés racial em empréstimos hipotecários frequentemente se manifesta indiretamente através de distribuições financeiras correlacionadas (renda/DTI), em vez de como regras explícitas de alto suporte envolvendo atributos protegidos.

Limitações

Os autores reconhecem diversas limitações:

• Pontuação de Crédito Ausente: Os dados do HMDA carecem de pontuações de crédito (credit scores), um fator primordial de empréstimo, o que significa que o agrupamento não pode separar totalmente a discriminação do risco legítimo.
• Limiares de Suporte: O limiar de suporte de 10% para o FP-Growth pode ser muito alto para capturar padrões de grupos minoritários; reduzir esse limiar pode gerar resultados espúrios.
• Escopo Geográfico: A análise é limitada à área metropolitana de Chicago.
• Premissas Algorítmicas: O K-Means assume clusters esféricos de tamanho semelhante, o que pode não se ajustar perfeitamente à assimetria dos dados (tamanhos de cluster variando de 3.500 a 48.000).