FairSHAP: Preprocessing for Fairness Through Attribution-Based Data Augmentation

Resumo Técnico: FairSHAP

1. O Problema

A garantia de justiça (fairness) em modelos de aprendizado de máquina é crítica, especialmente em domínios de alto risco como saúde, finanças e justiça criminal. No entanto, as abordagens de pré-processamento existentes para mitigar viéses enfrentam duas limitações principais:

1. Falta de Transparência: Muitas métodos modificam os dados sem mecanismos transparentes para identificar quais características (features) são responsáveis pela injustiça, obscurecendo a racionalidade das alterações.
2. Foco Excessivo em Justiça de Grupo: A maioria das técnicas foca apenas em métricas de justiça de grupo (como Paridade Demográfica), negligenciando a justiça individual e as interseccionalidades. Além disso, otimizar apenas para justiça de grupo pode levar a arbitrariedades individuais.

Existe uma lacuna na integração entre interpretabilidade (para entender a origem do viés) e mitigação de viés, onde muitas vezes as explicações são desconectadas das ações corretivas ou podem levar a "fairwashing" (justificação enganosa de decisões enviesadas).

2. Metodologia: FairSHAP

O FairSHAP é um novo framework de pré-processamento que utiliza valores de Shapley (uma métrica de atribuição de importância baseada na teoria dos jogos) para melhorar simultaneamente a justiça individual e de grupo através de aumento de dados baseado em atribuição.

O método opera em duas etapas principais, conforme ilustrado no framework proposto:

1. Emparelhamento de Instâncias (Matching):

   • O conjunto de treinamento é dividido em dois grupos com base no atributo sensível (ex: grupo privilegiado vs. não privilegiado).
   • Utiliza-se um método de emparelhamento (como Nearest Neighbor ou Optimal Transport) para alinhar instâncias de um grupo com instâncias similares do outro grupo, garantindo consistência de rótulos (ex: positivos com positivos). Isso cria pares de referência para análise.

2. Identificação e Modificação Baseada em Shapley:

   • Para cada instância no grupo alvo, calculam-se os Valores de Shapley em relação ao grupo de referência. Isso quantifica a contribuição marginal de cada característica para a previsão do modelo.
   • Identificam-se as características "críticas para a justiça" (fairness-critical features) cujos valores de Shapley excedem um limiar $T$ (definido empiricamente como 0,05).
   • Aumento de Dados: Os valores dessas características críticas nas instâncias alvo são substituídos pelos valores correspondentes das instâncias emparelhadas do grupo de referência.
   • O processo é simétrico: aplica-se a ambos os grupos para garantir um aprendizado balanceado.

Fundamento Teórico:
O artigo prova teoricamente que a substituição de características com alto valor de Shapley reduz o Risco Discriminatório (DR) (uma medida de justiça individual definida como a diferença absoluta nas previsões para o mesmo indivíduo com diferentes atributos sensíveis).

• Teorema 3.1: Garante que a redução no DR é proporcional à soma dos valores de Shapley das características modificadas, menos um termo de resíduo de interação.
• Proposição 3.2: Demonstra que, ao usar emparelhamento local (distância pequena entre a instância e a referência), o termo de resíduo de interação é de segunda ordem e tende a zero, validando a aproximação.
• Teorema 3.4: Estabelece que a redução no DR individual também impõe um limite superior à redução na Paridade Demográfica (DP) de grupo, conectando teoricamente a justiça individual à de grupo.

3. Contribuições Principais

1. Novo Framework de Pré-processamento: Proposta do FairSHAP, que integra análise de Shapley e emparelhamento de instâncias para identificar e modificar seletivamente pontos de dados críticos para a justiça.
2. Transparência e Interpretabilidade: Ao contrário de métodos "caixa-preta", o FairSHAP identifica explicitamente quais características contribuem para o viés, permitindo intervenções direcionadas e explicáveis.
3. Alta Eficiência com Mínima Perturbação: O método alcança melhorias significativas nas métricas de justiça com alterações mínimas nos dados, preservando a fidelidade dos dados (data fidelity) e, em alguns casos, até melhorando a precisão preditiva.
4. Agnóstico ao Modelo: O método é independente da arquitetura do modelo final, integrando-se facilmente a pipelines existentes, embora utilize uma interação inicial com o modelo para obter conhecimento prévio sobre as características críticas.

4. Resultados Experimentais

Os experimentos foram conduzidos em cinco conjuntos de dados tabulares reais (German Credit, COMPAS, Adult, Census Income KDD, Default Credit) cobrindo justiça criminal, finanças e serviços sociais.

• Métricas de Desempenho: O FairSHAP foi comparado com métodos de baseline (sem mitigação) e técnicas de pré-processamento existentes (Remove Sensitive Attribute - RSA, Disparate Impact Remover - DIR, Correlation Remover - CR).
• Desempenho em Justiça:
  • Redução significativa no Risco Discriminatório (DR): Até 80% no conjunto German Credit e ~40% no COMPAS.
  • Redução consistente nas métricas de grupo Paridade Demográfica (DP) e Igualdade de Oportunidade (EO).
• Fidelidade dos Dados: O FairSHAP introduziu muito menos modificações nos dados do que os concorrentes (ex: o Correlation Remover modificou >95% dos dados, enquanto o FairSHAP manteve a maioria intacta).
• Precisão: Em vários conjuntos de dados, a precisão do modelo aumentou ou permaneceu estável, demonstrando que a justiça não precisa ser trade-off com a performance.
• Estudos de Ablação: Confirmaram que tanto o emparelhamento quanto o uso de valores de Shapley são componentes essenciais para o sucesso do método; modificações aleatórias ou sem emparelhamento resultaram em desempenho inferior.
• Robustez: O método demonstrou robustez ao ser aplicado com diferentes modelos (XGBoost, SVM, TabPFN) e diferentes estimadores de Shapley (Kernel, Sampling, Permutation).

5. Significado e Impacto

O FairSHAP representa um avanço significativo na área de IA Responsável ao:

• Unificar Justiça Individual e de Grupo: Demonstra que melhorar a justiça individual através de intervenções baseadas em atribuição é um caminho principled para alcançar justiça de grupo.
• Promover Transparência: Oferece insights acionáveis sobre as fontes de viés, permitindo que desenvolvedores e reguladores entendam por que e como os dados foram ajustados.
• Viabilidade Prática: Por ser um método de pré-processamento agnóstico ao modelo e que não requer ajustes no conjunto de teste (ao contrário de DIR ou CR), ele se integra facilmente em fluxos de trabalho de ML existentes.

Em suma, o FairSHAP propõe uma abordagem mais ética e eficiente para a mitigação de viéses, priorizando a integridade dos dados e a explicabilidade das decisões algorítmicas.