Procedural Fairness in Machine Learning

Este artigo define e formaliza a justiça processual em modelos de aprendizado de máquina, propondo uma nova métrica de avaliação baseada em atribuição de características e métodos para identificar e mitigar características que causam injustiça, demonstrando que tais abordagens melhoram simultaneamente a justiça processual e a distributiva com apenas uma leve redução no desempenho do modelo.

O essencial

Imagine que você está em uma fila para entrar em um clube exclusivo. O porteiro (que é uma Inteligência Artificial) decide quem entra e quem fica de fora.

Até hoje, quando falamos em "justiça" nesse processo, focávamos apenas no resultado: "O clube está cheio de pessoas de um grupo específico e vazio de outro?". Isso é chamado de justiça distributiva (quem ganhou o que).

Mas este novo artigo traz uma pergunta diferente e muito importante: "Como o porteiro está decidindo?". Ele está usando critérios lógicos e iguais para todos, ou está olhando para a cor da camisa, o sobrenome ou o sotaque de cada pessoa de forma diferente? Isso é a Justiça Procedural.

Aqui está uma explicação simples do que os autores descobriram e criaram:

1. O Problema: O "Porteiro" Cego

Muitas vezes, uma IA pode dar um resultado justo (todos têm a mesma chance de entrar), mas usar um raciocínio injusto para chegar lá. Ou o contrário: ela pode dar um resultado injusto, mas por um motivo que, se analisado passo a passo, parece "lógico" dentro do sistema.

Os autores dizem que, na vida real, as pessoas aceitam mais facilmente um resultado ruim se acharem que o processo foi justo. Se o porteiro for transparente e tratar todos com a mesma "lógica", você fica menos bravo, mesmo que não entre.

2. A Solução: Um "Raio-X" das Decisões (GPFFAE)

Como sabemos o que a IA está pensando se ela é uma "caixa preta"? Os autores criaram uma ferramenta chamada GPFFAE.

Pense na IA como um cozinheiro que faz um bolo.

• Justiça Distributiva: Olhar para o bolo final e ver se todos receberam fatias iguais.
• Justiça Procedural (GPFFAE): Olhar para a receita e ver se o cozinheiro usou a mesma quantidade de açúcar e farinha para o bolo do "Grupo A" e para o "Grupo B".

A ferramenta deles usa uma técnica chamada FAE (Explicação por Atribuição de Recursos). É como se eles colocassem um raio-X na decisão da IA para ver: "Quais ingredientes (dados) o cozinheiro usou para decidir?".

• Se a IA usa o "ingrediente X" (ex: gênero) pesadamente para o Grupo A, mas ignora totalmente para o Grupo B, o processo é injusto.
• A ferramenta mede essa diferença. Se a "receita" for muito diferente para grupos diferentes, o processo é injusto.

3. A Descoberta Surpreendente

Eles testaram isso em vários cenários (como empréstimos bancários, contratações e justiça criminal).

• O que eles viram: Às vezes, a IA dá resultados justos, mas usa uma lógica injusta. Às vezes, ela usa uma lógica justa, mas o resultado final é desequilibrado.
• O caso do COMPAS: Eles usaram um famoso caso de justiça criminal. A IA previa quem reincidiria no crime. Curiosamente, mesmo que os dados de entrada fossem "injustos" (histórico racial), a IA, em alguns casos, não usou essa informação de forma preconceituosa na sua lógica interna. Isso mostra que olhar apenas para o resultado não conta a história completa.

4. Como Consertar o "Porteiro"

Depois de identificar que o processo é injusto, eles criaram duas maneiras de consertar a IA:

• Método 1: A Reforma Radical (Retreinamento)
  Imagine que você pega a receita do bolo, joga fora os ingredientes que causam o preconceito (como o "gênero" ou "endereço") e faz o bolo do zero.

  • Vantagem: Funciona muito bem e melhora a justiça.
  • Desvantagem: Você perde um pouco do sabor original (a precisão da IA cai um pouquinho) e tem que fazer todo o bolo de novo.

• Método 2: O Ajuste Fino (Modificação)
  Aqui, você não joga fora o bolo pronto. Você pega uma faca e ajusta a receita do bolo existente, reduzindo a quantidade de "ingredientes ruins" que o cozinheiro usou, sem mudar toda a estrutura.

  • Vantagem: Mantém a "essência" da decisão original (é mais fiel ao modelo antigo) e é mais rápido.
  • Desvantagem: Exige um ajuste delicado para não estragar o bolo (a precisão cai um pouco mais que no método 1).

Resumo em uma Frase

Este artigo nos ensina que, para ter uma Inteligência Artificial realmente justa, não basta olhar para quem ganhou; precisamos olhar para como a decisão foi tomada. Eles criaram uma "lupa" para ver essa lógica e duas "ferramentas" para consertar o raciocínio da máquina, garantindo que o processo seja transparente e igualitário para todos, não apenas o resultado final.

Resumo técnico

1. O Problema

A justiça (fairness) em Aprendizado de Máquina (ML) tem recebido atenção significativa, mas a pesquisa atual concentra-se predominantemente na justiça distributiva (ou justiça de resultados), que avalia se os resultados das previsões são equitativos entre diferentes grupos. Existe uma lacuna crítica em relação à justiça procedural (ou justiça do processo), que se preocupa com a equidade, transparência e ausência de preconceito no processo de tomada de decisão do modelo em si.

Problemas identificados na literatura existente:

• Definição Insuficiente: Trabalhos anteriores (como Grgić-Hlača et al., 2018) definiram justiça procedural baseada apenas na "justiça intrínseca" das características (features) de entrada usadas no treinamento. O artigo argumenta que isso é inadequado, pois um modelo pode usar características sensíveis (ex: raça, gênero) mas ainda assim ter um processo de decisão lógico e imparcial, ou vice-versa.
• Falta de Métricas Quantitativas: Não existem métricas padronizadas e escaláveis para medir a justiça procedural, muitas vezes dependendo de julgamentos humanos subjetivos e caros.
• Desconexão entre Processos e Resultados: A justiça distributiva e a procedural nem sempre coincidem; um modelo pode ter resultados justos mas um processo enviesado, ou resultados enviesados com um processo justo.

2. Metodologia Proposta

Os autores propõem uma abordagem sistemática que envolve definição formal, métrica de avaliação, detecção de fontes de injustiça e métodos de mitigação.

A. Definição Formal de Justiça Procedural

Baseando-se em filosofia e psicologia, os autores definem a justiça procedural como a ausência de preconceito ou preferência no processo interno de decisão do modelo devido a características inerentes ou adquiridas.

• Justiça Procedural Individual: Duas instâncias de dados semelhantes devem ter processos de decisão (lógica) semelhantes.
• Justiça Procedural de Grupo: Instâncias semelhantes de dois grupos diferentes (ex: homens vs. mulheres) devem ter processos de decisão semelhantes.

B. Métrica de Avaliação: GPFFAE

Para quantificar a justiça procedural, os autores propõem a métrica GPFFAE (Feature Attribution-based Group Procedural Fairness).

• Mecanismo: Utiliza técnicas de IA Explicável (XAI), especificamente Atribuição de Características (FAE) como SHAP, Gradiente*Entrada e Gradientes Integrados, para capturar a lógica de decisão do modelo (importância de cada feature para uma previsão específica).
• Cálculo:
  1. Seleciona pares de dados semelhantes de dois grupos diferentes (usando distância Euclidiana).
  2. Gera as explicações (FAE) para esses pares.
  3. Calcula a diferença na distribuição das explicações entre os dois grupos usando Discrepância de Máxima Média (MMD).
  4. Um valor de p-value baixo indica que as distribuições são diferentes, sugerindo injustiça procedural.

C. Identificação de Fontes de Injustiça

Para um modelo considerado injusto proceduralmente, o método identifica quais características específicas (Unfair Features - UFs) contribuem para essa disparidade. Isso é feito comparando a distribuição das importâncias de cada feature individualmente entre os grupos e identificando aquelas com diferenças estatisticamente significativas.

D. Métodos de Mitigação

Dois métodos são propostos para corrigir a injustiça procedural:

1. Retreinamento (Remoção de UFs): Remove as características injustas identificadas e treina o modelo novamente.
2. Modificação do Modelo (Redução de Impacto): Em vez de remover as features, aplica uma função de perda adicional (explanation loss) durante o ajuste fino do modelo. Esta penalidade reduz a importância (gradiente) das características injustas na decisão, mantendo a lógica original do modelo mais fiel (faithful) e evitando o retreinamento completo.

3. Principais Contribuições

1. Definição Formal: Estabelece uma definição rigorosa de justiça procedural para ML, focada na lógica de decisão interna e não apenas nas features de entrada.
2. Métrica Quantitativa (GPFFAE): Introduz a primeira métrica escalável baseada em XAI para avaliar a justiça procedural de grupos, permitindo distinguir modelos justos de injustos.
3. Análise de Relação: Demonstra empiricamente que justiça procedural e distributiva são dimensões distintas, embora frequentemente correlacionadas, e que otimizá-las pode ter trade-offs.
4. Métodos de Mitigação Efetivos: Propõe e valida duas técnicas para melhorar a justiça procedural, mostrando que é possível corrigir o processo de decisão sem sacrificar drasticamente a precisão do modelo ou a justiça distributiva.
5. Validação Empírica: Testes extensivos em 9 conjuntos de dados (1 sintético e 8 reais, incluindo Adult, COMPAS, LSAT, etc.) validam a robustez da métrica e a eficácia dos métodos de correção.

4. Resultados Experimentais

• Validação da Métrica: O GPFFAE conseguiu distinguir com alta precisão entre modelos construídos para serem proceduralmente justos e injustos. Em modelos justos, a métrica atingiu valores próximos a 1.0; em modelos injustos, valores próximos a 0.0.
• Relação com Justiça Distributiva: Os experimentos revelaram casos onde modelos eram distributivamente justos (resultados equilibrados) mas proceduralmente injustos (lógica enviesada), e vice-versa (como observado no dataset COMPAS, onde o processo de decisão era justo apesar de resultados desiguais).
• Eficácia da Mitigação:
  • Ambos os métodos de mitigação melhoraram significativamente a justiça procedural (aumentando o GPFFAE para ~1.0).
  • A justiça distributiva também melhorou em paralelo na maioria dos casos.
  • Custo de Desempenho: Houve uma perda mínima na acurácia do modelo (média de 0,8% para o método de retreinamento e 1,8% para o método de modificação).
• Robustez: A métrica mostrou-se consistente ao usar diferentes métodos de explicação (SHAP, GI, IG).
• Limitações e Soluções: Em conjuntos de dados pequenos (ex: German, 1000 amostras), a dificuldade de encontrar pares de dados semelhantes afetou a métrica. Os autores propuseram uma solução usando geração de dados contrafactuais (KDE) para mitigar esse problema em dados esparsos.

5. Significado e Impacto

Este trabalho é fundamental para o avanço da ética em IA por várias razões:

• Mudança de Paradigma: Desloca o foco da justiça apenas para o "resultado" (quem foi aprovado/reprovado) para o "processo" (como a decisão foi tomada), alinhando-se melhor com princípios legais e filosóficos de justiça.
• Ferramenta Prática: Oferece uma ferramenta técnica (GPFFAE) que reguladores e desenvolvedores podem usar para auditar não apenas o viés nos resultados, mas a transparência e equidade dos algoritmos internos.
• Viabilidade Técnica: Demonstra que é possível melhorar a justiça procedural sem comprometer severamente a utilidade do modelo, oferecendo caminhos práticos para conformidade com regulamentações emergentes (como o AI Act da UE).
• Base para Futuras Pesquisas: Abre caminho para a integração de métricas procedurais no treinamento de modelos e para a aplicação em tarefas sequenciais e séries temporais.

Em resumo, o artigo preenche uma lacuna crítica na literatura de ML, fornecendo definições, métricas e soluções práticas para garantir que os modelos de IA não apenas produzam resultados justos, mas que o caminho para chegar a esses resultados seja também justo e transparente.