Fairness May Backfire: When Leveling-Down Occurs in Fair Machine Learning

Este artigo demonstra que, embora a aplicação de restrições de justiça em modelos de aprendizado de máquina que utilizam atributos sensíveis sempre melhore (ou não altere) os resultados do grupo desfavorecido, a imposição de justiça em regimes que ignoram esses atributos pode levar a um "nivelamento por baixo", prejudicando ambos os grupos dependendo da distribuição dos dados.

O essencial

Imagine que você é o gerente de um grande banco de talentos ou de empréstimos. Você tem um algoritmo (um "robô" inteligente) que ajuda a decidir quem recebe um empréstimo ou quem é contratado para um emprego. O objetivo é ser justo, certo?

Mas a pergunta que este artigo faz é: Será que tentar ser justo sempre melhora a vida das pessoas que mais precisam, ou pode, sem querer, piorar a situação de todos?

Os autores chamam esse fenômeno de "Nivelamento por Baixo" (Leveling Down). É como se, para garantir que ninguém ganhasse muito, o robô decidisse cortar os benefícios de todos, deixando até os mais merecedores em uma situação pior.

O artigo explora como isso acontece dependendo de uma regra muito importante: O robô sabe ou não sabe a "identidade" (raça, gênero, etc.) das pessoas?

Vamos dividir a explicação em dois cenários, usando analogias simples:

Cenário 1: O Robô "Vidente" (Sabe a Identidade)

Situação: O robô pode ver a raça ou o gênero da pessoa antes de tomar a decisão. (Isso é permitido em alguns lugares, como em diagnósticos médicos onde a biologia importa).

• A Analogia: Imagine que o robô tem duas filas separadas: uma para o "Grupo A" e outra para o "Grupo B". O Grupo A sempre foi favorecido pelo sistema antigo.
• O que acontece quando tentamos ser justos?
  O robô ajusta as regras de cada fila separadamente.
  • Para o Grupo A (o favorecido), ele levanta a barra de entrada. Agora, é mais difícil entrar.
  • Para o Grupo B (o desfavorecido), ele abaixa a barra. Agora, é mais fácil entrar.
• O Resultado:
  • O Grupo B ganha mais oportunidades (o que era o objetivo).
  • O Grupo A perde um pouco de acesso (o que é esperado para corrigir a injustiça).
  • Conclusão: Ninguém sai perdendo absolutamente em relação ao outro grupo de forma catastrófica. O Grupo B sobe, o Grupo A desce um pouco. É um "nivelamento" que funciona como esperado.

Cenário 2: O Robô "Cego" (Não Sabe a Identidade)

Situação: Por lei (como em muitos bancos e empregos), o robô não pode ver a raça ou o gênero. Ele só vê o currículo, o histórico de crédito, etc. (Isso é chamado de "Cegueira de Atributo").

• A Analogia: Agora, o robô tem apenas uma única fila gigante. Ele não sabe quem é de qual grupo. Ele só vê as características da pessoa (ex: "tem um bom histórico de pagamentos").

• O Problema Oculto:
  Aqui entra o conceito de "Candidatos Mascaramentados".
  Imagine que o Grupo B tem muitas pessoas muito qualificadas que, por acaso, têm um histórico de crédito um pouco diferente do padrão do Grupo A. Como o robô não sabe que elas são do Grupo B, ele as trata apenas pelo que vê no papel.
  Para ser justo, o robô precisa ajustar a "barra" de entrada baseada em padrões estatísticos. Mas, como ele não vê a identidade, ele pode acabar:

  1. Rejeitando pessoas do Grupo A que eram boas, mas que se parecem com o padrão do Grupo B.
  2. Aceitando pessoas do Grupo B que eram boas, mas que se parecem com o padrão do Grupo A.
     Ou o contrário!

• O Resultado Surpreendente (O "Nivelamento por Baixo"):
  Dependendo de como os dados estão misturados, tentar ser justo pode levar a dois resultados estranhos:

  • Cenário A (Pior para todos): O robô, tentando corrigir o desequilíbrio, levanta a barra para todos. Resultado: O Grupo A perde oportunidades e o Grupo B também perde oportunidades. Ninguém ganha, todos saem perdendo. Isso é o Nivelamento por Baixo.
  • Cenário B (Melhor para todos): O robô abaixa a barra para todos. Ambos os grupos ganham mais oportunidades. Isso é o Nivelamento por Cima.

A Lição Principal

O artigo nos ensina que:

1. Saber a identidade ajuda a ser justo de forma previsível: Se o robô pode ver quem é quem, ele pode garantir que o grupo desfavorecido ganhe e o grupo favorecido perca um pouco, sem prejudicar ninguém de forma inesperada.
2. A "cegueira" pode ser perigosa: Quando tentamos ser justos sem ver a identidade (o que é comum por lei), o resultado depende totalmente de como os dados estão misturados.
   • Se os dados estiverem "embaralhados" de um jeito específico, a justiça pode acabar piorando a vida do grupo que queríamos ajudar, ao mesmo tempo que prejudica o outro grupo.
   • É como tentar equilibrar uma balança olhando apenas para o peso dos objetos, sem saber de quem eles são. Você pode acabar jogando objetos fora de ambos os lados para tentar equilibrar, deixando a balança vazia.

Resumo Final:
Tentar ser justo é sempre bom, mas a forma como fazemos isso importa muito. Se ignorarmos a identidade das pessoas (cegueira), podemos acabar criando um sistema onde, para garantir a igualdade estatística, acabamos prejudicando a todos, em vez de ajudar os que precisam. A justiça algorítmica não é mágica; ela precisa ser desenhada com cuidado para evitar o "Nivelamento por Baixo".

Resumo técnico

Resumo Técnico: Equidade em Machine Learning e o Risco de "Leveling-Down"

1. Problema Investigado

O artigo aborda uma questão fundamental no campo do Fair Machine Learning (ML Justo): quando a imposição de restrições de equidade realmente melhora os resultados para grupos desfavorecidos e quando, ao contrário, leva a um fenômeno de "leveling down" (nivelamento por baixo)?

O "leveling down" ocorre quando a busca pela equidade resulta na piora dos resultados para um ou ambos os grupos (favorecido e desfavorecido), em vez de apenas redistribuir benefícios. A literatura empírica recente sugere que a aplicação prática de noções de equidade frequentemente leva a esse resultado indesejado, mas falta uma compreensão teórica sobre quando e por que isso ocorre sistematicamente. O artigo busca distinguir entre artefatos de amostragem finita e efeitos intrínsecos das restrições de equidade.

2. Metodologia e Framework Teórico

Os autores adotam uma abordagem teórica unificada baseada em classificadores de Bayes-ótimos em nível populacional.

• Abordagem Livre de Distribuição e Agnóstica a Algoritmos: Ao focar no classificador de Bayes-ótimo (o limite teórico de desempenho mínimo de risco), o estudo isola os efeitos intrínsecos das restrições de equidade, eliminando o ruído de amostras finitas e escolhas específicas de implementação algorítmica (como tipos de intervenção ou procedimentos de treinamento).
• Dois Regimes de Implantação: O estudo contrasta dois cenários legais e operacionais distintos:
  1. Regime Consciente de Atributos (Attribute-Aware): O atributo sensível (ex: raça, gênero) está disponível no momento da decisão e pode ser usado na predição.
  2. Regime Cego a Atributos (Attribute-Blind): O atributo sensível é proibido ou indisponível no momento da decisão (comum em leis como a Equal Credit Opportunity Act ou GDPR). As predições dependem apenas de características não sensíveis ($X$).
• Notações de Equidade: Analisam três noções comuns de equidade de grupo:
  • Paridade Demográfica (DP).
  • Igualdade de Oportunidade (EO).
  • Igualdade Preditiva (PE).
• Métricas de Desempenho: Avaliam o impacto nas taxas de seleção condicional à noção (NTR - Notion-Target Rate) e na precisão do grupo (qualidade dos candidatos selecionados).

3. Principais Contribuições

1. Framework Teórico Estrutural: Fornecem uma caracterização teórica livre de distribuição sobre como o ML justo afeta os resultados dos grupos, separando o efeito da restrição de equidade de ruídos de implementação.
2. Contraste entre Regimes de Implantação: Demonstram teoricamente que o mecanismo de impacto da equidade é fundamentalmente diferente dependendo se o atributo sensível é observado ou não.
3. Identificação do "Leveling-Down": Mapeiam as condições exatas sob as quais a equidade pode levar ao nivelamento por baixo (piora para ambos os grupos) ou nivelamento por cima (melhora para ambos), especialmente no regime cego.
4. Mecanismo dos Candidatos "Mascarados": No regime cego, identificam o papel crucial dos "candidatos mascarados" (indivíduos que parecem pertencer a um grupo baseado em $X$, mas pertencem ao outro) como o motor das dinâmicas de redistribuição complexas.

4. Resultados Principais

A. Regime Consciente de Atributos (Attribute-Aware)
Neste cenário, onde o atributo sensível $S$ é usado na decisão:

• Direção Determinística: A aplicação de equidade sempre (fracamente) melhora os resultados para o grupo desfavorecido e sempre (fracamente) piora os resultados para o grupo favorecido.
• Mecanismo: Ocorre uma redistribuição de decisões via deslocamento de limiares específicos por grupo. O limiar para o grupo favorecido aumenta (reduzindo a seleção), enquanto o limiar para o grupo desfavorecido diminui (aumentando a seleção).
• Precisão: Embora a taxa de seleção do grupo desfavorecido aumente, a precisão (qualidade dos selecionados) desse grupo tende a diminuir, pois candidatos menos qualificados são incluídos. Para o grupo favorecido, a precisão aumenta, mas o acesso diminui.
• Conclusão: Neste regime, não há "leveling down" sistêmico; a equidade redistribui benefícios de forma previsível.

B. Regime Cego a Atributos (Attribute-Blind)
Neste cenário, onde a decisão depende apenas de $X$:

• Dependência da Distribuição: O impacto da equidade não é determinístico e depende inteiramente da distribuição dos dados. A equidade pode beneficiar ou prejudicar qualquer grupo, ou mover ambos na mesma direção.
• Fenômeno de "Leveling-Down" e "Leveling-Up":
  • É possível que ambos os grupos vejam suas taxas de seleção diminuírem (Leveling-Down) ou aumentarem (Leveling-Up).
  • Isso ocorre porque a correção de equidade é aplicada no nível da característica $X$, não do grupo $S$.
• Mecanismo dos Candidatos Mascarados: Como $S$ não é observado, a correção de limiar baseada em $X$ afeta misturas de indivíduos de ambos os grupos.
  • Se a correção penalizar um subconjunto de $X$ onde há muitos membros do grupo desfavorecido "mascarados" (que parecem favorecidos por $X$), o grupo desfavorecido pode ser prejudicado.
  • Se a correção beneficiar um subconjunto onde há muitos membros do grupo favorecido "mascarados", o grupo favorecido pode se beneficiar.
• Condições Específicas: O artigo caracteriza matematicamente as condições (relacionadas à sobreposição das distribuições de $\eta(x)$ e $\nu_{DM}(x)$) que levam a:
  1. Redução simultânea das taxas de ambos os grupos.
  2. Aumento simultâneo das taxas de ambos os grupos.
  3. Movimentos em direções opostas (similar ao regime consciente).

5. Significado e Implicações

• Guia para Design e Implantação: Os resultados fornecem orientação estrutural para decisores. Se o atributo sensível pode ser usado legalmente (Regime Consciente), a equidade é uma ferramenta segura para melhorar o acesso do grupo desfavorecido, embora com custos de precisão.
• Risco no Regime Cego: Em cenários onde o uso de atributos sensíveis é proibido (Regime Cego), a busca cega por equidade pode ser contraproducente, levando a resultados piores para todos os envolvidos ("leveling down").
• Reavaliação de Políticas: O estudo sugere que a simples exclusão de atributos sensíveis (para evitar discriminação direta) pode, paradoxalmente, gerar discriminação indireta mais complexa e prejudicial devido à mistura de candidatos "mascarados".
• Escolha de Métricas: A precisão do grupo é uma métrica crítica; a equidade pode aumentar o volume de seleção do grupo desfavorecido, mas reduzir a qualidade média dos selecionados, o que pode causar danos reais (ex: inadimplência em empréstimos).

Em suma, o paper alerta que a equidade algorítmica não é um "bem" universal que sempre melhora os resultados; seu efeito é altamente contingente ao contexto de implantação (observabilidade do atributo) e à estrutura subjacente dos dados.