What Is the Point of Equality in Machine Learning Fairness? Beyond Equality of Opportunity

Este artigo argumenta que a fundamentação da justiça em machine learning apenas na igualdade distributiva é insuficiente, propondo uma estrutura multifacetada que integra a igualdade relacional para combater tanto os danos alocativos quanto os danos representacionais que perpetuam desigualdades estruturais.

O essencial

Imagine que a Inteligência Artificial (IA) é como um chef de cozinha muito talentoso, mas que aprendeu a cozinhar apenas observando um único restaurante antigo e cheio de preconceitos.

Este artigo, escrito pela pesquisadora Youjin Kong, pergunta: "Por que é errado quando esse chef serve pratos injustos?"

A maioria dos especialistas em IA hoje em dia foca apenas em uma coisa: a distribuição de ingredientes. Eles dizem: "Se o chef der a mesma quantidade de carne para todos os clientes, o prato está justo". Isso é o que chamam de Igualdade Distributiva. É como se o problema fosse apenas matemático: "Todos devem receber o mesmo tamanho de porção".

Mas a autora diz que essa visão está incompleta e pode até enganar. Ela argumenta que a justiça na IA não é só sobre quanto você recebe, mas sobre como você é tratado e quem você é visto como.

Aqui está a explicação simples, usando analogias:

1. O Problema da "Porção Igual" (Igualdade Distributiva)

Imagine que você e seu amigo vão a um restaurante. O garçom (a IA) serve a mesma quantidade de comida para os dois.

• A visão antiga: "Ótimo! A porção é igual. Tudo justo!"
• A visão da autora: Mas e se, enquanto serve, o garçom sussurra para o seu amigo: "Você é um bom cliente", mas para você diz: "Você é suspeito, não confie no prato"? Ou e se ele colocar seu prato em uma mesa suja e o do seu amigo em uma mesa limpa?

A "Igualdade Distributiva" foca apenas no tamanho da porção (o dinheiro, o emprego, o empréstimo). Ela ignora se a IA está humilhando ou escondendo certas pessoas.

2. O Problema do "Espelho Distorcido" (Danos Representacionais)

A IA não apenas distribui coisas; ela também cria imagens e histórias sobre quem somos. A autora chama isso de Danos Representacionais.
Imagine que a IA é um espelho mágico que mostra como a sociedade vê as pessoas.

• Se o espelho mostra sempre homens como CEOs e mulheres como enfermeiras, ele está estereotipando.
• Se o espelho não consegue reconhecer o rosto de uma mulher negra, ele está apagando (erasing) a existência dela.
• Se o espelho mostra pessoas de uma certa etnia sempre como criminosos, ele está dizendo que elas valem menos.

Isso é um dano relacional. Não é sobre você perder dinheiro (distribuição), é sobre você ser tratado como um "inferior" ou um "estrangeiro" na própria sociedade. A IA está dizendo: "Você não pertence aqui da mesma forma que os outros".

3. A Solução: O "Duplo Filtro" (Igualdade Relacional)

A autora propõe que precisamos de uma nova regra para a IA, que combine duas ideias:

1. Justiça na Distribuição: Garantir que todos tenham acesso às mesmas oportunidades (empregos, empréstimos).
2. Justiça Relacional: Garantir que todos sejam tratados como iguais em dignidade. Ninguém deve ser visto como "menos humano", "estereotipado" ou "invisível".

A Analogia do Clube:
Pense na sociedade como um clube.

• A Igualdade Distributiva garante que todos tenham o mesmo número de ingressos para entrar.
• A Igualdade Relacional garante que, uma vez dentro, ninguém seja tratado como um "segundo classe", ninguém seja ignorado pelos seguranças e ninguém seja zoado pelos outros membros.
  A IA atual muitas vezes dá o ingresso, mas trata a pessoa com desdém assim que ela entra. O artigo diz que precisamos consertar os dois.

4. Por que "Ajustes Técnicos" Simples Não Funcionam?

Muitos tentam consertar a IA apenas "balanceando os dados".

• Exemplo: Se a IA mostra muitos homens como médicos, os programadores tentam forçar a IA a mostrar 50% de mulheres.
• O problema: Isso é como tentar consertar um espelho quebrado apenas colando mais pedaços de vidro. Se a IA ainda pensa que "médico" é algo masculino por natureza, ela vai mostrar mulheres de forma estranha ou forçada.

A autora diz que não basta apenas mudar os números. Precisamos mudar a cultura e o processo de como a IA é feita.

5. Como Consertar de Verdade? (O Caminho Prático)

Para criar uma IA justa, não basta o programador trabalhar sozinho no computador. É preciso:

• Cozinhar com quem come: Envolver as comunidades marginalizadas (como pessoas negras, LGBTQIA+, mulheres) na criação dos dados. Não apenas usar seus dados, mas deixar que eles decidam como querem ser representados.
• Espelhar a realidade, não o preconceito: Ensinar os desenvolvedores e os usuários a questionar: "Por que essa IA está dizendo isso? Quem ela está ofendendo?"
• Transparência: Mostrar as "costuras" da máquina. Deixar claro que a IA tem vieses e não é uma verdade absoluta.
• Mudança Social: A IA reflete a sociedade. Se a sociedade é racista ou sexista, a IA será também. Consertar a IA exige também consertar a sociedade ao redor dela.

Resumo Final

Este artigo é um chamado para não tratar a "Justiça na IA" apenas como um problema de matemática ou de balancear números. É um problema humano e moral.

Uma IA verdadeiramente justa não é apenas aquela que distribui recursos igualmente, mas aquela que respeita a dignidade de todos, não estereotipa ninguém e trata cada pessoa como um igual, não como um "inferior" ou um "estrangeiro". É preciso olhar para o prato (o recurso) e também para o garçom (a relação).

Resumo técnico

Título: Qual é o Ponto da Igualdade na Justiça de Aprendizado de Máquina? Além da Igualdade de Oportunidades

1. O Problema

O campo da justiça em Aprendizado de Máquina (ML) tem evoluído rapidamente, focando principalmente no desenvolvimento de métricas estatísticas para medir viés (como paridade demográfica, paridade de erro e calibração). No entanto, a literatura predominante carece de uma fundamentação normativa robusta que explique por que o viés em ML é moralmente errado.
A maioria das pesquisas atuais baseia-se implicitamente na Igualdade Distributiva (DE), especificamente na Igualdade de Oportunidades (EOP). Essa abordagem vê a injustiça principalmente como uma distribuição desigual de benefícios e recursos (danos alocativos).
O problema central identificado pelo autor é: A dependência exclusiva da DE é incompleta e potencialmente enganosa, especialmente no contexto de modelos generativos de texto e imagem. A DE falha em explicar a natureza moralmente errada dos danos representacionais (como estereótipos, humilhação, apagamento e reificação de identidades), que reforçam hierarquias sociais e relações de superioridade/inferioridade, em vez de apenas distribuir recursos de forma desigual.

2. Metodologia

O artigo adota uma abordagem de filosofia normativa aplicada, integrando teorias da justiça social e política crítica com a literatura de ML.

• Análise Conceitual: O autor examina as definições atuais de justiça em ML (especialmente a obra de Barocas, Hardt e Narayanan - BHN) e as contrasta com teorias filosóficas de Iris Marion Young (injustiça estrutural), Elizabeth Anderson (igualdade relacional) e Nancy Fraser (redistribuição e reconhecimento).
• Taxonomia de Danos: O estudo categoriza os danos causados por sistemas de ML em duas formas principais:
  1. Danos Alocativos: Perda de oportunidades e perdas econômicas.
  2. Danos Representacionais: Estereótipos, desrespeito, apagamento e reificação de identidades.
• Crítica à Abordagem Técnica Atual: O autor analisa intervenções técnicas existentes (como fine-tuning, substituição de dados e remoção de termos) e demonstra como elas falham ao tratar danos relacionais como meros desequilíbrios distributivos.

3. Principais Contribuições

O artigo propõe um Framework Egalitário Multifacetado que integra duas concepções de igualdade:

1. Igualdade Distributiva (DE): Necessária para abordar danos alocativos (acesso desigual a recursos, empregos, crédito). A DE garante que benefícios e ônus sejam distribuídos equitativamente.
2. Igualdade Relacional (RE): Necessária para abordar danos representacionais. A RE foca em garantir que as pessoas se relacionem como iguais, sem hierarquias de estigma, dominação ou status inferior.
   • O autor argumenta que a DE não consegue capturar a injustiça de estereótipos ou apagamento, pois estes não são problemas de "distribuição de bens", mas de relações sociais e reconhecimento.
   • A RE identifica que danos representacionais reforçam hierarquias de estima (quem é respeitado), posição (cujos interesses são considerados) e dominação (quem tem poder de decisão).

Síntese do Framework:

• Justiça em ML não é apenas sobre distribuir recursos (DE), mas também sobre desmantelar estruturas que criam grupos "superiores" e "inferiores" (RE).
• O framework rejeita a dicotomia entre redistribuição e reconhecimento (Fraser), argumentando que ambos são dimensões inseparáveis da injustiça estrutural.

4. Resultados e Análise de Intervenções Técnicas

O autor demonstra que as soluções técnicas atuais para danos representacionais são insuficientes porque tentam resolver problemas relacionais através de lógica distributiva:

• Falha da "Igualdade de Representação": Tentar equilibrar estatísticas de saída (ex: 50% homens, 50% mulheres) trata o problema como um desequilíbrio de dados, ignorando o contexto histórico e estrutural.
• Exemplos de Limitações:
  • Substituição Simples: Trocar "homem" por "mulher" em estereótipos não aborda a racialização ou a estrutura de poder subjacente.
  • Remoção de Conteúdo: Remover termos negativos pode criar assimetrias (ex: modelos que se recusam a gerar histórias sobre pessoas muçulmanas, mas geram sobre outras), reforçando o estigma.
  • Diversidade sem Contexto: Gerar imagens diversas sem base histórica pode resultar em representações absurdas e desrespeitosas (ex: um Papa negro ou um soldado nazista asiático), minando a igualdade relacional.

Caminhos Práticos Propostos para Implementação:
Para operacionalizar o framework, o artigo sugere intervenções em todo o pipeline de ML, não apenas no modelo:

1. Coleta de Dados Participativa e Centrada na Comunidade: Envolver comunidades marginalizadas na criação de dados (ex: projeto Masakhane) para garantir que as realidades vividas sejam representadas, combatendo tanto danos alocativos quanto representacionais.
2. Reflexão Crítica de Praticantes e Usuários: Treinar desenvolvedores para antecipar danos e capacitar usuários a questionar as saídas do modelo (letramento digital crítico).
3. Design que Aumenta a Agência do Usuário: Utilizar estratégias como "design com costuras" (seamful design) para expor as limitações e vieses do sistema, e apresentar "contranarrativas" que desafiem os scripts dominantes.
4. Processo Iterativo e Mudança Social: Reconhecer que a justiça em ML requer feedback contínuo e mudanças sociais mais amplas, pois os sistemas de ML refletem e perpetuam desigualdades estruturais da sociedade.

5. Significado e Impacto

• Fundamentação Ética: O artigo fornece uma base ética mais robusta para a justiça em ML, explicando por que modelos que reforçam estereótipos são moralmente errados, mesmo que não causem perdas econômicas diretas.
• Superação do Reducionismo: Evita o reducionismo de tratar todos os problemas de justiça como problemas de distribuição de recursos, reconhecendo a especificidade dos danos de status e reconhecimento.
• Guia para Pesquisa e Prática: Oferece um roteiro claro para pesquisadores e engenheiros, indicando que a justiça não pode ser alcançada apenas com ajustes algorítmicos (métricas), mas exige mudanças nos processos de coleta de dados, design de sistemas e engajamento com as comunidades afetadas.
• Aplicação em Casos Reais: O framework permite uma análise mais profunda de casos como o do YouTube (onde o apagamento de vozes queer causa tanto perda de renda quanto estigma social), propondo soluções que combinam correção técnica com empoderamento comunitário.

Em resumo, o artigo argumenta que a justiça em ML exige uma abordagem dupla: garantir a distribuição equitativa de oportunidades (DE) e, simultaneamente, promover relações sociais de igualdade e respeito mútuo (RE), desafiando as estruturas de dominação e opressão embutidas nos sistemas sociotécnicos.