Measuring Perceptions of Fairness in AI Systems: The Effects of Infra-marginality

Este estudo demonstra que as percepções humanas de justiça em sistemas de IA são moldadas não apenas pelos resultados, mas também pelas crenças sobre as causas das disparidades, como a infra-marginalidade, indicando que métricas de justiça algorítmica devem considerar o contexto distribucional para alinhar-se às expectativas humanas.

O essencial

Imagine que você é o juiz de uma competição de culinária. Você tem dois chefs: o Chef A e o Chef B.

O objetivo é ver quem faz o melhor prato. Mas aqui está o problema: o Chef A trabalha numa cozinha gigante, cheia de ingredientes frescos e ferramentas modernas. O Chef B trabalha numa cozinha pequena, com poucos ingredientes e panelas velhas.

Agora, imagine que você precisa decidir quem ganhou. A maioria das pessoas diria: "Ah, o Chef A tem mais chances porque tem mais recursos!". Mas e se o sistema de justiça (ou o algoritmo de IA) dissesse: "Não importa a cozinha, vocês dois têm que ter a mesma pontuação final, ou então é injusto"?

Isso é basicamente o que este artigo de pesquisa da MIT (Instituto de Tecnologia de Massachusetts) discute, mas com um nome complicado: Infra-marginalidade.

Vamos traduzir isso para a vida real, usando analogias simples.

1. O Problema: "Igualdade Cega" vs. "Realidade"

Na inteligência artificial (IA), os cientistas criam regras para garantir que os computadores não sejam preconceituosos. A regra mais comum é a Paridade Estatística: "Se o computador erra 10 vezes com o Grupo X, ele não pode errar mais do que 10 vezes com o Grupo Y".

Parece justo, certo? Todo mundo quer que o erro seja igual.

Mas o artigo diz que isso pode ser uma armadilha.

A "infra-marginalidade" é como se fosse o terreno de corrida.

• Se o Grupo A corre numa pista de asfalto liso (dados abundantes e fáceis) e o Grupo B corre numa pista de lama (dados escassos ou difíceis), é impossível que eles tenham o mesmo tempo de corrida, mesmo que o carro (o algoritmo) seja o mesmo.
• Se você forçar o carro a dar o mesmo tempo para os dois, você pode estar punindo o Grupo B (que está na lama) ou favorecendo injustamente o Grupo A.

2. O Experimento: A Consulta Médica

Os pesquisadores fizeram um estudo com 85 pessoas. Eles criaram um cenário imaginário: um hospital usando uma IA para detectar câncer em duas raças diferentes (Vamos chamar de Raça A e Raça B).

Eles mostraram às pessoas três cenários diferentes e perguntaram: "Qual sistema é mais justo?"

• Cenário 1 (Sem informações): As pessoas não sabiam se os grupos eram diferentes.
  • Resultado: As pessoas queriam que a IA errasse a mesma quantidade para os dois. "Igualdade total!"
• Cenário 2 (Com informações): As pessoas sabiam que a Raça A tinha dados muito melhores e era mais fácil de diagnosticar, enquanto a Raça B tinha dados ruins e era mais difícil.
  • Resultado: As pessoas mudaram de ideia! Elas acharam mais justo se a IA mantivesse a diferença de desempenho. Ou seja, se a Raça A fosse diagnosticada com 90% de precisão e a Raça B com 80% (porque era mais difícil), as pessoas acharam justo que a IA respeitasse essa diferença.

3. A Grande Descoberta: O "Porquê" Importa Mais que o "O Quê"

Aqui está a parte mais importante, explicada com uma metáfora de jardins:

Imagine dois jardineiros.

• Jardineiro 1 tem terra fértil, muita água e sol.
• Jardineiro 2 tem terra seca e pouca água.

Se o Jardineiro 1 planta flores e elas crescem lindas, e o Jardineiro 2 planta e elas murcham, quem é o culpado?

• Se você disser: "O Jardineiro 2 é ruim", você está ignorando a terra seca.
• Se você disser: "Vamos forçar o Jardineiro 2 a ter flores lindas como o 1, mesmo sem água", você está criando uma expectativa impossível.

O estudo mostrou que as pessoas entendem isso intuitivamente:

1. Se a diferença vem da "terra" (dados reais, dificuldade do problema): As pessoas acham justo que o resultado seja diferente. Elas entendem que é impossível ter a mesma precisão em situações desiguais.
2. Se a diferença vem do "jardineiro" (viés, preconceito, coleta de dados ruim): As pessoas acham injusto.

4. Por que isso importa para você?

Hoje, algoritmos decidem quem consegue um empréstimo, quem é contratado para um emprego ou quem vai para a prisão.

Os cientistas de dados muitas vezes tentam "forçar" a igualdade estatística (fazer com que o erro seja igual para todos). Mas este artigo diz: Cuidado!

Se você forçar a igualdade em um mundo onde as realidades são diferentes (como a diferença de riqueza, educação ou acesso a saúde), você pode acabar criando uma injustiça maior.

• Exemplo real: Se um sistema de justiça criminal ignora que um grupo tem menos histórico de crimes registrados (porque a polícia nunca foi naquela região) e força o mesmo nível de "risco" para todos, ele pode prender inocentes apenas para "igualar os números".

Resumo em uma frase

A verdadeira justiça não é fazer com que todos tenham o mesmo resultado (como se todos corressem na mesma pista), mas sim entender por que os resultados são diferentes e garantir que a IA não esteja punindo alguém por causa de uma desvantagem que não é culpa dele.

As pessoas querem que a IA seja inteligente o suficiente para entender o contexto, não apenas uma calculadora que iguala números cegamente.

Resumo técnico

Título: Medindo Percepções de Justiça em Sistemas de IA: Os Efeitos da Infra-marginalidade

1. O Problema: Infra-marginalidade e Definições de Justiça

O artigo aborda um desafio fundamental na implementação de sistemas de aprendizado de máquina justos: o problema da infra-marginalidade.

• Contexto: Definições formais de justiça de grupo (como Demographic Parity ou Equalized Odds) frequentemente exigem que métricas estatísticas (ex: precisão, taxa de falsos positivos) sejam iguais entre grupos demográficos.
• O Conflito: Em cenários do mundo real, os grupos frequentemente possuem distribuições de dados subjacentes diferentes (diferentes "taxas base" ou base rates). Por exemplo, a prevalência de uma doença ou a taxa de reincidência criminal pode variar naturalmente entre grupos.
• A Questão Central: Quando um modelo é treinado em dados com distribuições desiguais, métricas de justiça podem divergir entre os grupos mesmo que o modelo seja imparcial. Forçar a paridade estatística nesses casos pode levar a decisões injustas (ex: liberar indivíduos de alto risco ou negar benefícios a indivíduos de baixo risco).
• Lacuna de Pesquisa: Existe uma desconexão entre as definições técnicas de justiça (que buscam igualdade estatística) e as percepções humanas sobre o que é justo. A literatura carece de estudos empíricos sobre como os usuários interpretam disparidades quando elas são causadas por diferenças legítimas de distribuição versus viés algorítmico.

2. Metodologia: Estudo de Usuário

Os autores conduziram um estudo de usuário online para investigar como a consciência da infra-marginalidade molda as percepções de justiça.

• Participantes: 85 participantes recrutados (majoritariamente com formação em ciência da computação ou dados, para garantir compreensão dos conceitos técnicos).
• Cenário: Um sistema hipotético de IA para previsão de câncer, treinado em dois grupos raciais fictícios (Raça A e Raça B).
• Desenho Experimental (Fatores de Tratamento):
  1. Desempenho Específico do Grupo: Os participantes foram informados sobre a precisão de modelos treinados separadamente para cada grupo. Foram testadas 7 instâncias:
     • Sem informação.
     • Desempenho igual (ex: 90%/90% ou 70%/70%).
     • Desempenho desigual (diferença de 10% entre os grupos, em ambas as direções).
  2. Disponibilidade de Dados de Treinamento: A quantidade relativa de dados disponíveis para cada grupo foi variada (Sem informação, Igual, Raça A com 3x mais dados, Raça A com 20x mais dados).
• Tarefa: Para cada cenário, os participantes avaliaram a justiça de três opções de modelos finais em uma escala Likert de 7 pontos:
  • Opção 1 (Paridade Máxima): O modelo iguala o desempenho ao do grupo de melhor desempenho (maximiza a precisão global, mas ignora a dificuldade inerente do outro grupo).
  • Opção 2 (Paridade Média): O modelo iguala o desempenho à média dos dois grupos (compromisso).
  • Opção 3 (Preservação de Disparidades): O modelo preserva as diferenças de desempenho observadas nos grupos específicos (refletindo as diferenças de distribuição subjacentes).

3. Resultados Principais

Os resultados revelaram que as percepções de justiça são altamente dependentes do contexto e da causalidade percebida das disparidades.

• Ausência ou Igualdade de Desempenho: Quando as informações sobre desempenho específico do grupo não eram fornecidas ou quando os grupos tinham desempenho igual, os participantes preferiram consistentemente os modelos que igualavam os resultados (Opções 1 e 2), alinhando-se com definições tradicionais de justiça de grupo.
• Presença de Disparidades (Efeito da Infra-marginalidade): Quando as diferenças de desempenho eram visíveis, os participantes tenderam a favorecer a Opção 3 (preservar as diferenças). Eles julgaram que, se as disparidades refletiam diferenças legítimas na dificuldade da tarefa ou na distribuição de dados, forçar a paridade seria injusto.
• Papel dos Dados de Treinamento:
  • Os participantes integraram informações sobre a disponibilidade de dados em seus julgamentos.
  • Disparidades foram consideradas mais aceitáveis quando atribuídas a dificuldade inerente da tarefa (refletindo taxas base diferentes) do que quando atribuídas a coleta de dados enviesada ou desbalanceada.
  • Curiosamente, quando um grupo tinha melhor desempenho mas menos dados, isso foi visto como um resultado mais justificado (sugerindo alta eficiência ou dificuldade extrema do outro grupo) do que quando o grupo com melhor desempenho tinha muito mais dados.
• Ancoragem e Referência: As decisões dos participantes não foram puramente utilitárias (maximizar o bem-estar global) nem baseadas apenas na igualdade absoluta. Houve um forte efeito de ancoragem: os participantes usaram o desempenho original dos grupos específicos como uma linha de base de referência. Mudanças que desviavam dessa linha de base sem justificativa clara eram vistas como injustas.

4. Contribuições Chave

1. Evidência Empírica sobre Infra-marginalidade: O estudo demonstra empiricamente que a paridade estatística não é universalmente percebida como justa. A "justiça" depende da compreensão das causas das disparidades.
2. Desconexão Métrica-Humana: Identifica uma lacuna crítica entre as métricas formais de justiça (que exigem igualdade) e as expectativas humanas (que aceitam desigualdades se forem explicadas por contextos distribucionais legítimos).
3. Implicações para o Design de Sistemas: Sugere que intervenções de justiça cegas (que forçam paridade sem considerar o contexto) podem ser contraproducentes, minando a confiança do usuário e a legitimidade social do sistema.
4. Abordagem Contextual: Propõe que a definição de justiça deve evoluir de uma busca cega por paridade para um framework que considere o contexto distribucional e a legitimidade das diferenças.

5. Significado e Implicações

Este trabalho é significativo porque desafia a premissa de que "igualdade estatística é sempre o objetivo final" em sistemas de IA.

• Para Pesquisadores e Engenheiros: Alerta que a aplicação de restrições de justiça (como Equalized Odds) sem análise profunda das distribuições de dados pode levar a resultados que os stakeholders humanos consideram injustos ou ilógicos.
• Para Políticas Públicas: Em áreas críticas como saúde, justiça criminal e empréstimos, impor paridade artificial pode prejudicar os próprios grupos que se pretende proteger (ex: negar tratamento a pacientes que têm menor probabilidade de resposta devido a fatores biológicos reais).
• Futuro da Pesquisa: Aponta para a necessidade de desenvolver métricas e frameworks de justiça que sejam sensíveis ao contexto, capazes de distinguir entre viés discriminatório e variação distribucional legítima, alinhando critérios técnicos com o raciocínio humano e a legitimidade social.

Em resumo, o artigo argumenta que a justiça algorítmica não pode ser resolvida apenas matematicamente; ela exige uma compreensão profunda das causas das disparidades nos dados e como os seres humanos interpretam essas causas.