How Fair is Software Fairness Testing?

Título: How Fair is Software Fairness Testing?

Autores: Ann Barcomb, Mariana Pinheiro Bento, Giuseppe Destefanis, Sherlock Licorish, Cleyton Magalhães, Ronnie de Souza Santos e Mairieli Wessel.
Tipo de Artigo: Artigo de Visão (Vision Paper).

---

1. Problema Identificado

O artigo argumenta que o teste de justiça (fairness testing) em sistemas de IA, embora central para a avaliação de algoritmos, opera sob uma premissa fundamental falha: a de que o conceito de "justiça" é fixo, universal e culturalmente neutro. Os autores identificam três dimensões principais de viés e exclusão no estado atual da arte:

• Viés Cultural nas Métricas: As métricas de justiça atuais codificam valores culturais ocidentais (individualismo, categorias demográficas específicas, frameworks éticos ocidentais) e marginalizam outros sistemas de conhecimento. Ao validar sistemas como "justos" sob essas métricas, o processo legitima valores ocidentais como padrões universais, ignorando contextos coletivistas, tradições orais e comunidades não digitais.
• Exclusão em Conjuntos de Dados: Os conjuntos de dados de teste são predominantemente projetados a partir de contextos ocidentais. Sistemas de conhecimento baseados em línguas indígenas, tradições orais e comunidades não digitais são sistematicamente excluídos tanto dos dados de treinamento quanto dos frameworks de avaliação. Isso resulta em testes que não cobrem casos de uso reais para grandes parcelas da população global.
• Questões Éticas e Ambientais (Colonialismo de Dados): O processo de teste de justiça levanta preocupações éticas graves, incluindo a dependência de trabalhadores mal remunerados no Sul Global para rotulagem de dados e os custos ambientais desproporcionais do treinamento de modelos de grande escala, que afetam desproporcionalmente populações vulneráveis ao clima. O artigo sugere que o próprio ato de testar a justiça pode ser visto como uma forma de "colonialismo de dados", onde comunidades são exploradas para validar sistemas que podem ser intrinsecamente prejudiciais a seus valores ou meio ambiente.

2. Metodologia

Este é um artigo de visão, não um estudo empírico com experimentos de software ou análise de dados quantitativos. A metodologia baseia-se em:

• Análise Crítica e Reflexiva: Os autores examinam a literatura existente sobre teste de justiça, ética em IA e estudos pós-coloniais.
• Posicionamento Epistemológico: A equipe reconhece sua própria posição como pesquisadores do Norte Global (EUA, Europa, Nova Zelândia) atuando dentro da Ciência da Computação, utilizando essa perspectiva para criticar as práticas atuais e não para falar em nome de comunidades indígenas, mas para destacar suas exclusões.
• Estruturação em Três Dimensões: O problema é decomposto e analisado através de três lentes: (1) a decolonização das métricas e oráculos de teste; (2) a incorporação de perspectivas culturais nos conjuntos de dados; e (3) a análise das implicações ambientais e do colonialismo de dados.

3. Principais Contribuições

O artigo propõe uma reestruturação conceitual e prática do teste de justiça de software:

• Reenquadramento do Teste de Justiça: A justiça não deve ser tratada como uma métrica externa adicionada após o desenvolvimento do modelo, mas como uma prática de teste com seus próprios critérios de adequação, design de dados e oráculos, intrinsecamente situados culturalmente.
• Abordagem Descolonizada: Propõe que o teste de justiça deve ser "descolonizado", envolvendo comunidades sub-representadas na definição do que constitui justiça, na construção de casos de teste e na especificação de oráculos. Isso inclui aceitar conflitos de valores (ex.: transparência total vs. conhecimento culturalmente protegido) como parte do processo de teste, e não como anomalias.
• Novos Critérios de Adequação: Argumenta-se que a justiça não pode ser capturada apenas por métricas de erro ou distribuição estatística. O teste deve considerar experiências subjetivas, danos percebidos e o contexto de uso real (ex.: um erro trivial em métricas pode ser um microagressão na prática).
• Diretrizes para Pesquisa Futura: O artigo delineia cinco direções específicas para a comunidade de Engenharia de Software:
  1. Conjuntos de Dados Localizados: Criar datasets específicos para contextos culturais e nacionais (ex: KorNAT) para avaliar vieses locais.
  2. Diversidade Normativa: Desenvolver datasets que capturem desacordos culturais e múltiplas interpretações, evitando uma "única verdade".
  3. Avaliação em Nível de Sistema: Mover o foco do modelo isolado para o sistema sociotécnico mais amplo, avaliando impactos em pessoas que não interagem diretamente com o sistema.
  4. Abordagens Participativas e de Co-criação: Integrar grupos afetados não apenas como anotadores, mas como colaboradores na definição de justiça e no design dos testes (ex: usando pesquisa-ação).
  5. Adaptação de Modelos: Investigar métodos técnicos (como RAG e prompting culturalmente informado) para adaptar modelos treinados em um contexto para funcionarem adequadamente em outro.

4. Resultados e Conclusões

Como um artigo de visão, não apresenta "resultados" experimentais, mas sim conclusões teóricas e críticas:

• O teste de justiça atual, ao tentar detectar vieses, frequentemente reforça o viés ocidental ao apresentar valores específicos como universais.
• A validação de sistemas como "justos" sob métricas estreitas pode endossar a implantação global de sistemas que causam danos culturais sutis (ex: impor frameworks individualistas em sociedades coletivistas).
• Ignorar os custos ambientais e a exploração laboral no Sul Global torna o teste de justiça eticamente comprometido.
• A solução não é apenas melhorar as métricas, mas mudar o paradigma para frameworks de avaliação que respeitem a pluralidade cultural e reconheçam o "direito de recusar" a mediação algorítmica.

5. Significado e Impacto

O artigo é significativo porque desafia o consenso técnico na comunidade de Engenharia de Software e IA de que a justiça é um problema puramente matemático ou de otimização.

• Para a Engenharia de Software: Introduz a necessidade de tratar o teste de justiça como uma prática sociotécnica que requer diversidade epistemológica, não apenas diversidade de dados.
• Para a Ética em IA: Conecta a justiça algorítmica a questões mais amplas de colonialismo de dados, sustentabilidade ambiental e soberania de dados.
• Para a Pesquisa Futura: Abre um novo campo de investigação focado em como operacionalizar abordagens descoloniais, criar datasets culturalmente situados e integrar considerações ecológicas e laborais no ciclo de vida de desenvolvimento de software de IA.

Em suma, o paper conclui que a justiça no teste de software deve evoluir de uma prática baseada em métricas universais para uma prática co-criada, contextual e responsiva às realidades culturais, sociais e ecológicas diversas.