Whose fairness? Structural concentration in AI bias research

Resumo Técnico: "De quem é a equidade? Concentração estrutural na pesquisa de viés em IA"

Problema
Embora o campo da Inteligência Artificial (IA) tenha desenvolvido metodologias extensas para medir e mitigar o viés em domínios consequentes (saúde, direito, serviços públicos), a comunidade de pesquisa que produz essas definições de equidade, benchmarks e frameworks de mitigação nunca foi empiricamente caracterizada. Existe uma lacuna crítica na compreensão da composição estrutural desta comunidade. Os autores postulam que, se o panorama de pesquisa estiver geograficamente e institucionalmente concentrado, os padrões de equidade "universais" resultantes podem codificar pressupostos locais que falham em generalizar para populações e contextos socioculturais diversos. Isso levanta o risco de que estratégias de mitigação validadas em contextos estreitos sejam aplicadas de forma inapropriada globalmente, podendo perpetuar danos em regiões sub-representadas.

Metodologia
O estudo emprega uma análise de métodos mistos, bibliométrica e semântica, de um corpus de 692 publicações abrangendo onze anos (2015–2025), com um artigo seminal de 2012 retido para fins de impacto.

1. Construção do Corpus: Os artigos foram recuperados sistematicamente de bases de dados principais (IEEE Xplore, ACM Digital Library, Scopus, ScienceDirect, Engineering Village) e das atas do ACM FAccT. A busca utilizou sequências de palavras-chave centradas em "Viés" (Bias), "Tomada de decisão" (Decision-making) e "IA". O corpus foi suplementado via snowballing de citações e triagem de relevância manual.
2. Classificação Temática: Os artigos foram atribuídos manualmente a cinco domínios temáticos:
   • Equidade Geral e Mitigação de Viés (46,1%)
   • Modelos de Linguagem de Grande Escala (LLMs) e PLN (21,8%)
   • IA Clínica e de Saúde (16,6%)
   • Sistemas de Recomendação (10,0%)
   • Equidade Baseada em Grafos e Mitigação de Viés (5,5%)
3. Análise Quantitativa:
   • Métricas Geográficas/Institucionais: Os autores calcularam contagens de autores únicos (todos os autores e primeiro autor) e afiliações institucionais. Computaram coeficientes de Gini para medir a concentração (0 = igualdade perfeita, 1 = concentração máxima) tanto para países quanto para instituições.
   • Redes de Colaboração: Uma rede de coautoria de 2.502 autores foi reconstruída para analisar padrões de colaboração regional.
   • Dinâmica de Citação: Contagens globais de citações (de OpenAlex) e citações internas do corpus foram analisadas. Testes estatísticos não paramétricos (Kruskal-Wallis, pós-teste de Dunn, correlação de postos de Spearman) foram utilizados devido às distribuições de citação enviesadas.
4. Agrupamento Semântico:
   • Os resumos foram codificados usando Sentence-BERT (avaliando os modelos MPNet, MiniLM e SPECTER). O MPNet foi selecionado com base no maior coeficiente de silhueta (0,2564).
   • A redução de dimensionalidade foi realizada via UMAP (Uniform Manifold Approximation and Projection).
   • O agrupamento foi executado usando HDBSCAN (Hierarchical Density-Based Spatial Clustering of Applications with Noise) na projeção UMAP 2D. A configuração (min_cluster_size=20, min_samples=10) gerou quatro clusters semanticamente coerentes.
   • O alinhamento entre os clusters automatizados e os rótulos de domínio manuais foi validado usando o Índice de Rand Ajustado (ARI) e a Informação Mútua Normalizada (NMI).

Principais Resultados

• Concentração Estrutural: O campo é altamente concentrado. Os Estados Unidos dominam a produção, contribuindo com 48,7% dos artigos de primeiro autor e liderando em todos os domínios. O coeficiente de Gini para artigos de primeiro autor entre 52 países é de 0,7842, indicando desigualdade extrema.
• Liderança Específica por Domínio:
  • Equidade Geral e Mitigação de Viés: Este domínio fundamental é o mais concentrado, com os EUA respondendo por 58,3% das publicações de primeiro autor. Isso é crítico porque este domínio fornece as definições e os benchmarks adotados por outras áreas de aplicação.
  • IA Clínica e de Saúde: Este é o domínio mais equilibrado internacionalmente, com contribuições significativas do Canadá, Reino Unido, Alemanha e China ao lado dos EUA.
  • LLMs e PLN: A China é a segunda maior contribuidora aqui (17,2% de primeiro autor), refletindo um foco em IA técnica e generativa em vez de teoria fundamental de equidade.
  • Equidade Baseada em Grafos: Altamente concentrada em duas instituições (Universidade de Virgínia e Oxford), respondendo por 75% da produção de primeiro autor.
• Redes de Colaboração: A colaboração é predominantemente intra-Ocidental (EUA, Reino Unido, Canadá, Alemanha). O Sul Global (incluindo Sul da Ásia, África e América Latina) está amplamente ausente da rede de coautoria. A Índia, apesar de sua grande força de trabalho técnica, permanece sub-representada nas estruturas de colaboração.
• Dinâmica de Citação: O impacto das citações é altamente enviesado (mediana = 9; média = 93,5). Não há correlação significativa entre o volume de publicação de um país e seu impacto de citação mediana ($\rho = 0,073$). Embora os EUA liderem em volume, países como Canadá e Reino Unido apresentam medianas de citações por artigo mais altas.
• Estrutura Semântica: O agrupamento semântico (HDBSCAN) produziu quatro clusters que se alinham amplamente com os domínios manuais. A "Equidade Geral" aparece em todos os quatro clusters, confirmando sua natureza transversal. A "Equidade Baseada em Grafos" está espalhada pelos clusters, funcionando mais como uma lente metodológica do que como um domínio de aplicação distinto.

Principais Contribuições

1. Caracterização Empírica: O artigo fornece a primeira análise estrutural abrangente da comunidade de pesquisa de viés em IA, movendo a questão de "quem molda a pesquisa de viés em IA" da suposição para a medição.
2. Identificação de Risco Epistêmico: Demonstra que a "camada fundamental" do campo (Equidade Geral) é a mais geograficamente concentrada. Isso sugere que as definições de equidade e os frameworks de mitigação usados globalmente são desproporcionalmente moldados por um conjunto restrito de instituições centradas nos EUA.
3. Atlas Interativo: Os autores lançaram um atlas dinâmico e interativo (https://biasatlas.cair-nepal.org) para permitir o monitoramento contínuo da evolução estrutural do campo, participação geográfica e padrões de citação.
4. Framework Metodológico: O estudo estabelece um pipeline reproduzível combinando bibliometria com agrupamento semântico (UMAP + HDBSCAN) para mapear paisagens de pesquisa.

Significância e Alegações
O artigo argumenta que a concentração estrutural da pesquisa de viés em IA não é meramente uma questão de representação, mas uma questão epistêmica. Como as definições fundamentais e os benchmarks são produzidos dentro de um conjunto estreito de contextos ocidentais, há o risco de que esses padrões "universais" codifiquem pressupostos culturais e institucionais locais.

Os autores alegam que:

• Métodos de mitigação desenvolvidos e validados em contextos concentrados podem não se generalizar para todas as populações, particularmente para aquelas no Sul Global.
• A dominância das instituições dos EUA no domínio da "Equidade Geral" significa que as bases metodológicas do campo são moldadas por um conjunto limitado de prioridades, potencialmente negligenciando danos relevantes para contextos socioculturais sub-representados.
• O desacoplamento entre o volume de publicação e o impacto de citação sugere que a influência não é apenas uma função da quantidade de produção, mas que os produtores de alto volume (como os EUA) exercem influência através da definição de agendas e centralidade institucional.

O artigo conclui que abordar o viés em IA requer ampliar não apenas os métodos técnicos, mas as comunidades que os produzem. Ele clama por uma validação externa mais forte em contextos sub-representados e por uma maior capacidade de colaboração em regiões atualmente fracamente representadas no discurso de pesquisa. Os autores explicitamente mencionam limitações, reconhecendo que seu corpus é extraído de bases de dados indexadas no Norte Global e em língua inglesa, o que pode sub-representar pesquisas publicadas em outros idiomas ou veículos regionais, embora argumentem que isso provavelmente reflete a magnitude do desequilíbrio em vez de reverter sua direção.