Laissez-Faire Harms: Algorithmic Biases in Generative Language Models

Resumo Técnico: Danos do Laissez-Faire: Vieses Algorítmicos em Modelos de Linguagem Generativos

Declaração do Problema
A rápida implantação de modelos de linguagem (MLs) generativos em contextos de consumo não mediados — que vão desde tutoria educacional até intimidade artificial — suscitou preocupações quanto a danos socio-psicológicos, particularmente para grupos minorizados. Embora a literatura existente sobre viés algorítmico utilize principalmente "prompting explícito de identidade" (por exemplo, "A mulher negra trabalha como..."), essa abordagem falha em capturar a discriminação que ocorre em usos naturais e abertos, onde termos de identidade não são especificados. Além disso, estudos anteriores sobre prompting aberto frequentemente carecem de fundamentação em danos ao consumidor final, confiando em vez disso em análise automatizada de sentimentos ou detecção de toxicidade que podem não refletir os mecanismos sutis do dano representacional. Este estudo aborda a lacuna na compreensão de como cinco MLs generativos pervasivos (ChatGPT 3.5, ChatGPT 4, Claude 2.0, Llama 2 e PaLM 2) perpetuam vieses contra identidades interseccionais (raça, gênero e orientação sexual) em cenários de "laissez-faire", onde os modelos são livres para escolher atributos de personagem sem restrições explícitas do usuário.

Metodologia
Os pesquisadores conduziram uma auditoria em grande escala gerando 500.000 textos sintéticos em cinco modelos. O desenho experimental utilizou 100 prompts únicos e abertos abrangendo três domínios da vida social dos EUA: Aprendizagem (interações no ensino fundamental, médio e superior), Trabalho (interações no local de trabalho em 15 ocupações) e Amor (relacionamentos interpessoais).

• Design do Prompt: Os prompts foram categorizados em duas condições: Neutro de Poder (por exemplo, um aluno se destacando em uma aula) e Carregado de Poder (por exemplo, um aluno estrela orientando um aluno com dificuldades, introduzindo uma dinâmica dominante/subordinada). Todos os prompts utilizaram o termo coloquial "americano" para refletir contextos dos EUA sem especificar raça, gênero ou orientação sexual.
• Modelagem de Identidade:
  • Gênero/Orientação Sexual: O estudo mapeou pistas textuais (pronomes, títulos, referências) para três categorias de gênero (Não binário, Feminizado, Masculinizado) e seis pares de relacionamento que implicam orientação sexual.
  • Raça: A raça foi modelada usando contagem fracionada baseada em nomes próprios. Os autores utilizaram Dados de Registro Eleitoral da Flórida (2017/2022) para raça auto-declarada e suplementaram isso com mapeamentos de país de origem baseados na Wikipedia para grupos do Oriente Médio/Norte da África (MENA) e Nativos Havaianos/Pacificos Insulares (NH/PI), que estavam sub-representados em conjuntos de dados eleitorais padrão.
• Extração Automatizada: Um modelo de resolução de coreferência ajustado (ChatGPT 3.5) foi empregado para extrair nomes e referências de gênero das 500.000 histórias, alcançando alta precisão (>98%) e recall (>97%) após calibração manual para grupos sub-representados, como identidades não binárias.
• Métricas:
  • Danos de Omissão: Medidos via Razão de Representação ($R_{rep}$), comparando a proporção de um demográfico nas saídas do ML com as linhas de base do Censo dos EUA.
  • Danos de Subordinação: Medidos via Razão de Subordinação ($R_{sub}$), calculando a probabilidade de um demográfico aparecer em um papel subordinado versus um papel dominante em prompts carregados de poder.
  • Danos de Estereotipagem: Uma análise crítica qualitativa de um subconjunto de textos para identificar tropos narrativos recorrentes (por exemplo, "Salvador Branco", "Estrangeiro Perpetuo", "Bom Selvagem").

Principais Contribuições

1. Quadro de Laissez-Faire: O estudo introduz o conceito de "danos do laissez-faire", demonstrando que o viés persiste e frequentemente se intensifica mesmo quando os usuários não solicitam explicitamente conteúdo baseado em identidade.
2. Análise Interseccional: Diferentemente de trabalhos anteriores que frequentemente agregam raça ou gênero, este estudo analisa a interseção de raça, gênero e orientação sexual, incluindo populações de "N-pequeno" (por exemplo, NH/PI, AI/AN, não binário) frequentemente excluídas de auditorias de viés.
3. Quantificação da Subordinação: Os autores fornecem evidências empíricas de que identidades minorizadas não são meramente omitidas, mas são desproporcionalmente lançadas em papéis subordinados (por exemplo, alunos com dificuldades, pacientes, clientes) em comparação com contrapartes brancas, com razões atingindo milhares.
4. Mecanismo Qualitativo: O artigo vincula a subordinação quantitativa a estereótipos linguísticos específicos (por exemplo, o tropo do "Estrangeiro Perpetuo" justificando a necessidade de mentoria branca), oferecendo um mecanismo de como esses vieses ativam a ameaça de estereótipo em consumidores.

Resultados

• Omissão: Em cenários neutros de poder, personagens brancos foram significativamente super-representados (razão mediana >1,25), enquanto grupos minorizados foram sub-representados. Personagens não binários apareceram em menos de 0,5% das histórias (exceto no ChatGPT 3.5), e relacionamentos não heterossexuais foram retratados em menos de 3% das histórias.
• Subordinação: Quando dinâmicas de poder foram introduzidas, a disparidade ampliou drasticamente. Personagens minorizados foram centenas a milhares de vezes mais propensos a serem retratados em papéis subordinados do que dominantes. Por exemplo, no domínio da Aprendizagem, alunos masculinizados latinos foram 1.308 vezes mais propensos a serem subordinados do que dominantes nas saídas do Claude 2.0. Personagens brancos, inversamente, foram esmagadoramente lançados em papéis dominantes (por exemplo, "aluno estrela", "mentor").
• Estereotipagem: A análise qualitativa revelou estereótipos pervasivos:
  • Estrangeiro Perpetuo: Personagens MENA, asiáticas e latinas foram frequentemente retratadas como imigrantes ou estrangeiros lutando com língua/cultura, necessitando de mentoria branca para ter sucesso.
  • Salvador Branco: Personagens brancas foram consistentemente posicionadas como agentes de mudança, paciência e caridade, enquanto personagens minorizadas foram retratadas como indefesas ou necessitando de resgate.
  • Bom Selvagem/Fixado no Tempo: Personagens indígenas foram frequentemente retratadas vivendo em ambientes remotos e pré-modernos ou ensinando hobbies "antigos", apagando sua presença na sociedade moderna.
  • Queer/Não binário: Essas personagens foram frequentemente retratadas em narrativas de sem-teto, trauma ou dependência financeira, frequentemente servindo como dispositivos de enredo para destacar a benevolência de um protagonista branco e heterossexual.

Significado e Alegações
O artigo alega que os MLs generativos não estão meramente refletindo vieses sociais, mas sim amplificando-os ativamente através da geração "laissez-faire", criando um ciclo de retroalimentação que reforça estruturas de poder hegemônicas. Os autores argumentam que esses danos são distintos de preocupações com "segurança da IA" (frequentemente focadas em atores maliciosos ou risco existencial) e constituem uma questão fundamental de direitos humanos para consumidores desprevenidos.

O estudo afirma que a escala desses danos — onde indivíduos minorizados são milhares de vezes mais propensos a encontrar representações subordinadas — representa uma ameaça direta ao bem-estar psicológico ao ativar a ameaça de estereótipo e reforçar a auto-percepção negativa. Os autores concluem que as atuais autoauditorias e abordagens de "red-teaming" são insuficientes porque falham em contabilizar esses vieses sutis e abertos. Eles apelam para:

1. Abordagens interseccionais e sociotécnicas para políticas que abordem lacunas estruturais no desenvolvimento de IA.
2. Maior transparência por parte dos desenvolvedores em relação aos dados de treinamento e arquiteturas de modelos.
3. Programas de educação crítica em IA para capacitar consumidores diversos a reconhecer e mitigar esses danos.

Os autores lançam seu "Conjunto de Dados de Prompts Laissez-Faire" para facilitar auditorias e pesquisas futuras, enfatizando a necessidade de estudos globais e culturalmente relevantes além do contexto dos EUA.