It's How You Ask: Gender-Associated Linguistic Bias in LLMs

Resumo Técnico: "É Como Você Pergunta: Viés Linguístico Associado ao Gênero em LLMs"

Declaração do Problema
À medida que os Grandes Modelos de Linguagem (LLMs) medeiam cada vez mais a comunicação profissional, surge uma questão crítica sobre sua equidade em relação a diferentes grupos de usuários. Embora pesquisas extensas tenham documentado que os LLMs codificam vieses sociais relativos a atributos demográficos (ex: nomes, raça, identidade de gênero) em narrativas e cenários de tomada de decisão, há uma lacuna na compreensão de se os modelos performam de forma diferente para usuários baseando-se em seu estilo linguístico. A literatura sociolinguística estabelece que homens e mulheres frequentemente exibem diferenças sistemáticas, em grande parte inconscientes, no uso da linguagem, como a frequência de atenuadores (hedges), perguntas de confirmação (tag questions), referências coletivas e adjetivos expressivos. Este artigo investiga se os LLMs respondem a esses padrões linguísticos associados ao gênero (GALPs) nos prompts dos usuários gerando saídas sistematicamente diferentes, potencialmente desfavorecendo usuários que empregam características linguísticas associadas ao feminino (WALF) em contextos profissionais.

Metodologia
Os autores construíram um framework de avaliação controlado utilizando 427 prompts profissionais do mundo real do corpus WildChat, abrangendo três tipos de documentos: e-mails, candidaturas de emprego e cartas de demissão.

1. Manipulação de Prompts: Usando o GPT-4, os autores criaram versões pareadas de cada prompt.

   • WALF (Características Linguísticas Associadas ao Feminino): Os prompts foram reescritos para incluir atenuadores (ex: "talvez"), perguntas de confirmação (ex: "não é?") , referências coletivas (ex: "nós") e adjetivos expressivos.
   • MALF (Características Linguísticas Associadas ao Masculino): Os prompts foram reescritos para apresentar asserções diretas, referência individual (ex: "eu"), adjetivos neutros e minimização de atenuadores.
   • Validação: Avaliadores humanos confirmaram que 95% dos pares reescritos preservaram a semântica da tarefa subjacente enquanto alteravam o registro linguístico. Verificações de realismo indicaram que os prompts reescritos permaneceram plausíveis, embora ligeiramente menos realistas que os prompts originais do WildChat.

2. Avaliação do Modelo: Os prompts modificados foram inseridos em quatro LLMs populares (GPT-4, Gemma 2, Mistral e Llama 3). Os autores mediram as diferenças de resposta através de:

   • Complexidade: Contagem de palavras, contagem de tokens, sofisticação lexical (comprimento médio das palavras), legibilidade (Flesch Reading Ease), nível de escolaridade e razão tipo-token (TTR).
   • Estilo: Densidade de polidez, formalidade (F-measure) e clout (confiança/autoridade).

3. Controle de Espelhamento (Mirroring): Para garantir que as diferenças não fossem meramente o modelo espelhando o estilo de entrada, os autores realizaram análises de regressão e testes de mediação. Eles examinaram se a complexidade do prompt previa a complexidade da resposta e se as características linguísticas transferidas do prompt para a resposta mediaram os efeitos observados.

4. Interpretabilidade Mecanística:

   • Pistas Explícitas vs. Implícitas: Um experimento fatorial 2x2 cruzou características linguísticas (WALF/MALF) com assinaturas de nomes (associados a homens vs. associados a mulheres) para comparar o impacto do registro implícito contra marcadores de gênero explícitos.
   • Probing Linear: Classificadores de regressão logística foram treinados nas ativações das camadas do Llama-3.2-3B-Instruct para decodificar características linguísticas e o gênero do nome, identificando onde essas representações são codificadas.
   • Patching de Ativação: Os autores substituíram as ativações de prompts WALF pelas de prompts MALF correspondentes em camadas específicas para medir o impacto causal nas distribuições de saída via divergência KL.

Principais Resultados

• Diferenças Sistemáticas de Saída: Prompts WALF consistentemente elicitaram respostas que eram mais curtas, menos sofisticadas lexicalmente, mais legíveis (menor nível de escolaridade) e menos formais em comparação com prompts MALF. Esses efeitos foram robustos em GPT-4, Gemma, Mistral e Llama, particularmente em e-mails e candidaturas de emprego.
• Calibragem de Estilo: Embora a formalidade tenha sido significativamente menor para respostas WALF, a densidade de polidez e os escores de clout não mostraram diferenças significativas. Isso sugere que os modelos calam a polidez ao gênero da tarefa, em vez do registro do usuário, mas ajustam a complexidade e a formalidade com base em pistas linguísticas.
• Espelhamento é Insuficiente: Análises de regressão mostraram que a complexidade do prompt explicou, no máximo, 34% da variância na complexidade da resposta. A análise de mediação revelou que a transferência de características (a presença de atenuadores, etc., na saída) explicou apenas parcialmente as diferenças de complexidade. O modelo estava ajustando seu registro geral, não apenas ecoando as características injetadas.
• Implícito vs. Explícito: No experimento de assinatura, pistas de gênero explícitas (nomes) tiveram virtualmente nenhum efeito na complexidade ou estilo da resposta. Em contraste, o registro linguístico implícito produziu efeitos grandes e consistentes.
• Achados Mecanísticos:
  • Codificação: A informação das características linguísticas é robustamente codificada no modelo, com a precisão de decodificação saltando do acaso na camada 0 para 0,962 na camada 1 e atingindo o pico de 0,988 na camada 5.
  • Causalidade: O patching de ativação revelou que as camadas iniciais (0–7) são causalmente críticas para esses efeitos, com a maior divergência KL observada nas camadas 0, 3, 4, 6 e 7.
  • Ortogonalidade: Embora tanto as características linguísticas quanto o gênero do nome atinjam o pico de representação na camada 5, eles ocupam subespaços amplamente ortogonais. A rede codifica pistas de gênero explícitas (nomes), mas não as roteia para influenciar a geração, enquanto o registro linguístico implícito é tanto fortemente codificado quanto causalmente eficaz.

Significância e Alegações
O artigo argumenta que as estratégias atuais de mitigação de viés focadas em marcadores demográficos explícitos (ex: debiasing baseado em nomes) são insuficientes porque falham em abordar vieses disparados por registros linguísticos inconscientes e culturalmente incorporados. Os autores afirmam que:

1. Carga do Usuário: Como esses padrões linguísticos são frequentemente inconscientes, os usuários não podem evitá-los facilmente através de uma apresentação estratégica de si mesmos sem adotar estilos de comunicação não naturais.
2. Risco Profissional: Em ambientes de trabalho, onde os estilos de comunicação das mulheres já podem enfrentar preconceitos, o fato de os LLMs gerarem saídas menos sofisticadas ou formais para prompts WALF pode inadvertidamente reforçar estereótipos sobre competência profissional ou diluir a autoridade percebida das comunicações femininas.
3. Caminhos de Intervenção: O estudo sugere que, como esses vieses estão enraizados em camadas iniciais do transformer e estão causalmente ligados a representações específicas, intervenções direcionadas (como activation steering ou padronização de prompts) são tecnicamente viáveis. No entanto, os autores alertam que tais intervenções devem ser cuidadosamente desenhadas para evitar o paternalismo ou a sobreposição de preferências legítimas do usuário.

O trabalho conclui que o campo deve ir além de pistas demográficas explícitas para considerar como os modelos respondem às sutis características linguísticas dos usuários, pois essas características podem levar a impactos desproporcionais em tarefas profissionais subsequentes.