Is She Even Relevant? When BERT Ignores Explicit Gender Cues

Resumo Técnico: "Ela é Mesmo Relevante? Quando o BERT Ignora Pistas Explícitas de Gênero"

Declaração do Problema
Enquanto o viés de gênero em Modelos de Linguagem de Grande Escala (LLMs) tem sido extensivamente investigado para o inglês, idiomas com gênero gramatical ou morfológico permanecem comparativamente pouco estudados. Essa lacuna é crítica porque estruturas gramaticais podem obscurecer ou distorcer a medição de estereótipos sociais. O artigo foca no holandês, um idioma que ocupa uma posição intermediária entre sistemas totalmente marcados por gênero (como o alemão) e sistemas majoritariamente sem gênero (como o inglês). O holandês exibe uma tensão entre "neutralização" (onde formas historicamente masculinas, morfologicamente não marcadas, funcionam como termos genéricos) e "feminização" (onde formas explicitamente femininas são derivadas por meio de sufixos). Os autores investigam como um modelo BERT holandês, treinado do zero, codifica informações de gênero e se pistas contextuais explícitas (por exemplo, o pronome zij, significando "ela") podem sobrepor associações estatísticas aprendidas (por exemplo, encanador $\rightarrow$ masculino) dentro das representações internas do modelo.

Metodologia
O estudo emprega uma análise em nível de checkpoints de um modelo BERT holandês treinado inteiramente do zero no corpus SoNaR-500 (subconjunto de livros, $\approx$26 milhões de palavras). A metodologia integra técnicas de projeção de subespaço estático com modelos de sentenças controlados para rastrear a evolução do viés durante o treinamento.

1. Treinamento do Modelo: Um modelo BERT é treinado do zero por 100 épocas. Checkpoints intermediários são salvos para rastrear o surgimento de representações de gênero ao longo do tempo.
2. Construção do Subespaço de Gênero: Em cada checkpoint, uma Máquina de Vetores de Suporte (SVM) linear é treinada em embeddings contextuais de 60 pares de palavras de gênero inequívoco (por exemplo, man vs. vrouw) para derivar um eixo de gênero dinâmico. Os autores evitam pronomes ambíguos (como zij, que pode significar "ela" ou "eles") para garantir que o subespaço reflita distinções claras de gênero.
3. Avaliação do Viés: Os autores projetam embeddings de termos de profissão a partir de modelos de sentenças controlados nos subespaços de gênero aprendidos. A estrutura do modelo é [ALVO] é um/a [ATRIBUTO] (por exemplo, "Ela é um encanador").
   • Variáveis: O estudo varia sistematicamente o gênero do alvo (masculino/feminino), a marcação morfológica do atributo (neutro/não marcado vs. sufixo feminino) e o alinhamento estereotípico (pró-estereotípico vs. anti-estereotípico com base nas estatísticas da força de trabalho).
   • Métrica: A precisão é medida verificando se o embedding de profissão projetado alinha-se com o gênero especificado pelo contexto da sentença (o alvo) e não com a associação estatística padrão do modelo.

Principais Resultados
A análise produz quatro descobertas primárias regarding a formação e o comportamento das representações de gênero:

1. Surgimento da Separabilidade Linear: A informação de gênero torna-se claramente linearmente separável no espaço de embeddings por volta da época 20. Embora a precisão aumente consistentemente, ela estabiliza logo acima de 0,92, indicando que o gênero é uma característica estável das representações aprendidas no início do processo de treinamento.
2. Distribuição da Informação de Gênero: Contrariamente à ideia de uma única "unidade de gênero", a informação de gênero está distribuída por múltiplas dimensões de embedding. No entanto, a distribuição é assimétrica:
   • Representações masculinas são codificadas difusamente por muitas dimensões, funcionando como um padrão robusto e não marcado.
   • Representações femininas estão concentradas em um subconjunto menor e mais específico de dimensões.
3. Falha na Sobreposição Contextual: Pistas contextuais explícitas frequentemente falham em sobrepor priores aprendidos. Em contextos anti-estereotípicos (por exemplo, "Ela é um encanador"), a representação interna do modelo da profissão permanece alinhada com o gênero masculino estereotipado significativamente mais frequentemente do que com a pista contextual feminina. Associações estereotípicas são previstas com 82,5% de precisão, enquanto associações anti-estereotípicas caem para 43,7%.
4. Dominância de Marcadores Morfológicos: O modelo depende pesadamente de pistas morfológicas de superfície em vez de integrar informações contextuais. Quando uma profissão possui um sufixo feminino explícito (por exemplo, verpleegster), a representação alinha-se com o subespaço feminino com alta precisão (83% em contextos anti-estereotípicos). No entanto, quando o atributo é morfologicamente neutro (por exemplo, verpleger), o modelo recorre à interpretação masculina, mesmo quando o sujeito é explicitamente feminino.

Principais Contribuições

• Análise em Nível de Checkpoint: Este trabalho fornece uma das primeiras investigações controladas em nível de checkpoints sobre como a informação de gênero emerge em uma arquitetura baseada em Transformer, estendendo trabalhos anteriores sobre modelos recorrentes (LSTMs) para modelos BERT modernos.
• Projeção de Subespaço Contextual: Os autores adaptam a análise de subespaço baseada em projeção para um contexto contextual, combinando-a com modelos de sentenças controlados para medir diretamente a interação entre pistas de gênero explícitas e conotações de gênero aprendidas.
• Insights sobre Gênero Morfológico: Ao usar o holandês, o estudo demonstra que até mesmo pistas femininas fortes e explícitas (pronomes) podem ser sobrepostas por padrões estereotípicos quando o termo de profissão é morfologicamente não marcado. Isso destaca os desafios específicos do viés em idiomas onde o gênero gramatical e os estereótipos sociais interagem de forma complexa.
• Linha de Base Mecanística: As descobertas estabelecem uma linha de base para entender como o viés estrutural de gênero se forma e se estabiliza, sugerindo que a "contextualização" nestes modelos não é suficientemente dinâmica na direção do gênero para refletir de forma confiável pistas explícitas em cenários anti-estereotípicos.

Significado e Alegações
O artigo alega que seus resultados desafiam a suposição de que embeddings contextuais integram robustamente pistas locais para ajustar representações de palavras. Em vez disso, os autores argumentam que, para o modelo BERT holandês, pistas contextuais são frequentemente ofuscadas por priores internos e marcadores morfológicos. O comportamento de "padrão masculino" persiste porque as formas não marcadas, historicamente masculinas, funcionam como termos genéricos nos dados de treinamento, criando uma vantagem estrutural para representações codificadas como masculinas.

Os autores concluem que, embora o modelo aprenda a distinguir gênero, ele o faz de uma maneira que reforça assimetrias existentes: o masculino é o padrão difuso, enquanto o feminino é um sinal marcado e concentrado que requer sufixação morfológica explícita para ser codificado de forma confiável. Consequentemente, aplicações que dependem dessas representações (como tradução ou resolução de correferência) podem reproduzir estereótipos de gênero mesmo quando a entrada as contradiz explicitamente. O artigo nota modestamente que essas conclusões são limitadas ao nível representacional capturado pelas sondas e não medem diretamente o desempenho em tarefas subsequentes, mas oferecem insights críticos sobre os mecanismos de formação de viés em PLN multilíngue.