Estimating Grammatical Gender Directions in Contextual Embeddings under Controlled and Natural Contexts

Resumo Técnico: Estimando Direções de Gênero Gramatical em Embeddings Contextuais sob Contextos Controlados e Naturais

1. Definição do Problema

Modelos de linguagem contextuais pré-treinados (ex: BERT, XLM-R) codificam estereótipos de gênero social onipresentes. Embora os métodos de mitigação existentes abordem isso de forma eficaz no inglês (uma língua sem gênero gramatical), eles enfrentam limitações críticas quando aplicados a línguas gramaticalmente marcadas por gênero, como o espanhol e o francês. Nestas línguas, dois sinais de gênero distintos coexistem nos embeddings:

1. Gênero Gramatical Morfossintático Obrigatório: Uma propriedade linguística inerente onde substantivos inanimados são fixos como masculinos ou femininos e requerem concordância com artigos e adjetivos.
2. Viés de Gênero Semântico Social: Estereótipos indesejados aprendidos a partir de corpora do mundo real.

As abordagens atuais confundem esses dois sinais. Além disso, o trabalho anterior de desmembramento (disentanglement) limitou-se a embeddings de palavras estáticos, deixando as representações contextuais inexploradas. Um desafio significativo é a contaminação semântica: mesmo substantivos inanimados semanticamente neutros absorvem descrições de gênero contextualizadas de textos naturais, tornando difícil isolar a direção pura do gênero gramatical necessária para um debiasing eficaz.

2. Metodologia

Os autores propõem um framework consciente da contaminação para separar o gênero gramatical do viés semântico em embeddings contextuais. A metodologia consiste em quatro componentes principais:

A. Construção de Dados

• Substantivos Inanimados: Datasets balanceados de substantivos inanimados em espanhol e francês foram construídos (aprox. 6.000 por língua) filtrando substantivos humanos, ocupacionais e próprios.
• Fontes de Contexto: Dois tipos distintos de contextos foram criados para cada substantivo:
  • Templates Controlados: Templates semanticamente neutros e fixos, projetados para minimizar ruído de tópico, léxico ou coocorrência, servindo para extrair sinais gramaticais puros.
  • Contextos Naturais: Sentenças da Wikipedia foram utilizadas para quantificar o grau de contaminação semântica presente no uso do mundo real.
• Léxico de Avaliação: Um conjunto separado de 100 pares de ocupações masculino-feminino por língua foi criado para testar se o debiasing preserva distinções de gênero semântico legítimas.

B. Quantificação da Contaminação
O framework caracteriza a contaminação semântica como o grau em que os embeddings de substantivos inanimados se alinham com um eixo de gênero semântico (derivado de conjuntos de palavras de atributos masculino/feminino). Usando uma estrutura de pontuação estilo WEAT, os autores computam um score de contamção para cada substantivo. Para garantir robustez, duas estratégias de normalização são aplicadas:

• Normalização Baseada na Média: Corrige deslocamentos globais de contaminação.
• Normalização Baseada na Mediana: Fornece robustez contra outliers e distribuições enviesadas.

C. Estimativa da Direção do Gênero Gramatical
Três estimadores são implementados para identificar a direção do gênero gramatical ($d_g$) a partir dos embeddings dos substantivos:

1. Estimador de Centroide: Computa a diferença entre os embeddings médios dos conjuntos masculino e feminino (abordagem de deslocamento de distribuição).
2. Análise Discriminante Linear (LDA): Modela o gênero como um problema de separação supervisionada para maximizar a separabilidade das classes.
3. Máquina de Vetores de Suporte Linear (SVM): Utiliza o vetor normal do hiperplano separador como a direção do gênero.

D. Framework de Avaliação
Um sistema de métricas de objetivo duplo é proposto para equilibrar dois objetivos conflitantes:

1. Score de Redução de Substantivos Inanimados ($R_{noun}$): Mede a supressão do vazamento de gênero gramatical em substantivos inanimados após projeção ortogonal.
2. Score de Preservação Ocupacional ($P_{occ}$): Mede a retenção das distinções de gênero semântico em termos de ocupação após a projeção.
3. Score de Trade-off: A média harmônica ($T_{harm}$) dos dois scores acima é usada como a métrica primária para ranquear métodos, penalizando desequilíbrios extremos.

3. Resultados Principais

Experimentos foram conduzidos em quatro encoders pré-treinados (BETO, mBERT, XLM-R para espanhol; CamemBERT, mBERT, XLM-R para francês) usando embeddings da camada final.

• Performance dos Estimadores: O Estimador de Centroide superou consistentemente as baselines discriminativas (LinearSVM e LDA) em todos os métricas. Ele alcançou o maior score de trade-off harmônico (0.870), sugerindo que o gênero gramatical em embeddings contextuais se manifesta mais como um deslocamento de distribuição global do que como uma fronteira de classificação complexa.
• Impacto da Fonte de Contexto: Contextos controlados e não ponderados produziram as direções de gênero gramatical mais puras.
  • Configurações de contextos controlados-não ponderados atingiram a maior redução de vazamento gramatical ($R_{noun} \approx 0.98$) mantendo uma forte preservação semântica.
  • Contextos naturais introduziram variabilidade que enfraqueceu a clareza do sinal estimado.
  • Estratégias de ponderação (média/mediana) forneceram apenas melhorias marginais em casos específicos e frequentemente reduziram o desempenho de redução ao nível do substantivo, atuando mais como um ajuste conservador do que como um driver primário de performance.
• Eficácia do Debiasing: O método de projeção ortogonal removeu com sucesso os componentes de gênero gramatical de substantivos inanimados sem interromper a estrutura semântica lexical geral, conforme validado por testes de estabilidade semântica.

4. Contribuições

O artigo reivindica as seguintes contribuições primárias:

1. Desmembramento Contextual Pioneiro: É o primeiro trabalho a tentar o desmembramento de gênero gramático-semântico especificamente para modelos de linguagem contextuais, indo além dos embeddings estáticos usados na literatura anterior.
2. Formalização da Contaminação Semântica: Os autores definem e quantificam formalmente a contaminação semântica nas representações de substantivos inanimados para modelos contextuais, introduzando estratégias de ponderação conscientes da contaminação para suprimir artefatos distributivos enviesados.
3. Novo Framework de Avaliação: O artigo propõe um framework de avaliação de objetivo duplo (Redução de Vazamento + Preservação Semântica) com uma métrica de trade-off harmônico, abordando a falta de padrões equilibrados para debiasing em línguas gramaticalmente marcadas por gênero.

5. Significância e Limitações

Significância:
O estudo demonstra que templates controlados são superiores a corpora naturais para isolar sinais de gênero gramatical, eliminando efetivamente o ruído do corpus. Estabelece que a agregação simples baseada em centroide é mais robusta do que classificadores discriminativos para extrair essas direções em espaços contextuais de alta dimensão e ruidosos. Isso fornece uma base confiável para a pesquisa de viés de gênero multilíngue ao separar regras gramaticais formais de vieses semânticos inerentes.

Limitações e Direções Futuras:

• Escopo Tipológico: Os achados são restritos ao espanhol e francês (línguas românicas com sistemas de gênero binário). Os autores observam que não está claro se esses comportamentos de desmembramento linear se generalizam para línguas com interações caso-gênero, sistemas neutros ou estruturas de gênero não binárias.
• Especificidade do Modelo: Os resultados baseiam-se em embeddings de camadas finais congeladas de arquiteturas transformer específicas. O comportamento do desmembramento através de diferentes camadas ou arquiteturas de modelo permanece uma questão aberta.
• Estratégias de Ponderação: Os atuais esquemas de ponderação média/mediana são reconhecidos como subótimos. Os autores sugerem que trabalhos futuros explorem paradigmas adaptativos, como ponderação adversarial ou intervenções causais, para melhor modelar a contaminação semântica.

Os autores concluem que, embora as estratégias de ponderação ofereçam ajustes menores, a abordagem mais eficaz para estimar as direções do gênero gramatical continua sendo o uso de contextos controlados não ponderados combinados com a estimativa baseada em centroide.