Gender Disambiguation in Machine Translation: Diagnostic Evaluation in Decoder-Only Architectures

Título: Desambiguação de Gênero em Tradução Automática: Avaliação Diagnóstica em Arquiteturas Apenas-Decodificador (Decoder-Only)

1. O Problema

Os Grandes Modelos de Linguagem (LLMs) baseados em arquiteturas decoder-only tornaram-se o estado da arte em Tradução Automática (TA). No entanto, eles herdam e amplificam vieses de gênero presentes nos dados de treinamento.

• Desafio Específico: A TA enfrenta dificuldades particulares na desambiguação de gênero devido às diferenças linguísticas. Línguas como o inglês marcam o gênero principalmente através de pronomes (explícitos), enquanto línguas morfologicamente ricas (como italiano e alemão) exigem concordância de gênero em substantivos, adjetivos e verbos.
• Falha Atual: Modelos frequentemente ignoram pistas contextuais (ex: pronomes "he/she" no inglês) e recorrem a associações estereotípicas ou a um "viés masculino" padrão (assumindo que profissões são masculinas por defeito), mesmo quando o contexto indica o feminino.
• Limitação das Métricas Atuais: As métricas de precisão padrão avaliam apenas se a tradução está correta em relação ao rótulo de ouro, mas não revelam se o modelo usou a pista contextual ou se apenas adivinhou com base em estereótipos.

2. Metodologia

Os autores propõem uma extensão de um framework de avaliação existente (Manna et al., 2025) para diagnosticar o comportamento de modelos decoder-only.

• Modelos Analisados:

  • Llama2: Um LLM de propósito geral (linha de base).
  • TowerBase: Variante do Llama2 com pré-treinamento contínuo em corpora monolíngues e paralelos (focado em TA).
  • TowerInstruct: Variante do TowerBase com instruction tuning (ajuste fino) em tarefas específicas de tradução.
  • Comparação: Os resultados são contrastados com sistemas encoder-decoder tradicionais (OPUS-MT, NLLB-200, mBART) estudados anteriormente.

• Dados e Conjuntos de Teste:

  • Utilização do conjunto WinoMT (baseado em Winogender e WinoBias), que contém pares de frases onde o gênero é alterado apenas pelo pronome (ex: "O cozinheiro... porque ele..." vs "A cozinheira... porque ela...").
  • Novo Conjunto (Neutral Set): Os autores criaram uma versão neutralizada do WinoMT, substituindo pronomes de gênero por "they/them" e ajustando a concordância. Isso permite medir o Viés Prévio (Prior Bias) — a preferência de gênero do modelo na ausência de pistas explícitas.

• Métricas de Avaliação:

  1. Precisão de Gênero Padrão: Taxa de acerto geral na concordância de gênero.
  2. Precisão de Pares Mínimos (MPA - Minimal Pair Accuracy): Uma métrica diagnóstica que só considera a tradução correta se o modelo adaptar o gênero corretamente em ambos os casos de um par mínimo (mudando de "ele" para "ela"). Isso verifica se o modelo realmente usa o contexto e não apenas estereótipos.
  3. Viés Prévio (Prior Bias): Nova métrica que quantifica a distribuição de gêneros (masculino vs. feminino) gerada pelo modelo no conjunto neutralizado (sem pistas).
  4. Análise de Atenção: Investigação dos pesos de atenção interna (self-attention) nas camadas e cabeças do Transformer para ver como as pistas de gênero são processadas internamente.

3. Principais Contribuições

1. Introdução do "Prior Bias" (Viés Prévio): Uma nova métrica para quantificar a suposição de gênero padrão de um modelo quando não há pistas contextuais explícitas.
2. Avaliação de Arquiteturas Decoder-Only: Aplicação rigorosa deste framework a modelos decoder-only (LLMs), comparando-os com arquiteturas encoder-decoder.
3. Análise de Impacto do Instruction Tuning: Demonstração de como diferentes estágios de pós-treinamento (pré-treinamento contínuo vs. ajuste por instruções) afetam a desambiguação de gênero.
4. Diagnóstico de Atenção: Correlação entre os padrões de atenção interna e o desempenho na saída, mostrando onde e quando o modelo integra as pistas de gênero.

4. Resultados Chave

• Desempenho Geral: Modelos decoder-only não superam consistentemente os sistemas encoder-decoder em métricas específicas de gênero, apesar de seu tamanho e status de estado da arte.
• Viés Masculino: Todos os modelos exibem um forte viés para o gênero masculino. No conjunto neutralizado, Llama2 e TowerBase geram formas masculinas em cerca de 85% dos casos.
• Impacto do Instruction Tuning:
  • O TowerInstruct (ajustado por instruções) mostrou melhorias significativas:
    • Aumento da precisão feminina (de 23,3% para 52,0%).
    • Melhora substancial na MPA (de ~13% para 36,7%), indicando que o modelo passa a depender mais das pistas contextuais e menos de estereótipos.
    • Redução do Prior Bias masculino (de ~85% para ~75%), embora o viés masculino ainda persista.
• Análise de Atenção:
  • Modelos tendem a prestar mais atenção a pronomes femininos do que masculinos (possivelmente devido à menor frequência nos dados de treino).
  • O instruction tuning não apenas melhora a atenção às pistas, mas também permite que o modelo utilize esses sinais aprendidos para mitigar o viés de saída. O pré-treinamento contínuo (TowerBase) melhorou a identificação de pistas, mas não a aplicação correta na saída; apenas o instruction tuning corrigiu o comportamento final.

5. Significado e Conclusão

• Diagnóstico Profundo: O estudo demonstra que métricas de precisão padrão são insuficientes para avaliar a justiça de gênero em TA. É necessário usar métricas diagnósticas (como MPA e Prior Bias) para distinguir entre "acerto por sorte/estereótipo" e "acerto por compreensão contextual".
• Eficácia do Instruction Tuning: O instruction tuning emerge como uma estratégia promissora para mitigar vieses de gênero, melhorando a integração de pistas contextuais e reduzindo o viés prévio masculino, sem a necessidade de re-treinamento massivo ou dados de treinamento perfeitamente curados.
• Limitações: A análise ainda se restringe ao binário de gênero (masculino/feminino), excluindo identidades não-binárias, e depende de ferramentas automáticas que podem introduzir ruído na detecção de gênero.
• Futuro: O trabalho sugere que intervenções no pós-treinamento são viáveis para criar sistemas de TA mais justos e conscientes do contexto, mas a transparência sobre como esses vieses são codificados e resolvidos internamente permanece um desafio.

Em resumo, o artigo alerta que, embora os LLMs decoder-only sejam poderosos, eles não resolvem automaticamente os problemas de viés de gênero na tradução. No entanto, técnicas de ajuste fino (instruction tuning) podem ser usadas para alinhar o comportamento do modelo com a evidência contextual, reduzindo a dependência de estereótipos sociais.