ConGA: Guidelines for Contextual Gender Annotation. A Framework for Annotating Gender in Machine Translation

1. O Problema

O artigo aborda o desafio persistente de viés de gênero em Sistemas de Tradução Automática (MT) e Modelos de Linguagem de Grande Escala (LLMs), especificamente na tradução de idiomas neutros em gênero (como o inglês) para idiomas morfologicamente marcados por gênero (como o italiano).

• Assimetria Estrutural: O inglês frequentemente omite o gênero gramatical, permitindo que referências sejam ambíguas (ex: "I am a nurse"). O italiano, por outro lado, exige concordância de gênero explícita em múltiplas categorias (artigos, adjetivos, particípios), forçando o sistema a escolher entre formas masculinas ou femininas, mesmo quando o texto fonte é neutro.
• Viés Sistêmico: Devido a dados de treinamento desbalanceados e estereótipos sociais, os sistemas de MT tendem a superutilizar a forma masculina como padrão ("default"), reforçando vieses e reduzindo a precisão da tradução, especialmente em casos ambíguos.
• Falta de Padronização: Não existe um framework unificado para avaliar comparativamente esse viés entre idiomas ou estudos, e a maioria das pesquisas foca apenas em mitigação no nível do modelo, negligenciando a avaliação e anotação linguística detalhada.

2. Metodologia

Os autores propõem e aplicam o framework ConGA (Contextual Gender Annotation), uma abordagem baseada em linguística para anotação e avaliação de viés de gênero.

• Dataset: Utilização do dataset gENder-IT (derivado do MuST-SHE), contendo pares de frases inglês-italiano.
• Modelos Avaliados: Tradução das frases em inglês para italiano utilizando dois modelos de grande escala:
  • TowerInstruct-7B (TowerLLM): Um modelo otimizado para tarefas de instrução.
  • mBART: Um modelo de tradução multilingue.
  • Configuração: Temperatura fixa em 0.2 para garantir consistência semântica e alinhamento de entidades.
• Esquema de Anotação (ConGA):
  • Inglês (Fonte): Anotação baseada no significado contextual.
    • <M>: Masculino explícito.
    • <F>: Feminino explícito.
    • <A>: Ambíguo (gênero não inferível ou neutro).
  • Italiano (Alvo): Anotação baseada na realização gramatical.
    • <M> e <F>: Aplicados apenas a elementos que codificam morfologicamente o gênero (adjetivos, particípios, artigos, pronomes).
    • Sem tag <A> no alvo: Formas neutras ou ambíguas que não exigem escolha de gênero permanecem sem tag. Isso é crucial para detectar onde o modelo introduz um gênero desnecessariamente.
  • Identificadores de Entidade: Cada tag é enriquecida com um identificador numérico (ex: <F1>, <A2>) para rastrear a mesma entidade através das orações e permitir o alinhamento entre fonte e alvo.
• Ferramentas: Anotação manual realizada no INCEpTION, com validação por linguistas treinados seguindo regras estritas de concordância e morfologia.

3. Contribuições Principais

1. Framework ConGA: Um conjunto de diretrizes linguisticamente fundamentadas para anotação de gênero em nível de palavra, distinguindo entre gênero semântico (fonte) e realização gramatical (alvo).
2. Recurso "Gold Standard": Criação de um corpus paralelo anotado manualmente (inglês-italiano) que serve como referência para avaliação quantitativa de viés.
3. Métricas de Avaliação Específicas: Definição de métricas para diferenciar entre:
   • Erros: Troca de gênero explícito (ex: Fonte <F> -> Alvo <M>).
   • Viés: Introdução de gênero onde havia ambiguidade (ex: Fonte <A> -> Alvo <M> ou <F>).
4. Abordagem Híbrida: Combinação de insight linguístico humano com avaliação computacional quantitativa (Precisão, Recall, F1-Score) para criar benchmarks reprodutíveis.

4. Resultados

A avaliação comparou o desempenho do TowerLLM e do mBART contra as anotações de referência:

• Desempenho Geral: Ambos os modelos demonstraram viés masculino sistêmico.
  • Precisão Masculina: Mais alta (TowerLLM: 31,8%; mBART: 28,9%), indicando que as formas masculinas são geradas com mais frequência, mas muitas vezes incorretamente ou sem necessidade.
  • Precisão Feminina: Mais alta em termos relativos de acerto quando o gênero é explícito, mas com menor recall (TowerLLM: 35,4%; mBART: 29,9%), sugerindo que o modelo falha em reproduzir formas femininas presentes no texto fonte.
• Resolução de Ambiguidades (O ponto crítico):
  • Houve uma assimetria massiva na resolução de entidades ambíguas (<A>).
  • Viés A→M: O número de casos onde entidades ambíguas foram traduzidas para o masculino foi extremamente superior aos casos de tradução para o feminino (TowerLLM: 215 casos A→M vs. 35 casos A→F; mBART: 221 vs. 29).
  • Isso confirma que, na ausência de pistas no texto fonte, os modelos aplicam ativamente um heurística centrada no masculino, em vez de manter a neutralidade ou escolher aleatoriamente.
• Conclusão dos Dados: Os modelos não apenas "escolhem" o masculino por falta de informação, mas o fazem de forma assimétrica, reforçando estereótipos de gênero.

5. Significância e Conclusão

O trabalho demonstra que, mesmo em modelos de linguagem avançados (LLMs), o viés de gênero persiste como uma assimetria estrutural na tradução.

• Impacto Científico: O ConGA oferece uma metodologia escalável para medir esse viés, preenchendo a lacuna de benchmarks padronizados para avaliação de gênero em MT.
• Aplicabilidade: O dataset anotado pode ser usado diretamente para estratégias de mitigação, como o Direct Preference Optimization (DPO) ou ajuste fino (fine-tuning) para melhorar a consciência de gênero nos modelos.
• Futuro: O estudo destaca a necessidade de considerar não apenas a precisão da tradução, mas a justiça e a representação nas escolhas linguísticas feitas por IA, especialmente em contextos multilíngues onde o gênero é morfologicamente obrigatório.

Em suma, o artigo estabelece que a neutralidade de gênero na tradução é frequentemente perdida não por erro técnico, mas por viés sistemático, e propõe o ConGA como a ferramenta necessária para diagnosticar e corrigir esse problema.