FairQE: Multi-Agent Framework for Mitigating Gender Bias in Translation Quality Estimation

Resumo Técnico: FairQE

1. O Problema

A Estimativa de Qualidade (QE) visa avaliar automaticamente a qualidade de traduções de máquinas (MT) sem depender de traduções de referência humanas. Embora eficaz, estudos recentes demonstraram que os modelos de QE existentes apresentam vieses sistemáticos de gênero. Esses vieses manifestam-se principalmente em dois cenários:

• Casos Ambíguos de Gênero: Quando a frase de origem não especifica o gênero, os modelos tendem a favorecer sistematicamente realizações masculinas, atribuindo pontuações mais altas a traduções masculinas em detrimento das femininas ou neutras.
• Casos Explícitos de Gênero: Quando a origem exige explicitamente um gênero feminino, os modelos podem ainda assim preferir traduções masculinas, invertendo a preferência correta (fenômeno conhecido como preference inversion).

Esses vieses comprometem a justiça da avaliação e podem ter efeitos cascata em processos downstream, como seleção de modelos, filtragem de dados e monitoramento de implantação, reforçando estereótipos de gênero indesejados.

2. Metodologia: O Framework FairQE

Os autores propõem o FairQE, um framework baseado em agentes múltiplos e consciente de justiça (fairness-aware), projetado para mitigar esses vieses sem sacrificar a precisão geral da avaliação. O sistema opera em quatro estágios sequenciais, utilizando cinco agentes (quatro baseados em LLM e um modelo de QE tradicional):

1. Detecção de Pistas de Gênero (Gender Cue Detection):

   • Um agente LLM (Agentcue) analisa pares de frases (origem-alvo) para identificar pistas linguísticas de gênero.
   • Utiliza uma taxonomia definida com 12 categorias finas, divididas em Explícitas (pronomes, substantivos fixos, títulos) e Ambíguas (ocupações neutras, nomes desconhecidos, omissão de sujeito).
   • Se nenhuma pista for detectada, o processo de geração de variantes é pulado para eficiência.

2. Geração de Variantes com Gênero Invertido (Gender-Flipped Variant Generation):

   • Com base nas pistas detectadas, o sistema gera variantes da tradução original alterando apenas os marcadores de gênero (Feminino, Masculino, Neutro).
   • Dois agentes especializados operam aqui:
     • Agentamb: Para casos ambíguos, gera todas as realizações de gênero válidas que não estavam na tradução original.
     • Agentexp: Para casos explícitos, verifica se a tradução original respeita a restrição de gênero da origem e gera variantes para comparação.

3. Estimativa de Qualidade de Duplo Fluxo (Dual-Stream Quality Estimation):

   • Fluxo Quantitativo: Um modelo de QE tradicional (Agentqe, ex: COMETKiwi ou MetricX) pontua a tradução original e todas as variantes geradas. Isso permite medir a volatilidade das previsões sob perturbações de gênero.
   • Fluxo de Raciocínio (LLM): Um agente LLM (Agentuqe) realiza um raciocínio explícito para derivar uma pontuação desviada (debiased). Ele analisa a consistência entre as variantes (para casos ambíguos) e a fidelidade às restrições de gênero (para casos explícitos), utilizando protocolos estilo MQM (Multidimensional Quality Metrics).

4. Agregação Dinâmica Consciente de Viés (Dynamic Bias-Aware Aggregation):

   • Esta é a etapa central de fusão. O sistema calcula um escore de viés ($B$) baseado na volatilidade das pontuações do modelo tradicional entre as variantes.
   • Utiliza um mecanismo de soft-gating para calcular um peso ($w$).
   • Lógica: Se o viés for baixo, a pontuação final depende quase totalmente do modelo tradicional (preservando precisão segmentar). Se o viés for alto, o peso aumenta para incorporar o raciocínio do LLM, corrigindo a injustiça.
   • Fórmula final: $q_{final} = w \cdot q_{uqe} + (1-w) \cdot q_{orig}$.

3. Contribuições Principais

• Framework FairQE: Uma abordagem multi-agente que aborda simultaneamente cenários de gênero ambíguo e explícito, sendo agnóstico ao modelo de QE subjacente.
• Mecanismo de Agregação Dinâmica: Uma inovação que quantifica o viés usando variantes de gênero invertido e ajusta dinamicamente a contribuição do raciocínio do LLM, equilibrando justiça e precisão.
• Validação Abrangente: Demonstração experimental de que é possível mitigar o viés de gênero sem sacrificar (e muitas vezes melhorando) o desempenho geral de QE.

4. Resultados Experimentais

Os experimentos foram conduzidos em múltiplos pares de idiomas (EN-ES, EN-FR, EN-IT, EN-AR, EN-DE, EN-HI) e benchmarks (GATE, MT-GenEval, mGeNTE, WMT 2023).

• Justiça de Gênero (Casos Ambíguos):

  • Modelos base (COMETKiwi, MetricX) apresentaram razões de pontuação Feminino/Masculino abaixo de 1, indicando viés masculino.
  • O FairQE restaurou o equilíbrio, alcançando razões próximas de 1 (paridade) na maioria dos pares de idiomas, superando consistentemente os modelos base.
  • No cenário "Neutro vs. Gênero", o FairQE preferiu corretamente traduções neutras quando apropriado, enquanto os baselines tendiam a atribuir gêneros desnecessários.

• Justiça de Gênero (Casos Explícitos):

  • O FairQE alcançou a maior acurácia binária (corrigindo traduções que violam o gênero da origem) em 2 de 3 pares de idiomas, superando significativamente os modelos base (ex: +18.7 pontos percentuais sobre o COMETKiwi 22).
  • Superou métodos baseados puramente em LLM (como GEMBA-MQM), que ainda exibiam viés de gênero inerente.

• Desempenho Geral de QE:

  • Sob a meta-avaliação baseada em MQM (WMT 2023), o FairQE alcançou desempenho competitivo ou superior em métricas de precisão (System-level e Segment-level), demonstrando que a correção de viés não degrada a capacidade de avaliação geral.

5. Significado e Conclusão

O trabalho FairQE é significativo porque:

1. Resolve um problema prático: Oferece uma solução "plug-and-play" para corrigir vieses em modelos de QE existentes, sem a necessidade de retreinamento massivo.
2. Equilíbrio entre Justiça e Precisão: Desafia a noção de que melhorar a justiça implica sacrificar a precisão, mostrando que os dois objetivos podem ser alcançados simultaneamente através de raciocínio híbrido e agregação dinâmica.
3. Escalabilidade: Ao ser agnóstico ao modelo, pode ser aplicado a diversas arquiteturas de QE, tornando-se uma ferramenta viável para a comunidade de avaliação de tradução para promover avaliações mais inclusivas e confiáveis.

Em suma, o FairQE estabelece um novo padrão para a avaliação de qualidade de tradução, garantindo que os sistemas não perpetuem estereótipos de gênero, ao mesmo tempo em que mantêm sua utilidade técnica para a indústria e pesquisa.