Context-Aware Dialectal Arabic Machine Translation with Interactive Region and Register Selection

Título e Objetivo Principal

O artigo propõe um framework de Tradução Automática (TA) de Árabe Dialético que é consciente do contexto e controlável pelo usuário. O objetivo central é superar o problema da "Apagamento Dialético" (Dialect Erasure), onde os sistemas atuais tendem a normalizar todas as entradas para o Árabe Padrão Moderno (MSA), ignorando a diversidade regional e sociolinguística. O trabalho visa permitir que os usuários controlem explicitamente o dialeto regional (ex: Egípcio, Levantino, do Golfo) e o registro social (formal vs. informal) na saída da tradução.

1. O Problema

• Diglossia Árabe: O árabe é caracterizado pela coexistência do MSA (usado em contextos formais) e uma vasta gama de dialetos vernáculos (Egípcio, Levantino, do Golfo, Magrebi, etc.) usados no dia a dia.
• Limitações Atuais: A maioria dos sistemas de TA existentes trata os dialetos como ruído ou os normaliza para MSA. Mesmo modelos grandes (LLMs) e sistemas multilíngues (como NLLB) priorizam o desempenho agregado no MSA, oferecendo pouco ou nenhum controle sobre a variedade vernácula de destino.
• Falha nas Métricas: Métricas padrão (como BLEU) penalizam traduções que usam vocabulário dialetal específico, pois as referências de avaliação são predominantemente em MSA, criando uma "Paradoxo da Precisão" onde um modelo mais autêntico tem uma pontuação automática menor.

2. Metodologia

A abordagem combina engenharia de dados inovadora com um modelo de tradução neural adaptado:

• Pipeline de Aumento de Dados Baseado em Regras (RBDA):

  • Os autores partem de um seed corpus (corpo de semente) de apenas 3.000 frases de alta qualidade.
  • Aplicam um pipeline de RBDA para expandir este conjunto para 57.600 frases paralelas balanceadas.
  • O processo envolve:
    1. Injeção Léxica: Uso de mapas de sinônimos verificados manualmente para substituir vocabulário MSA por equivalentes dialetais (ex: trocar 'urīdu por 'āyez para o Egípcio).
    2. Balanceamento: Upsampling (supersampling) das classes minoritárias para garantir representação uniforme entre 8 variedades regionais.
    3. Normalização de Esquema: Estruturação dos dados com metadados explícitos: {input, target, region, context, style}.

• Arquitetura do Modelo:

  • Utilização do modelo mT5-base (Multilingual T5) como base.
  • Estrutura de Prompt Multi-Tag: A entrada é pré-fixada com tokens de controle explícitos, como [REGIÃO][CONTEXTO] (ex: [EGYPTIAN][MEDICAL]). Isso permite que o modelo condicione a geração em atributos sociolinguísticos específicos.
  • O modelo é fine-tuned para tratar a variação dialetal como uma transferência de estilo controlada dentro de um único encoder-decoder multilíngue, em vez de tratar cada dialeto como uma língua separada.

• Interface Interativa:

  • Desenvolvimento de uma interface web baseada em Gradio que permite a seleção em tempo real do dialeto, nível de formalidade e domínio contextual para demonstração e avaliação interativa.

3. Contribuições Principais

1. Recursos de Dados: Criação de um novo corpus paralelo balanceado de 57.600 frases cobrindo 8 variedades regionais e múltiplos domínios (médico, viagem, educação, etc.), projetado especificamente para geração controlável.
2. Framework Controlável: Introdução de uma estrutura de prompt que permite aos usuários controlar explicitamente a escolha léxica geográfica e o registro social.
3. Validação de Generalização: Evidência de que um único modelo multilíngue (mT5) pode generalizar bem entre dialetos com raízes linguísticas diferentes através de compartilhamento de parâmetros e condicionamento por metadados.
4. Análise Crítica de Métricas: Identificação e discussão do "Paradoxo da Precisão", demonstrando que métricas automáticas tradicionais falham em capturar a fidelidade sociolinguística em tarefas sensíveis a dialetos.

4. Resultados e Avaliação

• Métricas Automáticas (BLEU, METEOR, chrF++):
  • O modelo proposto obteve pontuações agregadas mais baixas (BLEU: 8.19) comparado às linhas de base (NLLB: 13.75, Helsinki: 11.96).
  • Interpretação: As pontuações mais baixas não indicam erros de tradução, mas sim que o modelo gerou formas léxicas dialetais específicas que divergem das referências em MSA usadas para o cálculo do BLEU.
• Análise Qualitativa e de Autenticidade:
  • Uma avaliação assistida por LLM (GPT-5) focada na autenticidade dialetal mostrou uma vantagem significativa do modelo proposto.
  • Pontuação de Autenticidade: O modelo proposto atingiu 4.80/5 em média, enquanto as linhas de base (NLLB/Helsinki) pontuaram 1.0/5, indicando que as linhas de base falharam em gerar o dialeto solicitado, revertendo para MSA.
  • Exemplos: O modelo gerou corretamente termos como biddī (Levantino) e ayiza (Egípcio), enquanto os baselines usaram 'urīdu (MSA) para todos os casos.
• Consistência Regional: Enquanto os sistemas base apresentaram um padrão de "pico e queda" (funcionando bem apenas no MSA e mal em dialetos de baixa recursos), o modelo proposto manteve um desempenho mais uniforme entre as regiões.

5. Significado e Conclusão

O trabalho demonstra que é possível construir sistemas de TA que respeitam a diversidade linguística árabe, oferecendo controle explícito ao usuário. A principal conclusão é que otimizar apenas para métricas automáticas padrão (como BLEU) pode ser prejudicial para a fidelidade sociolinguística.

O artigo argumenta pela necessidade de:

• Desenvolver novas métricas de avaliação sensíveis a dialetos.
• Adotar práticas de avaliação que incluam análise de autenticidade cultural e humana.
• Mudar o foco da pesquisa em TA árabe de "normalização para MSA" para "geração controlada e culturalmente apropriada".

O código, o dataset e o modelo foram disponibilizados publicamente (via Hugging Face) para promover a reprodutibilidade e pesquisas futuras em TA consciente de dialetos.