SiniticMTError: A Machine Translation Dataset with Error Annotations for Sinitic Languages

1. Problema e Motivação

Apesar dos avanços significativos na Tradução Automática (MT) impulsionados por Grandes Modelos de Linguagem (LLMs) e sistemas supervisionados, o progresso permanece limitado para línguas de recursos baixos (low-resource languages).

• Foco do Artigo: O trabalho concentra-se em variantes Siniticas (da família linguística chinesa) que são faladas por milhões, mas carecem de dados de treinamento e recursos linguísticos padronizados: Cantonês (Yue), Wu Chinês (ex: Shanghainês) e Hokkien (Min Nan), além do Mandarim.
• Desafios Específicos: A dominância do Mandarim como língua franca, a escassez de corpora paralelos públicos, a falta de padronização nos sistemas de escrita (ortografia) e o fato de muitas dessas variantes serem primariamente faladas (vernáculos) dificultam o desenvolvimento de modelos de MT eficazes.
• Limitação Atual: Modelos existentes frequentemente geram ruído ou falham em capturar nuances semânticas e gramaticais específicas dessas variantes, e não existem conjuntos de dados anotados com erros de tradução em nível de span (trecho) para avaliar e corrigir esses sistemas.

2. Metodologia

O artigo apresenta a criação e a análise do dataset SINITICMTERROR, que segue uma metodologia rigorosa de construção e anotação:

• Construção dos Dados:
  • O dataset é baseado em corpora paralelos existentes, principalmente o FLORES+ (extensão do FLORES-200) para pares Inglês-Mandarim, Inglês-Cantonês e Inglês-Wu.
  • Para o Hokkien, que não possui pares diretos no FLORES+, os dados foram derivados de uma fonte não paralela (dicionário do Ministério da Educação de Taiwan), traduzindo do Mandarim para o Hokkien.
  • Geração de Traduções Automáticas (MT): Foram geradas traduções errôneas utilizando modelos específicos para cada língua, escolhidos por sua capacidade de gerar saídas plausíveis, mas com erros:
    • Mandarim/Cantonês: Modelo NLLB-200 (600M parâmetros).
    • Wu Chinês: Qwen2.5 Max (único LLM acessível com capacidade estável em Wu).
    • Hokkien: Taigi-LLaMA-2-Chat-7B (modelo especializado em Hokkien taiwanês).
• Esquema de Anotação:
  • Baseado nas diretrizes MQM (Multidimensional Quality Metrics) e no framework AfriCOMET.
  • Anotadores: Falantes nativos das línguas-alvo com proficiência em inglês.
  • Granularidade: Anotação em nível de span (trecho), identificando o início e o fim do erro.
  • Categorias de Erro (9 tipos): Incluem Mistranslation (tradução errada), Omission (omissão), Addition (adição), Grammar (gramática), Spelling (ortografia), Typography (tipografia), Untranslated (não traduzido), Unintelligible (ininteligível) e Register (registro).
  • Severidade: Classificada como Major (altera significativamente o significado) ou Minor (afeta fluência/legibilidade, mas não o núcleo do significado).
  • Ferramenta: Utilização da ferramenta TRANSLATIONCORRECT para a interface de anotação.
• Processo Iterativo: O processo incluiu fases piloto (pilot studies) com múltiplas rodadas de feedback, discussões em grupo e garantia de qualidade (QA) para assegurar a consistência entre anotações.

3. Contribuições Principais

• SINITICMTERROR Dataset: O primeiro recurso de erros de MT anotados em nível de span para Wu Chinês e um dos poucos para Cantonês e Hokkien.
  • Estatísticas: 2.009 sentenças em Mandarim, 1.402 em Cantonês, 68 em Wu (piloto) e 154 em Hokkien (piloto).
• Análise de Erros Específicos: Identificação de padrões de erro únicos para cada variante, como o uso incorreto de partículas gramaticais no Cantonês e problemas de padronização ortográfica.
• Benchmarks de Modelos de Linguagem: Avaliação de vários LLMs (abertos e fechados, como GPT-4o, Gemini, Qwen, Phi) na tarefa de detecção automática de erros de tradução, estabelecendo linhas de base (baselines) para futuras pesquisas.
• Guia de Terminologia: Clarificação do uso de termos como "Cantonês" vs. "Yue" e "Wu" vs. "Shanghainês", alinhando-se com convenções linguísticas e de recursos de dados existentes.

4. Resultados e Insights

• Distribuição de Erros:
  • Mandarim: Os erros mais frequentes foram Mistranslation, Omission e Grammar.
  • Cantonês: Apresentou uma densidade de spans de erro muito maior (6,38 por sentença vs. 1,93 no Mandarim). Os erros mais comuns foram Mistranslation, Typography e Omission. Isso indica que os modelos atuais lutam mais com a estrutura sintática e semântica do Cantonês do que com o Mandarim.
  • Wu e Hokkien: Mostraram padrões distintos, com o Hokkien apresentando uma alta taxa de erros de "Outros" e confusão de código (ex: tradução para japonês ou uso de caracteres de outras línguas).
• Desempenho dos LLMs na Detecção de Erros:
  • Os experimentos de baseline revelaram que os LLMs atuais têm precisão limitada na detecção de erros de tradução.
  • As métricas de Span Precision (SP) variaram entre 0,25 e 0,45, e as correlações com as pontuações humanas (MQM) ficaram abaixo de 0,5.
  • Isso demonstra que, mesmo modelos avançados, não conseguem substituir anotações humanas para tarefas de avaliação de qualidade de MT em línguas de recursos baixos.
• Insights Linguísticos: O dataset revelou problemas de "Translationese" (estrutura de frase inglesa traduzida literalmente para o chinês), falta de padronização ortográfica (especialmente em Cantonês escrito) e confusão de línguas (language confusion) onde o modelo gera texto em japonês ou mistura dialetos.

5. Significado e Impacto

• Preenchimento de Lacuna: O dataset preenche uma lacuna crítica no ecossistema de NLP multilingue, oferecendo dados essenciais para a avaliação e melhoria de sistemas de MT para variantes Siniticas sub-representadas.
• Potencial de Aplicação: Serve como recurso para:
  • Fine-tuning de modelos para detecção de erros e estimativa de qualidade de tradução (QE).
  • Pesquisa em geração consciente de erros (error-aware generation).
  • Transferência de aprendizado de línguas de alto recurso para variantes de baixo recurso.
  • Tarefas de compreensão de linguagem natural (NLU) e julgamento de aceitabilidade linguística.
• Conclusão: O trabalho destaca a necessidade urgente de mais recursos e atenção para as variantes Siniticas, demonstrando que a qualidade atual dos modelos de IA para essas línguas é insuficiente e que a anotação humana detalhada é indispensável para o avanço do campo.