Improving Indigenous Language Machine Translation with Synthetic Data and Language-Specific Preprocessing

Resumo Técnico: Melhoria da Tradução Automática de Línguas Indígenas com Dados Sintéticos e Pré-processamento Específico de Língua

Declaração do Problema
As línguas indígenas das Américas, como aimará, guarani e quéchua, enfrentam riscos significativos de endangerment devido à presença digital limitada e à escassez de recursos linguísticos. Uma barreira primária para o desenvolvimento de sistemas robustos de Tradução Automática Neural (NMT) para essas línguas é a falta de corpora paralelos em grande escala. Abordagens supervisionadas convencionais de TA, que dependem de dados de treinamento abundantes, frequentemente apresentam desempenho pobre nesses cenários de baixos recursos. Além disso, essas línguas exibem frequentemente estruturas morfológicas complexas (particularmente aglutinação) e variações ortográficas que os pipelines de pré-processamento padrão não conseguem abordar efetivamente.

Metodologia
Os autores propõem uma abordagem centrada em dados para mitigar a escassez de dados, aumentando conjuntos de dados paralelos curados com pares de frases sintéticas. A metodologia envolve três componentes principais:

1. Geração de Dados Sintéticos:

   • O estudo utiliza o pipeline do conjunto de dados MultiScript30k. Em vez de depender exclusivamente de tradução reversa a partir de corpora monolíngues, os autores empregam tradução direta.
   • Legendas em espanhol do conjunto de dados Multi30k são traduzidas para aimará e guarani usando o modelo de tradução multilíngue de alta capacidade NLLB-200 (3.3B).
   • Esta abordagem trata o espanhol como uma língua-pivô de altos recursos, gerando dados paralelos sintéticos que preservam o conteúdo semântico enquanto aumentam a diversidade linguística do lado de destino.

2. Pré-processamento Específico de Língua:

   • Guarani: O pipeline aborda a variabilidade ortográfica normalizando o texto via Unicode NFKC, convertendo para minúsculas e padronizando dígrafos frequentes (por exemplo, fundindo "c h" separado por espaço em "ch"). Crucialmente, preserva diacríticos específicos e vogais nasais (por exemplo, ã, ˜e) e aplica um filtro de razão de comprimento para remover pares desalinhados.
   • Quéchua: Os autores identificam artefatos sistemáticos de espaçamento intra-palavra (por exemplo, "ch aypiqa" em vez de "chaypiqa") que fragmentam tokens e distorcem métricas de avaliação. Um procedimento determinístico de normalização ortográfica é aplicado para fundir esses padrões divididos sem recursos linguísticos externos.
   • Aimará: Um pipeline conservador é utilizado, focando na normalização Unicode e na remoção de espaços em branco espúrios ao redor de apóstrofos usados para consoantes ejetivas. No entanto, os autores observam que a normalização genérica pode fragmentar a morfologia fortemente aglutinante da língua.

3. Ajuste Fino do Modelo:

   • O modelo mBART multilíngue (facebook/mbart-large-50) é ajustado finamente tanto em conjuntos de dados apenas curados quanto em conjuntos aumentados sinteticamente.
   • Para o guarani, o vocabulário do tokenizador é expandido para incluir caracteres específicos, vogais nasais e dígrafos comuns para lidar melhor com a ortografia.
   • Experimentos são conduzidos nas tarefas de tradução aimará–espanhol, guarani–espanhol e quéchua–espanhol.

Principais Resultados
O estudo avalia o desempenho principalmente usando chrF++, a métrica favorecida nas tarefas compartilhadas recentes da AmericasNLP para línguas aglutinantes, devido às limitações conhecidas do BLEU para essas famílias linguísticas.

• Guarani–Espanhol: A incorporação de dados sintéticos melhorou a pontuação chrF++ de 42,00 (apenas curados) para 44,00 no conjunto de desenvolvimento, um ganho de +2,00 pontos.
• Quéchua–Espanhol: A aplicação de normalização ortográfica determinística produziu melhorias substanciais, alcançando uma pontuação chrF++ de 36,6. Isso superou a linha de base da tarefa compartilhada e igualou os melhores sistemas relatados da Universidade de Sheffield.
• Aimará–Espanhol: O aumento de dados sintéticos resultou em um aumento modesto no chrF++ (de 26,85 para 30,82). No entanto, o desempenho geral permaneceu baixo, sugerindo que pré-processamento genérico e aumento de dados são insuficientes para línguas altamente aglutinantes como o aimará sem estratégias conscientes de morfologia.
• Comparação: Os sistemas dos autores, utilizando mBART e dados sintéticos traduzidos diretamente, alcançaram resultados competitivos contra a linha de base da AmericasNLP 2023 e as submissões de melhor desempenho (por exemplo, Universidade de Sheffield), que frequentemente utilizavam modelos NLLB-200 maiores com tradução reversa.

Significado e Alegações
O artigo afirma que dados sintéticos traduzidos diretamente servem como uma estratégia eficaz e escalável para melhorar a qualidade da NMT em cenários de escassez de dados para línguas indígenas. O estudo demonstra que:

1. O aumento de dados sintéticos melhora consistentemente a qualidade da tradução (medida por chrF++) em diferentes pares de línguas quando combinado com modelos multilíngues robustos.
2. O pré-processamento específico de língua, particularmente a normalização ortográfica para quéchua e guarani, é crítico para reduzir artefatos de corpus e melhorar o alinhamento ao nível de token.
3. Embora o aumento de dados ajude, ele tem limitações para línguas altamente aglutinantes como o aimará, onde a tokenização de subpalavras genérica pode fragmentar morfemas, indicando a necessidade de futuras abordagens conscientes de morfologia.

Os autores posicionam seu trabalho dentro da iniciativa mais ampla da AmericasNLP, contribuindo para esforços de preservação e acessibilidade linguística. Eles enfatizam que, embora as métricas automáticas mostrem melhoria, a dependência de dados sintéticos e a falta de avaliação humana para nuances culturais permanecem como limitações. Trabalho futuro é proposto para incluir avaliação humana, explorar tradução multimodal usando contexto visual (aproveitando recursos como o MultiScript30k) e desenvolver pré-processamento mais direcionado para línguas morfologicamente complexas.