Leveraging Sentence-oriented Augmentation and Transformer-Based Architecture for Vietnamese-Bahnaric Translation

Resumo Técnico: Alavancando a Aumentação Orientada a Sentenças e a Arquitetura Baseada em Transformer para a Tradução de Vietnamita-Bahnar

Problema
A língua Bahnar, uma língua Mon-Khmer falada por uma minoria étnica no centro do Vietnã, enfrenta desafios significativos na preservação digital e na comunicação intergeracional devido ao seu status de língua de baixos recursos. Embora a Tradução Automática Neural (NMT) ofereça um caminho para preservar e promover a língua, os sistemas padrão de NMT sofrem com a baixa qualidade de tradução quando treinados em corpora paralelos limitados. As características linguísticas específicas do Bahnar — como estruturas de palavras complexas envolvendo afixos e reduplicação, conjuntos de fonemas únicos e variações regionais — complicam ainda mais a tradução. As técnicas existentes de aumentação de dados (DA) frequentemente exigem pré-processamento extensivo, recursos adicionais (como corpora monolíngues para retrotradução/back-translation) ou modelos generativos complexos, o que não é viável para o escasso conjunto de dados vietnamita-bahnar.

Metodologia
Os autores propõem duas estratégias inovadoras de aumentação de dados projetadas para funcionar dentro das restrições de NMT de baixos recursos, sem exigir dados externos ou mudanças arquiteturais complexas. Ambos os métodos são aplicados ao corpus de treinamento paralelo existente e são compatíveis com arquiteturas padrão baseadas em Transformer (utilizando especificamente o modelo BARTpho nos experimentos).

1. Aumentação de Dados de Aprendizado Multitarefa (MTL DA):
   Inspirado no Easy Data Augmentation (EDA) e nos princípios de aprendizado multitarefa, este framework gera sentenças alvo sintéticas para reforçar a dependência do codificador em relação à informação da fonte. Em vez de depender apenas do prefixo da língua alvo (que é insuficiente em cenários de baixos recursos), o método introduz ruído no lado do alvo para forçar o modelo a prestar mais atenção à fonte. Cinco tarefas auxiliares são definidas, controladas por um hiperparâmetro $\alpha$ (definido como 0,5):

   • Swap (Troca): Troca aleatória de palavras no alvo para interromper a dependência de prefixo.
   • Token (Token): Substituição de palavras aleatórias no alvo por um token especial [UNK].
   • Source (Fonte): Substituição completa da sentença alvo pela sentença fonte.
   • Reverse (Reversão): Inversão da ordem das palavras da sentença alvo.
   • Replace (Substituição): Substituição de pares de palavras fonte-alvo alinhados por palavras aleatórias do dicionário.
     Os autores descobriram que a combinação de tarefas específicas (notadamente Token e Swap) produziu os melhores resultados, enquanto a tarefa Source degradou o desempenho.

2. Aumentação de Fronteira de Sentença:
   Baseando-se em pesquisas sobre erros de segmentação de reconhecimento automático de fala (ASR), este método aplica ruído ao nível da sentença em vez do nível da palavra. Envolve a truncagem e concatenação de pares de sentenças adjacentes $(S_1, T_1)$ e $(S_2, T_2)$. Um hiperparâmetro $p$ determina a razão de truncagem (padrão 0,3). O algoritmo retém a parte final da primeira sentença e a parte inicial da segunda sentença, concatenando-as para formar um novo par de treinamento $(S_{out}, T_{out})$. Isso simula fronteiras de sentença incorretas e força o modelo a aprender robustez contra erros de segmentação e mudanças de contexto.

Principais Contribuições

• Implementação de Duas Técnicas de DA: O estudo implementa e avalia com sucesso a MTL DA e a Aumentação de Fronteira de Sentença especificamente para a tarefa de tradução Vietnamita-Bahnar.
• Otimização de Parâmetros: Os autores realizaram uma análise aprofundada de hiperparâmetros ($\alpha$ para MTL DA e $p$ para Fronteira de Sentença), identificando configurações ideais que equilibram diversidade de dados com validade semântica.
• Melhoria Específica de Erros: Os métodos foram testados especificamente contra falhas comuns de tradução neste domínio, particularmente erros de "colocação" e problemas de tradução "palavra por palavra", demonstrando melhorias direcionadas.
• Eficiência de Recursos: Ambas as abordagens não requerem dados adicionais além do corpus paralelo existente, nenhum pré-processamento complexo e nenhum treinamento de sistemas auxiliares (ao contrário da retrotradução).

Resultados Experimentais
Os experimentos foram conduzidos em um conjunto de dados de aproximadamente 16.105 pares de sentenças Vietnamita-Bahnar, utilizando o BLEU como métrica principal de avaliação. O modelo Transformer de linha de base (baseline) alcançou uma pontuação BLEU de 29,89.

• Desempenho da MTL DA: A combinação das tarefas Token e Swap rendeu o maior aumento entre as variantes de MTL, alcançando uma pontuação BLEU de 40,64. Tarefas individuais como Token (38,48) e Replace (38,01) também mostraram ganhos significativos. A tarefa Source resultou em uma queda drástica (2,38), confirmando que a introdução de vocabulário inteiramente novo sem alinhamento prejudica o modelo.
• Desempenho da Fronteira de Sentença: Este método alcançou uma pontuação BLEU de 41,33 (com $p=0,7$), superando todas as outras configurações. Notavelmente, este aumento foi alcançado com um tamanho de conjunto de dados aumentados menor (0,67x o original) comparado à MTL DA (2x o original).
• Comparação com Baselines: Ambos os métodos propostos superaram significativamente o EDA padrão (36,37) e o Semantic Embedding (39,20).
• Redução de Erros Específicos:
  • Para erros de Colocação, a MTL DA (Token+Swap) melhorou a pontuação BLEU de 1,52 para 4,64 (um aumento de 3x), superando a Fronteira de Sentença (3,87).
  • Para erros de Palavra por Palavra, a Aumentação de Fronteira de Sentença mostrou desempenho superior, melhorando a pontuação de 6,61 para 11,08 (um aumento de quase 68%), comparado a 9,19 para MTL DA.

Significância e Alegações
O artigo afirma que estas estratégias de aumentação abordam efetivamente a escassez de dados inerente à NMT de baixos recursos para a língua Bahnar. A significância reside na demonstração de que:

1. Ruído no lado do alvo (MTL DA) pode deslocar com sucesso a dependência do modelo do prefixo do alvo para o codificador da fonte, melhorando a fidelidade da tradução.
2. Ruído ao nível da sentença (Aumentação de Fronteira) é uma alternativa altamente eficaz e eficiente em termos de recursos ao ruído ao nível da palavra, capaz de lidar com problemas de segmentação e melhorar a fluência geral.
3. Estes métodos são agnósticos à arquitetura e eficientes em dados, tornando-os viáveis para outros pares de línguas de baixos recursos onde a coleta de dados extras é impossível.

Os autores concluem que, embora os métodos sejam promissores, mais pesquisas são necessárias para explorar diferentes proporções de dados no aprendizado multitarefa e para validar estas abordagens em outros dialetos e línguas de baixos recursos.