Towards High-Quality Machine Translation for Kokborok: A Low-Resource Tibeto-Burman Language of Northeast India

1. O Problema

O Kokborok (código ISO 639-3: trp) é uma língua tibeto-birmanesa falada por aproximadamente 1,5 milhão de pessoas, principalmente no estado de Tripura, no nordeste da Índia. Apesar de ser uma língua oficial de Tripura, ela é severamente sub-representada no campo do Processamento de Linguagem Natural (PLN).

• Escassez de Dados: Não há corpora paralelos públicos significativos além de dados derivados da Bíblia usados em tarefas compartilhadas anteriores (WMT).
• Desempenho Insuficiente: Tentativas anteriores de Tradução Automática Neural (NMT) resultaram em pontuações BLEU extremamente baixas (abaixo de 7), limitadas por corpora pequenos e restritos a domínios específicos.
• Necessidade: Existe uma lacuna crítica para desenvolver sistemas de tradução de alta qualidade que superem as limitações de dados e permitam o uso prático da língua em contextos digitais.

2. Metodologia

Os autores desenvolveram o KokborokMT, um sistema de NMT baseado em ajuste fino (fine-tuning) de modelos pré-treinados, combinando dados profissionais e sintéticos.

• Modelo Base: Utilização do modelo NLLB-200-distilled-600M (No Language Left Behind). Como o Kokborok não estava na lista original de 200 idiomas, os autores introduziram um novo token de linguagem, trp_Latn, no vocabulário do tokenizador e redimensionaram a matriz de embeddings do modelo.
• Construção do Corpus (36.052 pares de frases):
  1. Dados Profissionais (SMOL): 9.284 frases traduzidas profissionalmente de documentos gerados por LLMs (SMOLDOC) e recursos de nível de token (GATITOS), cobrindo domínios variados (saúde, educação, cultura).
  2. Dados Domínio-Específico (WMT): 1.769 frases da Bíblia (derivadas de dados da tarefa WMT), mantendo 500 para teste.
  3. Tradução Reversa Sintética (Back-Translation): 24.999 pares sintéticos gerados usando a API Gemini Flash. Frases em inglês do projeto Tatoeba foram traduzidas para Kokborok. O custo foi baixo (aprox. 7 USD).
• Treinamento: O modelo foi treinado simultaneamente nas duas direções (inglês↔Kokborok) usando o otimizador AdamW, com precisão mista (fp16), em uma única GPU A40.
• Filtragem de Qualidade: Os autores investigaram o uso de embeddings LaBSE para filtrar pares sintéticos de baixa qualidade. Descobriram que, devido à ausência do Kokborok nos dados de treinamento do LaBSE, as pontuações de similaridade eram baixas e não confiáveis. Concluíram que não filtrar os dados foi a melhor abordagem, mantendo todos os 24.999 pares.

3. Principais Contribuições

1. Sistema KokborokMT: Um sistema de NMT significativamente aprimorado para uma língua de recursos extremamente baixos.
2. Novo Token de Idioma: A introdução e validação do token trp_Latn no framework NLLB para permitir o condicionamento da geração no Kokborok.
3. Corpus Híbrido: A construção de um corpus robusto combinando traduções humanas profissionais, dados de domínio religioso e dados sintéticos gerados por LLMs.
4. Evidência sobre Dados Sintéticos: Demonstração de que a tradução reversa via LLM (Gemini Flash) gera melhorias consistentes em todas as métricas, mesmo com custo mínimo.
5. Aviso sobre Filtragem LaBSE: Uma descoberta negativa importante para a comunidade: métodos de filtragem baseados em embeddings multilíngues (como LaBSE) não funcionam para idiomas ausentes no conjunto de treinamento do modelo de embeddings.
6. Recursos Abertos: Disponibilização pública do modelo, dados e código sob licença CC-BY-4.0.

4. Resultados

O sistema foi avaliado em dois conjuntos de teste distintos (domínio geral SMOL e domínio bíblico WMT) e comparado com sistemas zero-shot e com os melhores resultados do WMT 2025.

• Métricas Automáticas (BLEU):

  • Zero-Shot NLLB: Desempenho quase nulo (BLEU < 1), confirmando que o modelo base não cobre o idioma sem ajuste.
  • Sistema 1 (Apenas dados profissionais, ~11k pares): Melhoria drástica, atingindo BLEU de 14.87 (en→trp) e 24.99 (trp→en) no teste WMT.
  • Sistema 2 (Com dados sintéticos, ~36k pares): O melhor desempenho.
    • Inglês → Kokborok: BLEU 17.30 (vs. 6.99 do WMT 2025).
    • Kokborok → Inglês: BLEU 38.56 (vs. 2.99 do WMT 2025).
  • Houve uma assimetria esperada, com a direção para o inglês performando melhor devido à forte capacidade de geração do NLLB em inglês.

• Avaliação Humana:

  • Realizada por três avaliadores (especialista linguístico, falante nativo e pesquisador nativo) em 50 amostras.
  • Adequação (Mean): 3.74/5.
  • Fluência (Mean): 3.70/5.
  • Houve concordância substancial entre os avaliadores treinados (Kappa = 0.67), indicando que o sistema preserva o significado e gera texto natural na maioria dos casos.

5. Significado e Conclusão

Este trabalho representa um avanço significativo para o PLN de línguas tibeto-birmanesas de recursos baixos.

• Viabilidade de Dados Sintéticos: Demonstra que a combinação de dados profissionais limitados com dados sintéticos gerados por LLMs de alta qualidade pode "bootstrapear" sistemas de tradução eficazes onde os dados reais são escassos.
• Superação de Limites: O sistema supera os resultados anteriores publicados em mais de 10 pontos de BLEU na direção en→trp e mais de 35 pontos na direção trp→en.
• Impacto Comunitário: Ao liberar o modelo e os dados, os autores facilitam pesquisas futuras e o desenvolvimento de ferramentas para a comunidade falante de Kokborok.
• Lições Aprendidas: O estudo alerta contra a aplicação cega de técnicas de filtragem de qualidade (como LaBSE) em idiomas que não estão presentes nos dados de treinamento dos modelos de embeddings, sugerindo a necessidade de validação específica por idioma.

Em resumo, o KokborokMT prova que é possível construir sistemas de tradução de alta qualidade para línguas marginalizadas através de uma estratégia inteligente de engenharia de dados e ajuste fino de modelos multilíngues.