Building a Functional Machine Translation Corpus for Kpelle

Resumo Técnico: Construção de um Corpus de Tradução Automática Funcional para o Kpelle

Problema
Apesar de possuir mais de um milhão de falantes entre a Libéria e a Guiné, a língua Kpelle permanece severamente sub-representada na pesquisa de Processamento de Linguagem Natural (PLN). Como uma língua de baixos recursos, o Kpelle sofre com a escassez de dados, a falta de uma ortografia padronizada e variações dialetais (especificamente entre o Kpelle liberiano e o guineense). Embora iniciativas como Masakhane, o Lacuna Fund e o projeto "No Language Left Behind" (NLLB) da Meta tenham avançado os recursos para outras línguas africanas, o Kpelle tem sido amplamente excluído, deixando os falantes sem acesso a ferramentas digitais, como tradução automática (MT) ou reconhecimento de fala.

Metodologia
Para abordar essa lacuna, os autores construíram o primeiro corpus bilíngue Inglês-Kpelle publicamente disponível. A metodologia envolveu um processo de múltiplas etapas:

1. Coleta de Dados: O conjunto de dados foi compilado de três fontes primárias:
   • Viagens e Turismo: Frases comuns extraídas de sites estabelecidos de aprendizagem de línguas.
   • Textos Religiosos: Excertos de literatura religiosa traduzida disponível publicamente.
   • Materiais Educacionais: Conteúdo de livros didáticos e dicionários, incluindo A Learner Directed Approach to Kpelle e o English-Kpelle Dictionary.
2. Processamento e Alinhamento:
   • Tradução: Falantes nativos de Kpelle com experiência linguística traduziram parágrafos em inglês que careciam de correspondência em Kpelle.
   • Segmentação: Os parágrafos foram segmentados em pares de sentenças para aumentar a granularidade para tarefas de MT.
   • Limpeza e Normalização: Os dados brutos passaram por verificação ortográfica, remoção de duplicatas e padronização da ortografia baseada no alfabeto latino. Atenção especial foi dada aos sinais diacríticos para representar com precisão o sistema tonal do Kpelle (tons Alto, Médio, Baixo e de contorno).
   • Verificação: Todas as traduções foram revisadas por especialistas na língua para garantir correção gramatical e adequação contextual.
3. Configuração Experimental:
   • Os autores utilizaram o modelo NLLB-200 da Meta como linha de base (baseline).
   • Duas versões do conjunto de dados foram criadas: Versão 1 (V1) com 1.518 pares de tradução (1.667 frases em Kpelle/1.638 frases em Inglês), e Versão 2 (V2) com 2.005 pares de tradução (2.202 Kpelle/2.167 Inglês), alcançadas através de aumento de dados (data augmentation).
   • Os conjuntos de dados foram divididos na proporção 9:1 para treinamento e teste.
   • Os modelos foram ajustados (fine-tuned) para 10k, 30k e 60k passos usando o otimizador Adafactor em uma GPU Quadro RTX 6000.
   • Um tokenizador SentencePiece customizado para o Kpelle foi treinado para lidar com tokens fora do vocabulário (out-of-vocabulary).
   • A avaliação foi realizada utilizando sacreBLEU, chrF2++ e métricas de precisão.

Principais Contribuições
O artigo descreve três contribuições primárias:

1. Criação de Conjunto de Dados: O lançamento de um corpus bilíngue Inglês-Kpelle contendo um total de 3.234 pares de tradução únicos (ao longo das versões do dataset), compreendendo mais de 30.000 palavras. Este é atualmente o maior recurso disponível publicamente para o Kpelle.
2. Estrutura Metodológica: Os autores fornecem uma estrutura replicável para coleta, limpeza e alinhamento de dados especificamente desenhada para línguas de baixos recursos com tradições escritas limitadas e inconsistências ortográficas.
3. Benchmarking: O conjunto de dados foi testado contra o modelo NLLB, estabelecendo linhas de base de desempenho para a tradução automática do Kpelle.

Resultados
Os experimentos de ajuste fino produziram os seguintes resultados:

• Kpelle-para-Inglês (kpe_Latn → eng_Latn): O melhor desempenho foi alcançado com a Versão 2 do conjunto de dados em 60k passos de treinamento, atingindo um score BLEU de 30,28 (e um chrF2++ de 44,28).
• Inglês-para-Kpelle (eng_Latn → kpe_Latn): O melhor resultado foi um score BLEU de 24,46, alcançado com a Versão 1 em 30k passos. Embora a Versão 2 tenha mostrado melhorias em contagens de passos mais altas (atingindo 20,79 em 60k passos), ela não superou o pico de desempenho da Versão 1 nesta direção.
• Impacto do Aumento de Dados: Expandir o corpus da V1 para a V2 geralmente melhorou o desempenho, particularmente na direção Kpelle-para-Inglês em contagens de treinamento mais altas. No entanto, para a tradução de Inglês-para-Kpelle, o artigo observa que os ganhos foram modestos, com a V1 superando a V2 na marca de 30k passos.
• Análise Comparativa: Os scores BLEU alcançados (variando aproximadamente entre 20–30) são consistentes com o desempenho do NLLB-200 em outras línguas africanas de baixos recursos (ex: Wolof, Luo, Ioruba), embora permaneçam abaixo de línguas de alto desempenho como o Suaíli.

Significância e Alegações
Os autores alegam que este trabalho lança as bases para pesquisas intensivas sobre o Kpelle e outras línguas de baixos recursos da Libéria. Ao demonstrar que um desempenho competitivo de MT é alcançável apesar do status de baixos recursos da língua, o artigo ressalta o potencial para o desenvolvimento de tecnologias de linguagem inclusivas.

A significância do trabalho é estruturada em torno de:

• Viabilização de Aplicações de PLN: O conjunto de dados serve como um recurso necessário para o desenvolvimento não apenas de tradução automática, mas também de ferramentas de reconhecimento de fala e modelagem de linguagem.
• Comunidade e Inclusão: O projeto contribui para o objetivo mais amplo de promover a diversidade linguística e a inclusão para línguas africanas, abordando especificamente a marginalização das línguas Mande no PLN.
• Roteiro Futuro: Os autores enfatizam que, embora os resultados atuais sejam promissores, o trabalho futuro deve focar na consistência ortográfica, na expansão da cobertura de domínio (especificamente em saúde, educação e religião) e na validação impulsionada pela comunidade para melhorar ainda mais o desempenho do modelo.

O artigo conclui com um chamado à ação para que pesquisadores e linguistas colaborem no refinamento do conjunto de dados e no desenvolvimento de novas técnicas de PLN para reduzir o abismo digital para os falantes de Kpelle.