Corpora deduplication or duplication in Natural Language Processing of few resourced languages ? A case of study: The Mexico's Nahuatl

Título: Duplicação ou Deduplicação de Corpora em Processamento de Linguagem Natural (PLN) de Línguas com Poucos Recursos? Um Estudo de Caso: O Nahuatl do México

1. Problema Definido

O artigo aborda o desafio crítico enfrentado pelas línguas com poucos recursos computacionais (denominadas $\pi$-línguas), em contraste com as línguas ricas em recursos ($\tau$-línguas).

• Escassez de Dados: Modelos de Linguagem de Grande Escala (LLMs) e embeddings estáticos exigem corpora massivos (centenas de milhões de tokens) para aprender representações eficazes. As $\pi$-línguas, como o Nahuatl (falado por mais de 1,65 milhão de pessoas no México), carecem de corpora textuais representativos e em grande escala.
• Complexidade Linguística: O Nahuatl é uma língua aglutinante e polissintética, onde palavras únicas podem conter sujeito, predicado e informações morfológicas complexas. Isso reduz o número de "tokens" (palavras) em comparação com línguas não aglutinantes, exacerbando a escassez de dados para treinamento.
• Limitação Atual: Técnicas de aumento de dados (Data Augmentation) existentes, como substituição de sinônimos (EDA), dependem de recursos lexicais (dicionários, taggers de POS) que são inexistentes ou insuficientes para as diversas variedades dialetais do Nahuatl. Além disso, essas técnicas podem introduzir viés sintático e semântico.

2. Metodologia

Os autores propõem uma abordagem inovadora: a duplicação incremental controlada do corpus existente, em vez da deduplicação (comum em línguas ricas).

• Corpus Base: Utilização do corpus $\pi$-YALLI, que contém aproximadamente 6,6 milhões de palavras em Nahuatl, cobrindo cerca de 20 tópicos e 25 variedades dialetais.
• Técnica de Expansão: O corpus original foi duplicado $\rho$ vezes, criando cópias idênticas. Os valores de duplicação variaram de $\rho = 1$ (original) até $\rho = 30$, gerando corpora expandidos de até ~198 milhões de palavras.
• Modelos Treinados: Foram treinados modelos de embeddings estáticos (não contextuais) para avaliar a qualidade da representação vetorial:
  • Word2Vec (arquiteturas CBOW e Skip-gram).
  • FastText (arquiteturas CBOW e Skip-gram).
  • GloVe.
• Tarefa de Avaliação: A qualidade dos embeddings foi testada em uma tarefa de Semelhança Semântica de Sentenças.
  • 30 sentenças de referência e 5 candidatos por referência foram classificados semanticamente.
  • A concordância entre a classificação do modelo e a classificação de falantes nativos foi medida usando o Coeficiente de Correlação de Kendall ($\tau$).
• Comparação: Os resultados foram comparados com modelos pré-treinados em corpora externos (Wikipédia em Nahuatl e Common Crawl) e com o corpus original sem duplicação.

3. Contribuições Principais

• Inversão de Paradigma: O artigo desafia a convenção de que a duplicação de dados é prejudicial ao treinamento de modelos. Demonstra que, para $\pi$-línguas com escassez extrema de dados, a duplicação controlada pode ser benéfica.
• Solução sem Recursos Lexicais: Propõe uma técnica que não depende de dicionários ou anotações morfológicas complexas, contornando a barreira da falta de recursos linguísticos estruturados para o Nahuatl.
• Validação Empírica: É a primeira vez, segundo os autores, que essa técnica de duplicação incremental é aplicada e avaliada na literatura de PLN para línguas indígenas.

4. Resultados

Os experimentos revelaram que a duplicação do corpus impactou positivamente o desempenho da maioria dos modelos, embora com variações significativas:

• Desempenho Geral: Houve uma melhoria moderada a significativa no coeficiente de Kendall ($\tau$) para a maioria dos modelos ao aumentar o tamanho do corpus via duplicação.
• FastText (Skip-gram): Alcançou o melhor desempenho absoluto. O valor de $\tau$ subiu de 0,459 (corpus original) para 0,495 (com duplicação 10x), uma melhoria de 7,8%.
• Word2Vec (Skip-gram): Apresentou a maior melhoria relativa. O valor de $\tau$ saltou de 0,357 para 0,483 (com duplicação 22x), uma melhoria de 35,3%.
• GloVe: Foi a exceção, mostrando estagnação ou leve queda no desempenho com o aumento da duplicação, sugerindo que este modelo pode não se beneficiar da mesma forma ou requer uma estratégia diferente.
• Comparação com Dados Externos: Os modelos treinados no corpus $\pi$-YALLI expandido superaram significativamente os modelos pré-treinados na Wikipédia em Nahuatl e no Common Crawl, demonstrando que a qualidade e a especificidade do domínio do corpus duplicado superam a quantidade genérica de dados externos.
• Ponto de Saturação: O desempenho ótimo variou por modelo (FastText em 8-10x, Word2Vec em 20-22x), indicando que existe um ponto de saturação ideal para cada arquitetura antes que o overfitting ou a redundância excessiva comecem a prejudicar o aprendizado.

5. Significância e Conclusão

• Viabilidade para Línguas Aglutinantes: O estudo confirma que, para línguas como o Nahuatl, onde a escassez de dados é o principal gargalo, a duplicação de corpora é uma estratégia viável e eficaz para melhorar a qualidade dos embeddings estáticos.
• Impacto na Revitalização: Ao permitir o treinamento de modelos de PLN mais robustos com recursos limitados, esta técnica facilita o desenvolvimento de ferramentas de tradução, sumarização e reconhecimento de entidades nomeadas, essenciais para a revitalização digital de línguas indígenas.
• Futuro: Os autores planejam investigar a normalização de dados textuais e a aplicação dessa técnica em tarefas mais complexas, como sumarização automática e reconhecimento de entidades, além de explorar duplicações focadas em variedades dialetais específicas.

Em resumo, o artigo argumenta que, no contexto de línguas com poucos recursos, a quantidade de dados (mesmo que obtida por duplicação controlada) é frequentemente mais crítica do que a diversidade de dados (deduplicação), permitindo avanços significativos onde outros métodos falham.