OpenLID-v3: Improving the Precision of Closely Related Language Identification -- An Experience Report

Resumo Técnico: OpenLID-v3: Melhorando a Precisão da Identificação de Línguas Closamente Relacionadas

Declaração do Problema
A identificação de línguas (LID) é uma etapa de pré-processamento crítica para a construção de conjuntos de dados multilíngues de alta qualidade a partir de dados da web, particularmente para o pré-treinamento de Grandes Modelos de Linguagem (LLMs). No entanto, ferramentas existentes como OpenLID e GlotLID enfrentam dois problemas principais: distinguir entre línguas de parentesco próximo e diferenciar linguagem natural válida de ruído (ex: código, codificação corrompida ou conteúdo gerado por máquina). Essas falhas levam à contaminação de subconjuntos específicos de línguas, um problema exacerbado para línguas de baixos recursos. Além disso, os benchmarks de avaliação padrão geralmente dependem de corpora paralelos limpos (ex: FLORES+, UDHR) que não capturam a complexidade e a ambiguidade de documentos reais da web, mascarando o desempenho insatisfatório em variedades linguísticas semelhantes.

Metodologia
Os autores apresentam o OpenLID-v3, uma extensão do sistema OpenLID (baseado na arquitetura fastText), que é totalmente de código aberto. O desenvolvimento da v3 foi impulsionado por uma inspeção manual do desempenho do OpenLID-v2 no conjunto de dados HPLT 3.0, que revelou modos de falha específicos. A metodologia envolveu três intervenções técnicas centrais:

1. Expansão e Limpeza de Dados de Treinamento: Os autores estenderam os dados de treinamento para línguas específicas, notadamente reintroduzindo o Latim e adicionando o Sérvio escrito em alfabeto latino (que estava ausente anteriormente, causando classificação errônea como Bósnio ou Croata). Eles também incorporaram subconjuntos dos dados de treinamento do GlotLID reportados como não ruidosos e adicionaram dumps recentes da Wikipedia.
2. Reestruturação do Inventário de Classes:
   • Fusão de Variantes: Para reduzir a confusão, oito dialetos árabes foram fundidos em uma única macrolíngua ara_Arab, e duas variedades persas foram fundidas em fas_Arab. Da mesma forma, as variantes mutuamente inteligíveis Bambara e Dyula foram fundidas.
   • Rotulagem de Ruído: Uma classe dedicada zxx_Zxxx ("não-uma-língua") foi introduzida usando os dados und_* e zxx_* do GlotLID para modelar explicitamente o ruído não linguístico, abordando o "fenômeno da lata de lixo" onde textos não linguísticos eram forçados em classes de línguas existentes.
3. Abordagens de Ensemble: Os autores experimentaram o uso de ensemble entre OpenLID-v3 e GlotLID utilizando estratégias de concordância top-1 e top-3 para melhorar a precisão, embora a concordância top-3 tenha demonstrado degradar os resultados para modelos de rótulo único.

Estratégia de Avaliação
O artigo argumenta que os benchmarks convencionais são insuficientes para avaliar LID em línguas semelhantes. Consequentemente, a estratégia de avaliação incluiu:

• Benchmarks Padrão: FLORES+, UDHR e FastSpell.
• Benchmarks Customizados/Específicos: Novos conjuntos de dados de avaliação foram criados ou utilizados para três grupos específicos de línguas de parentesco próximo:
  • BCMS (Bósnio, Croata, Montenegrino, Sérvio): Utilizando dados de usuários do Twitter, ParlaSent (transcrições parlamentares) e dados HPLT-LID reanotados.
  • Variedades Românicas: Focando em Ligur, Occitano e Francoprovençal usando o conjunto de dados ITDI.
  • Línguas Escandinavas: Avaliando Norueguês Bokmål, Nynorsk, Dinamarquês e Sueco usando os conjuntos de dados SLIDE e Nordic DSL.
• Métricas: Ênfase na Taxa de Falso Positivo (FPR) e precisão, juntamente com recall e F1-score, para refletir melhor o desequilíbrio de classes encontrado em raspagens reais da web.

Principais Resultados

• Desempenho em Benchmarks: O OpenLID-v3 apresenta desempenho equivalente ou ligeiramente superior ao OpenL_LID-v2 e ao GlotLID em benchmarks padrão (FLORES+, UDHR). A introdução de um limiar de softmax (0.5) geralmente melhorou os resultados para o OpenLID-v3.
• Línguas de Parentesco Próximo:
  • BCMS: O OpenLID-v3 melhorou significativamente a identificação do Sérvio em escrita latina, um grande ponto de falha da v2. No entanto, a confusão entre Bósnio e Sérvio permanece alta devido à sobreposição lexical e raízes compartilhadas. Métodos de ensemble (OpenLID-v3 + GlotLID) melhoraram a precisão, mas reduziram drasticamente a cobertura (recall) para variantes de baixos recursos.
  • Línguas Românicas: No conjunto de dados ITDI, o ensemble do OpenLID-v3 e GlotLID alcançou a maior precisão e o menor FPR, embora ao custo da remoção de muitas amostras de Veneziano.
  • Escandinavas: O GlotLID alcançou o melhor recall, enquanto o OpenLID-v3 mostrou melhor precisão e FPR. As duas variedades noruegas (Bokmål e Nynorsk) continuaram sendo o par mais facilmente confundido.
• Análise de Erro: A análise manual dos erros de BCMS revelou que entidades nomeadas, sobreposição lexical (raízes compartilhadas superando marcadores ortográficos como jat), formas históricas e sintaxe agramatical são as principais fontes de classificação errônea. Sequências curtas e artefatos da web foram identificados como particularmente difíceis para todos os modelos.

Significância e Alegações
O artigo afirma que, embora os benchmarks multilingues de larga escala mostrem pontuações agregadas altas, eles ocultam deficiências significativas na identificação de línguas próximas. O OpenLID-v3 demonstra que:

1. Troca entre Precisão vs. Cobertura: Abordagens de ensemble podem melhorar significativamente a precisão (reduzindo a contaminação de subconjuntos de línguas), mas reduzem substancialmente a cobertura para línguas de baixos recursos, uma consideração crítica para a curadoria de conjuntos de dados.
2. Necessidade de Avaliação Especializada: A avaliação confiável de modelos de LID, especialmente para línguas similares, requer benchmarks específicos para esses grupos linguísticos em vez de conjuntos de dados multilingues gerais.
3. Viabilidade de Código Aberto: Ao priorizar licenças permissivas, o OpenLID-v3 oferece uma alternativa robusta a modelos proprietários ou de licença restrita, capaz de lidar com ruído e variações de escrita específicas (como o Sérvio em alfabeto latino) quando devidamente treinado.

Os autores concluem que, para a identificação geral de línguas escandinavas, o OpenLID-v3 é recomendado se a precisão for priorizada, enquanto o GlotLID é preferível para recall. Para distinguir entre variedades altamente similares (ex: Bokmål vs. Nynorsk), ainda são necessários modelos treinados especificamente para essa separação. O trabalho destaca a necessidade contínua de dados de treinamento multilabel e benchmarks para lidar com a ambiguidade inerente aos documentos da web.