Resumo Técnico: CommonLID: Reavaliando o Desempenho de Identificação de Idioma de Estado da Arte em Dados da Web

Declaração do Problema

A Identificação de Idioma (LID) é um pré-requisito crítico para a curadoria de corpora multilíngues, mas os modelos atuais apresentam um desempenho insatisfatório em dados da web ruidosos e heterogêneos, particularmente para idiomas de baixos recursos e subatendidos. Embora parte da literatura sugira que a LID seja um problema "resolvido", este artigo argumenta que as avaliações existentes são enganosas. A maioria dos modelos de estado da arte (SOTA) é treinada em dados "limpos" (ex: textos religiosos, documentos governamentais, Wikipedia) e avaliada em benchmarks também limpos (ex: FLORES, UDHR). Consequentemente, esses modelos falham em generalizar para o domínio da web, onde o texto é frequentemente não estruturado, contém alternância de código (code-switching) e carece dos registros formais dos dados de treinamento. Além disso, muitos sistemas de LID populares carecem de dados de treinamento abertos ou falham em suportar a "cauda longa" de idiomas, limitando o desenvolvimento de Grandes Modelos de Linguagem (LLMs) para idiomas além do inglês (LOTE).

Metodologia

Criação do Dataset (CommonLID)

Os autores introduzem o CommonLID, um benchmark impulsionado pela comunidade e anotado por humanos, especificamente projetado para o domínio da web.

• Obtenção de Dados: O texto foi amostrado do Common Crawl (CC-MAIN-2024-22 e CC-MAIN-2025-05) e do MADLAD-400. Para gerenciar a escala dos dados da web, os autores utilizaram três modelos de LID existentes (fastText, OpenLID, GlotLID) para pré-selecionar documentos, reconhecendo isso como um compromisso necessário para evitar a impraticabilidade da amostragem aleatória para idiomas sub-representados.
• Processo de Anotação: Mais de 80 anotadores nativos, recrutados da comunidade de PLN e de organizações de base, participaram via hackathons virtuais. Eles utilizaram uma interface Dynabench modificada para realizar a identificação de idioma ao nível de linha.
• Incentivos: Para garantir colaboração ética e engajamento de alta qualidade, os colaboradores que anotaram pelo menos 100 documentos receberam a oferta de coautoria no artigo.
• Processamento de Dados: As anotações brutas passaram por uma limpeza rigorosa, incluindo:
  • Divisão do texto por quebras de linha para evitar a divisão complexa de sentenças.
  • Filtragem de linhas com menos de 10 caracteres.
  • Remoção de boilerplate em inglês (usando langid.py como heurística) de linhas não inglesas, com isenções específicas para idiomas como o gaélico escocês e o pidgin nigeriano para evitar falsos positivos.
  • Reconciliação manual de casos ambíguos (ex: distinções entre macro-idiomas e micro-idiomas, particularmente para o árabe).
• Estatísticas do Dataset: O dataset final contém 373.230 linhas distribuídas em 109 variedades linguísticas. É mais de dez vezes maior que o recente dataset "Smol", com 78 idiomas contendo pelo menos 100 linhas.

Estrutura de Avaliação

Os autores avaliaram oito modelos de LID populares (AfroLID, CLD2, fasttext, FUN-LangID, pyFranc, CLD3, GlotLID v4, OpenLID-v2) e quatro LLMs da OpenAI (GPT-4o, GPT-4o-mini, GPT-5, GPT-5-mini) através de múltiplos datasets:

1. CommonLID (Domínio da web, anotado por humanos).
2. SmolSent, Bibles, Social Media (Ruidoso/Coloquial).
3. FLORES+, UDHR-LID (Domínios limpos e formais).

Métricas: O estudo utiliza F1 scores com média macro e Taxas de Falso Positivo (FPR). Para lidar com o desafio de comparar modelos com disparidade na cobertura de idiomas, os autores reportam os scores de duas formas:

• "all": Calculado sobre todo o dataset (idiomas não cobertos pontuam zero).
• "cov.": Calculado apenas sobre o subconjunto de idiomas que o modelo suporta.
• Análise de Conjunto Core: Uma comparação direta foi realizada em um conjunto "Core" de 76 idiomas suportados por todos os modelos para garantir uma comparação justa.

Resultados Principais

Desempenho no CommonLID

O CommonLID prova ser um benchmark significativamente mais desafiador do que os datasets existentes.

• Scores Baixos: A maioria dos modelos alcançou F1 scores na casa dos 60 (em média sobre os idiomas suportados) no CommonLID, um contraste gritante com os valores nos 80 ou 90 frequentemente vistos em datasets limpos como FLORES ou UDHR.
• Lacuna de Domínio: Os altos scores em datasets como UDHR ou corpora da Bíblia são atribuídos à sobreposição de dados de treinamento (ex: GlotLID é fortemente treinado em dados da Bíblia; Franc em UDHR). Esses altos scores não se traduzem em desempenho em dados da web.
• Comparação de Modelos:
  • O GlotLID demonstrou o desempenho geral mais forte e a maior cobertura de idiomas, alcançando o maior F1 no conjunto "Core" (91,6%) e nos conjuntos de "Alta Cobertura". No entanto, sofre de tempos de inferência significativamente mais lentos em comparação com modelos mais leves como o CLD2.
  • CLD2 e GlotLID situam-se na fronteira de Pareto do equilíbrio entre computação e desempenho.
  • LLMs: Apesar de suas capacidades gerais de PLN, os modelos GPT da OpenAI (mesmo o GPT-5) foram superados pelo GlotLID em tarefas de LID zero-shot, particularmente em idiomas de baixos recursos e africanos (ex: o GPT-5 teve um F1 ~30% menor em idiomas africanos comparado ao GlotLID).

Acordo Entre Anotadores

Devido à natureza voluntária do projeto, apenas 12,9% das linhas foram duplo-anotadas. Entre estas, 2,3% apresentaram discordância genuína após a filtragem de erros de boilerplate. As discordâncias foram impulsionadas principalmente por:

• A natureza contínua do árabe (dialetos vs. macro-idioma).
• Distinções de macro/micro idiomas (ex: Chinês vs. Mandarim).
• Boilerplate em inglês identificado erroneamente como outros idiomas.

Principais Contribuições

1. Benchmark CommonLID: Um dataset de LID de grande escala, anotado por humanos, cobrindo 109 idiomas especificamente derivados do domínio ruidoso da web, abordando a escassez de dados de avaliação abertos e representativos para idiomas subatendidos.
2. Anotação Centrada na Comunidade: Um modelo inovador de recrutamento e incentivo que trata os anotadores como coautores, promovendo colaboração ética e maior qualidade de dados do que o crowdsourcing típico.
3. Avaliação Abrangente: Um benchmarking rigoroso de oito modelos de LID SOTA e quatro LLMs, revelando que os modelos atuais são excessivamente otimistas quando avaliados em dados limpos e lutam significativamente com dados da web.
4. Lançamento Aberto: O dataset, o código e os scripts de avaliação são lançados sob uma licença aberta e permissiva para facilitar a pesquisa reprodutível.

Significância e Alegações

O artigo afirma que a LID está longe de estar resolvida, particularmente para o domínio da web e idiomas de baixos recursos. Os autores argumentam que as avaliações existentes superestimam sistematicamente a precisão da LID porque dependem de datasets limpos e de domínios específicos que não refletem a heterogeneidade do texto da web.

Ao introduzir o CommonLID, os autores fornecem um benchmark mais realista que destaca as limitações dos modelos atuais. Eles afirmam que melhorar a LID é essencial para reduzir a inequidade translinguística em PLN, pois o baixo desempenho da LID em dados da web impede a criação de corpora de treinamento de alta qualidade para idiomas além do inglês. O trabalho ressalta a necessidade de datasets de avaliação melhores e apropriados ao domínio, bem como de modelos que possam generalizar além dos domínios "limpos" de textos religiosos e documentos governamentais.