Pretraining and Benchmarking Modern Encoders for Latvian

1. O Problema

O artigo aborda a lacuna significativa no processamento de linguagem natural (PLN) para a língua letã, uma língua de recursos limitados (low-resource). Embora modelos multilíngues (como mBERT, XLM-R e mmBERT) ofereçam transferência cruzada, eles frequentemente sofrem de uma compensação entre capacidade e cobertura: os parâmetros e vocabulários são compartilhados entre muitas línguas com corpora de pré-treinamento desequilibrados, resultando em representações subótimas para línguas menos representadas.

Além disso, a maioria dos codificadores (encoders) letões existentes é baseada em arquiteturas mais antigas (como BERT padrão) ou possui corpora de treinamento menores e menos diversificados. Existe uma necessidade urgente de:

1. Codificadores monolíngues otimizados especificamente para o letão.
2. Exploração de arquiteturas modernas (como DeBERTaV3 e ModernBERT) e contextos longos (até 8.192 tokens) neste domínio.
3. Um benchmark unificado para avaliar consistentemente esses modelos.

2. Metodologia

2.1. Dados e Pré-processamento

Os autores construíram um corpus letão massivo e diversificado, totalizando 6,43 bilhões de palavras. O conjunto de dados combina:

• Fontes Web em Escala: Subconjuntos do FineWeb2 e HPLT-v2 (limpos).
• Recursos Curados: O Latvian National Corpus Collection (LNCC), incluindo notícias, textos jurídicos, comentários, literatura acadêmica, tweets e o Wikipedia letão.
• Filtragem Rigorosa: Remoção de duplicatas (exatas e próximas via MinHash LSH), remoção de boilerplate e filtragem de baixa qualidade usando um modelo de linguagem KenLM (5-gramas) treinado no Balanced Corpus of Modern Latvian para descartar documentos com alta perplexidade.
• Extensão de Contexto: Um subconjunto de dados de alta qualidade foi amostrado especificamente para suportar janelas de contexto longas (até 8.192 tokens).

2.2. Arquiteturas e Pré-treinamento

Foram pré-treinados três tipos de arquiteturas de codificador, todos usando o mesmo tokenizador (WordPiece de nível de byte, vocabulário de 32.768) e comparáveis em termos de receita de treinamento (100B de tokens):

1. RoBERTa: Segue a receita padrão do HuggingFace com span-based masking (30%).
2. DeBERTaV3: Utiliza atenção desacoplada (disentangled attention) e detecção de tokens substituídos (RTD) com 20% de mascaramento.
3. ModernBERT: Arquitetura focada em eficiência e contexto longo, com três variantes (Mini, Base, Large). Utiliza treinamento em três estágios (estável, extensão de contexto e cooldown), FlashAttention2, e embeddings posicionais RoPE.

2.3. Avaliação (Benchmark)

Foi introduzido um benchmark unificado para letão, dividido em três regimes:

1. Tarefas Leves (Diagnóstico): Baseado no EuroEval, incluindo classificação de sentimentos (LTEC), aceitabilidade linguística (ScaLA), reconhecimento de entidades nomeadas (FSNER), compreensão de leitura (WikiQA) e raciocínio de senso comum (COPA).
2. Universal Dependencies (UD): Avaliação de modelagem morossintática (tagging de POS, lematização, análise de dependência) no treebank letão.
3. Desambiguação de Sentido de Palavras (WSD): Um novo dataset anotado manualmente baseado no Latvian WordNet, avaliando a qualidade das representações semânticas.

3. Contribuições Principais

• Suite de Modelos: Lançamento de uma família de codificadores pré-treinados em letão baseados em RoBERTa, DeBERTaV3 e ModernBERT, incluindo variantes de contexto longo (até 8k tokens).
• Corpus de Alta Qualidade: Criação e disponibilização de um corpus de pré-treinamento de 6,43 bilhões de palavras, rigorosamente filtrado e diversificado.
• Benchmark Unificado: Introdução de um conjunto de tarefas de avaliação padronizado para letão, cobrindo sintaxe, semântica e tarefas de NLU, preenchendo a falta de leaderboards consolidados para a língua.
• Modelo de Referência: Identificação do lv-deberta-base como o modelo de melhor desempenho geral, superando modelos multilíngues muito maiores.

4. Resultados

Desempenho Geral

O modelo lv-deberta-base (111M parâmetros) alcançou o melhor desempenho global, superando consistentemente:

• Modelos multilíngues de grande escala (ex: xlm-roberta-large com 560M parâmetros).
• Modelos letões anteriores (ex: hplt-bert, litlat-bert).

Tarefas Específicas

• Raciocínio de Senso Comum (COPA): O lv-deberta-base obteve um salto significativo, alcançando um coeficiente de correlação de Matthews (MCC) de 52,5, enquanto a maioria dos modelos multilíngues e anteriores ficou abaixo de 20. Isso indica uma capacidade muito superior de raciocínio causal em letão.
• Sintaxe (UD): O modelo obteve os melhores resultados em métricas de análise de dependência (LAS, CLAS), sugerindo que o pré-treinamento monolíngue beneficia fortemente a previsão de estrutura sintática.
• Semântica (WSD): No novo benchmark de WSD, o lv-deberta-base atingiu 78,9% de precisão na seleção de sentido e 83,6% na correspondência contexto-sentido.
• Eficiência: Os modelos baseados em ModernBERT mostraram alta eficiência e suporte a contexto longo, mas ficaram ligeiramente abaixo do lv-deberta-base em tarefas de precisão, embora superassem modelos multilíngues.

Comparação com LLMs

Ao comparar com Grandes Modelos de Linguagem (LLMs) comerciais (como GPT-5) e de código aberto:

• Os LLMs dominaram a tarefa de raciocínio (COPA) e classificação de sentimentos.
• No entanto, os codificadores pré-treinados (especialmente o lv-deberta-base) superaram os LLMs em tarefas de extração (NER, QA) e análise linguística estruturada, demonstrando que, para tarefas específicas de NLU, codificadores menores e especializados são mais eficazes e eficientes.

5. Significado e Conclusão

O trabalho demonstra que, para línguas de recursos limitados como o letão, o pré-treinamento monolíngue focado é superior à dependência de modelos multilíngues genéricos, mesmo quando estes últimos são muito maiores.

• Eficiência de Parâmetros: Um modelo de 111M parâmetros (lv-deberta-base) supera modelos de 560M+ parâmetros, provando que a qualidade dos dados e a adequação da arquitetura à língua específica são mais críticas do que apenas o tamanho do modelo.
• Avanço Arquitetural: A adaptação de arquiteturas modernas (DeBERTaV3, ModernBERT) para o letão traz benefícios tangíveis em termos de precisão e capacidade de processamento de contexto longo.
• Reprodutibilidade: A liberação pública de todos os modelos, dados e recursos de avaliação estabelece uma nova base para pesquisa e aplicações práticas de PLN em letão, facilitando o desenvolvimento de ferramentas como buscadores, assistentes e sistemas de análise de documentos.

O estudo conclui que, embora existam limitações (como viés em dados de web e falta de suporte a code-switching), os modelos propostos representam o estado da arte atual para codificadores letões.