Long-Context Encoder Models for Polish Language Understanding

Título: Modelos Codificadores de Longo Contexto para Compreensão da Língua Polonesa

1. O Problema

Embora os Modelos de Linguagem (LLMs) baseados apenas em decodificadores dominem o cenário atual de PLN, as arquiteturas baseadas apenas em codificadores (como BERT e RoBERTa) permanecem o padrão mais eficiente em termos de custo e parâmetros para tarefas discriminativas (classificação, NER, etc.). No entanto, os codificadores clássicos possuem uma janela de contexto limitada (geralmente 512 tokens), o que é insuficiente para processar documentos longos, um requisito comum em aplicações modernas, especialmente no setor bancário e financeiro. Além disso, havia uma lacuna significativa na disponibilidade de modelos codificadores de alta qualidade e longo contexto especificamente treinados para a língua polonesa.

2. Metodologia

Os autores desenvolveram o polish-roberta-8k, um modelo codificador polonês capaz de processar sequências de até 8192 tokens. A abordagem técnica envolveu as seguintes etapas:

• Base do Modelo: O trabalho partiu do modelo polish-roberta-large-v2, conhecido por seu alto desempenho no benchmark KLEJ.
• Adaptação de Posição: A camada de incorporação posicional foi estendida de 512 para 8192 posições. Como as novas posições foram inicializadas aleatoriamente, foi necessário um treinamento adicional.
• Otimizações Arquiteturais:
  • Implementação do Flash Attention para reduzir o consumo de memória e sobrecarga computacional.
  • Implementação de empacotamento sem contaminação (contamination-free packing): Diferente do método ingênuo que concatena documentos, esta técnica restringe o mecanismo de atenção para não cruzar as fronteiras de documentos dentro da mesma sequência, evitando contaminação de conteúdo.
• Estratégia de Treinamento em Duas Etapas:
  1. Etapa 1 (Congelamento): Todos os pesos do modelo foram congelados, treinando-se apenas a nova camada de incorporação posicional por uma época. Isso evitou flutuações excessivas de gradiente que poderiam degradar os pesos pré-treinados.
  2. Etapa 2 (Ajuste Fino Total): O modelo inteiro foi treinado por quatro épocas adicionais no mesmo corpus (150 bilhões de tokens).
  • Mergulho de Checkpoints: O modelo final é uma média de checkpoints selecionados das épocas 2, 3 e 4 da segunda etapa, garantindo um equilíbrio entre a qualidade em textos curtos e longos.
• Distilação de Conhecimento (Modelos Comprimidos): Para aplicações em dispositivos de borda, foram criadas versões compactas reduzindo o número de camadas de codificador:
  • 50% de redução: 12 camadas (polish-roberta-8k-12L).
  • 75% de redução: 6 camadas (polish-roberta-8k-6L).
  • A distilação utilizou o erro quadrático médio (MSE) entre as representações dos tokens da camada final do modelo "professor" e o "aluno". Para o modelo de 6 camadas, foi testada uma abordagem progressiva (primeiro para 12 camadas, depois para 6), que se mostrou mais eficaz.

3. Principais Contribuições

1. Lançamento do polish-roberta-8k: O primeiro modelo codificador polonês de alta qualidade com contexto estendido para 8192 tokens.
2. Versões Comprimidas: Disponibilização de variantes de 12 e 6 camadas, otimizadas para eficiência em recursos limitados, mantendo desempenho competitivo.
3. Novo Benchmark Financeiro (FinBench): Introdução de um conjunto de 7 tarefas específicas do domínio bancário e financeiro em polonês, incluindo classificação de documentos longos, análise de sentimento de notícias financeiras e detecção de intenções de clientes.
4. Avaliação Abrangente: Testes realizados em 25 tarefas, cobrindo benchmarks públicos (KLEJ), tarefas financeiras internas e outras tarefas de classificação/regressão.

4. Resultados

• Desempenho Geral: O polish-roberta-8k alcançou a melhor pontuação média entre todos os modelos poloneses e multilíngues avaliados (85,93% de média geral), superando o polish-roberta-large-v2 e o herbert-large-cased.
• Tarefas de Longo Texto: O modelo superou significativamente os concorrentes nas 4 tarefas que envolvem textos longos (Banking-Long, MIPD, EURLEX e IMDB), onde os modelos de 512 tokens falham ou exigem truncamento.
• Tarefas de Texto Curto: O modelo manteve qualidade comparável aos modelos existentes em textos curtos, demonstrando que a extensão do contexto não degradou o desempenho em tarefas padrão.
• Modelos Comprimidos: A versão de 12 camadas (polish-roberta-8k-12L) obteve o melhor desempenho entre os modelos pequenos, superando o polish-roberta-base-v2. A distilação progressiva para 6 camadas também superou a distilação direta.
• Validação Interna (Banco PKO): Em dados proprietários do banco (e-mails e contratos de hipoteca), o modelo adaptado ao domínio (polish-roberta-8k com domínio adaptado) superou a linha de base herbert-large-cased em aproximadamente 8 pontos percentuais na classificação de e-mails e manteve vantagem significativa na classificação de documentos de hipoteca.

5. Significância

Este trabalho é fundamental para o ecossistema de PLN em polonês, pois:

• Preenche uma Lacuna Técnica: Oferece uma solução eficiente para o processamento de documentos longos sem a necessidade de usar LLMs generativos pesados e custosos.
• Aplicabilidade Industrial: Demonstra a viabilidade de modelos codificadores de longo contexto em cenários reais de alto valor, como o setor bancário, onde a compreensão de contratos e documentos completos é crucial.
• Eficiência de Recursos: Através da distilação, torna possível a implantação de modelos de longo contexto em dispositivos com restrições de memória e computação, democratizando o acesso a tecnologias avançadas de NLP.
• Padrão de Avaliação: A introdução do FinBench estabelece um novo padrão para avaliar a capacidade de modelos de entender nuances financeiras e documentos longos em polonês.

Em resumo, o artigo prova que é possível estender a janela de contexto de modelos codificadores tradicionais mantendo a eficiência e a qualidade, oferecendo uma alternativa superior aos modelos de decodificador puro para tarefas discriminativas complexas em polonês.