Legal Domain Adaptation of Modern BERT Models

Resumo Técnico: Adaptação de Domínio Jurídico de Modelos ModernBERT

Problema
Embora os codificadores do tipo BERT continuem amplamente utilizados na prática, avanços arquiteturais recentes (ex: flash attention, embeddings RoPE) e pré-treinamento em escala massiva (trilhões de tokens) levaram ao surgimento de modelos como o ModernBERT. A questão central abordada por este trabalho é se tais codificadores modernos e fortemente pré-treinados ainda se beneficiam da adaptação de domínio em campos especializados como o Direito. Especificamente, os autores investigam se o pré-treinamento adicional em opiniões de tribunais dos EUA melhora o desempenho em relação a uma linha de base "vanilla" do ModernBERT, e se o pré-treinamento de uma arquitetura ModernBERT do zero com um vocabulário específico do domínio supera a continuidade do pré-treinamento em um checkpoint existente.

Metodologia
Os autores conduziram quatro experimentos primários de pré-treinamento utilizando o corpus Collaborative Open Legal Data (COLD), composto por 8,3 milhões de opiniões de tribunais dos EUA (aproximadamente 13 bilhões de palavras).

1. Pré-treinamento Contínuo: Checkpoints existentes do ModernBERT (base e large) foram submetidos a um pré-treinamento adicional no corpus COLD usando o objetivo de modelagem de linguagem mascarada (MLM).
2. Pré-treinamento do Zero: Novos modelos com a arquitetura ModernBERT foram treinados do zero nos mesmos dados, utilizando um vocabulário jurídico especializado derivado de trabalhos anteriores (CaseLawBERT).
3. Manipulação de Dados: Os autores processaram opiniões de até 8.192 tokens, descartando aquelas com menos de 500 tokens e dividindo as mais longas. Eles experimentaram tanto com versões brutas quanto limpas dos dados, selecionando finalmente os dados originais do COLD, pois estes renderam um desempenho ligeiramente superior na tarefa LexGLUE/SCOTUS.
4. Hiperparâmetros: O treinamento seguiu as especificações do artigo do ModernBERT: razão de mascaramento de 30%, agendador de taxa de aprendizado linear, taxa de aprendizado inicial de 3e-4, decaimento de peso de 8e-5 e tamanho de lote constante de 512.

Principais Contribuições

• Investigação de Codificadores Modernos: Este é o primeiro trabalho a investigar a adaptação de domínio do ModernBERT (treinado em 2 trilhões de tokens) especificamente para o domínio jurídico.
• Lançamento de Modelos: Os autores liberaram publicamente todos os checkpoints de modelos resultantes (LegalModernBERT-base e -large), disponíveis no Hugs Face.
• Capacidade de Contexto Longo: Os modelos são capazes de processar sequências de até 8.192 tokens, excedendo o comprimento médio das opiniões dos tribunais dos EUA e permitindo o processamento de documentos completos, uma capacidade limitada em modelos BERT anteriores (512 tokens).

Resultados
Os modelos foram avaliados em quatro tarefas relacionadas a opiniões de tribunais dos EUA: LexGLUE/SCOTUS (classificação), LexGLUE/CaseHold (QA de múltipla escolha), LePaRD (recuperação de passagens) e BarExam QA (recuperação).

• Pré-treinamento Contínuo vs. Vanilla: O pré-treinamento adicional do ModernBERT em dados jurídicos gerou melhorias estatisticamente significativas em relação à linha de base vanilla do ModernBERT em todos os conjuntos de dados. Por exemplo, no LexGLUE/SCOTUS, o LegalModernBERT-base alcançou um Micro-F1 de 67,5 comparado a 65,3 do vanilla base.
• Pré-treinamento Contínuo vs. Do Zero: Contrariando as descobertas na literatura anterior de adaptação de domínio de BERT, o pré-treinamento da arquitetura ModernBERT do zero com um vocabulário especializado não igualou o desempenho da continuidade do pré-treinamento em um checkpoint existente do ModernBERT. Os autores especulam que o pré-treinamento de 2 trilhões de tokens do ModernBERT base compensa os ganhos tipicamente alcançados pelo treinamento do zero, e que o vocabulário do ModernBERT é mais adaptável a novos domínios do que os vocabulários de BERT/RoBERTa mais antigos.
• Impacto do Comprimento da Sequência: O ajuste fino (fine-tuning) com um comprimento de sequência de 8.192 tokens resultou em ganhos substanciais de desempenho em comparação com 512 tokens em todos os experimentos, sugerindo que as limitações anteriores no NLP jurídico foram, em parte, devidas a comprimentos de contexto insuficientes.
• Escala: Os modelos LegalModernBERT-large superaram consistentemente seus equivalentes base em todos os benchmarks.
• Tarefas de Recuperação: Embora o pré-treinamento contínuo geralmente tenha performado melhor, os autores observaram que, para tarefas de recuperação (LePaRD, BarExam QA), o modelo base "do zero" às vezes superou o modelo base de pré-treinamento contínuo, sugerindo que a recuperação pode recompensar a especialização lexical mais do que as tarefas de classificação para modelos menores.

Significância e Alegações
O artigo afirma que, apesar do massivo pré-treinamento geral do ModernBERT, a adaptação de domínio permanece crítica para tarefas de NLP jurídico, oferecendo melhorias consistentes com estudos iniciais de adaptação de domínio (ganhos de 1 a 3 pontos percentuais). Os autores posicionam seu trabalho como um passo para aumentar o acesso à justiça, fornecendo modelos especializados e de código aberto capazes de realizar incorporação (embedding), recuperação e reclassificação (reranking) de documentos jurídicos.

Eles enfatizam a utilidade prática desses modelos para aplicações de tecnologia jurídica de "universo fechado", particularmente para defensores públicos, onde a privacidade dos dados e a prevenção de modelos comerciais proprietários são preocupações. Os autores declaram explicitamente que seus modelos são destinados a tarefas como recuperação de documentos e busca de evidências, e não para gerar aconselhamento jurídico ou resumos. Eles reconhecem limitações, incluindo o foco exclusivo em opiniões de tribunais dos EUA, a falta de investigação de viés e o potencial de ruído na conversão de PDF para texto dos dados de treinamento.