Resumo Técnico: Modelos Mecellem

Declaração do Problema

Grandes Modelos de Linguagem (LLMs) treinados predominantemente em dados centrados no inglês exibem degradação de desempenho em idiomas não ingleses e domínios altamente formais. O domínio jurídico turco apresenta desafios específicos devido à sua riqueza morfológica (estrutura aglutinante), variações sintáticas complexas, terminologia intensiva e restrições normativas rigorosas. As abordagens existentes para o PLN jurídico em turco têm dependido amplamente de aprendizado de máquina tradicional, classificação baseada em transformer ou ajuste fino eficiente de parâmetros (PEFT) de modelos pequenos. No entanto, esses métodos frequentemente se mostram insuficientes para uma adaptação profunda de domínio, falhando em capturar os padrões linguísticos sutis e o raciocínio de contexto longo necessários para a recuperação e geração eficaz de informações jurídicas. Além disso, os objetivos de pré-treinamento padrão (ex: perda de Modelagem de Linguagem Mascarada - MLM) nem sempre se correlacionam com a utilidade de embedding downstream, particularmente para línguas morfologicamente ricas.

Metodologia

O artigo introduz o Mecellem, um framework para o desenvolvimento de modelos de linguagem jurídica turca especializados através de duas abordagens complementares:

1. Modelos Encoder: Pré-treinados do Zero

Os autores desenvolveram modelos encoder bidirecionais baseados na arquitetia ModernBERT, pré-treinados inteiramente do zero em um corpus curado de predominância turca.

• Dados: O corpus consiste em 112,7 bilhões de tokens, combinando textos jurídicos turcos (Tribunal de Cassação, Conselho de Estado, teses acadêmicas) com dados gerais da web (FineWeb2, CulturaX). Os dados passaram por um pré-processamento rigoroso, incluindo extração de OCR baseada em VLM (DotsOCR) para documentos digitalizados, deduplicação semântica (SemHash) e filtragem de qualidade específica para o turco baseada em entropia de sufixos e diversidade de lemas.
• Arquitetura: Dois tamanhos de modelo foram treinados: Base (155M de parâmetros) e Large (403M de parâmetros). Ambos utilizam atenção local e global alternada, embeddings posicionais RoPE e suportam comprimentos de sequência de até 8.192 tokens.
• Estratégia de Treinamento:
  • Pré-treinamento: Utilizou Modelagem de Linguagem Mascarada (MLM) com uma taxa de mascaramento de 30% (estratégia 80-10-10).
  • Seleção de Checkpoint: Em vez de confiar apenas na minimização da perda de MLM, os autores implementaram uma estratégia que avalia o desempenho de recuperação downstream durante o treinamento. Isso revelou que os checkpoints ideais para recuperação ocorrem frequentemente antes que a perda de pré-treinamento atinja seu mínimo.
  • Pós-treinamento: Os encoders foram convertidos em modelos de embedding usando aprendizado contrastivo no conjunto de dados MS MARCO-TR. As técnicas incluíram InfoNCE padrão, InfoNCE estilo Qwen3 e GISTEmbed com modelos de guia em cache (BGE-M3, EmbeddingGemma-300M) para filtragem de falsos negativos.

2. Modelos Decoder: Pré-treinamento Contínuo (CPT)

Os autores adaptaram os modelos decoder existentes Qwen3-1.7B e Qwen3-4B ao domínio jurídico turco via Pré-treinamento Contínuo.

• Estratégia: Uma abordagem de aprendizado de currículo de quatro fases foi empregada para o modelo de 1.7B, progredindo de textos gerais em turco para conteúdo jurídico específico, documentos normativos longos e, finalmente, refinamento de domínio estendido. O modelo de 4B passou por um CPT de fase única em larga escala.
• Mitigação de Esquecimento Catastrófico: A estrutura do currículo e a inclusão de um buffer de replay (reintroduzindo os dados da Fase 1 na Fase 2) foram utilizadas para preservar as capacidades linguísticas gerais enquanto se adquiria expertise jurídica.
• Avaliação: O desempenho foi medido via perplexidade no conjunto de dados EuroHPC-Legal e avaliado utilizando o Muhakim, um modelo de recompensa específico de domínio treinado para avaliar precisão estatutária, raciocínio jurídico e qualidade de citação.
• Conversão Decoder-para-Encoder: Os modelos decoder CPT foram convertidos em modelos de embedding removendo a cabeça de modelagem de linguagem, habilitando a atenção bidirecional e aplicando pooling de média.

Principais Contribuições

1. Pré-treinamento do Zero para Embeddings Jurídicos Turcos: A criação de encoders baseados em ModernBERT pré-treinados do zero em 112,7 bilhões de tokens, demonstrando que o pré-treinamento do zero para domínios específicos é eficaz para tarefas jurídicas em turco.
2. Seleção de Checkpoint Consciente do Downstream: Uma descoberta inovadora de que, para línguas morfologicamente ricas, o checkpoint ideal para o desempenho de recuperação downstream não coincide necessariamente com o mínimo da perda de pré-treinamento. Checkpoints intermediários frequentemente produzem uma qualidade de embedding superior.
3. Pré-treinamento Contínuo Controlado: Uma aplicação bem-sucedida de CPT aos modelos Qwen3 usando um aprendizado de currículo de quatro fases, alcançando reduções significativas de perplexidade (até 43,1% para o modelo 1.7B) enquanto mitiga o esquecimento catastrófico.
4. Engenharia de Dados Específica para o Turco: Desenvolvimento de um pipeline robusto para extração e limpeza de dados jurídicos turcos, incluindo OCR baseado em VLM para documentos complexos e filtros de qualidade baseados em morfologia (entropia de sufixos, diversidade de lemas).
5. Benchmarking Abrangente: Introdução do MTEB-Turkish, um framework de avaliação que estende o MTEB com tarefas específicas do turco e três benchmarks de recuperação jurídica de domínio específico (Contratos, Regulamentação, Jurisprudência).

Resultados

• Desempenho do Encoder:
  • Os modelos Mursit-Base-TR-Retrieval (155M) e Mursit-Large-TR-Retrieval (403M) alcançaram o top-3 no ranking de recuperação em turco.
  • Apesar de possuírem significativamente menos parâmetros que os modelos de estado da arte (ex: EmbeddingGemma-300M, BGE-M3), os modelos Mecellem alcançaram desempenho comparável. O modelo de 155M alcançou uma Pontuação MTEB de 55,86 e uma Pontuação Jurídica de 47,52, superando modelos decoder convertidos maiores.
  • Os modelos atingiram 92,36% de eficiência de produção em relação aos modelos SOTA, ocupando o quarto lugar geral enquanto exigiam menos recursos computacionais.
• Desempenho do Decoder:
  • O CPT resultou em uma redução de perplexidade de 36,2% em textos jurídicos turcos para o modelo Qwen3-4B e de até 43,1% para o Qwen3-1.7B.
  • A avaliação com o modelo de recompensa Muhakim mostrou que os modelos CPT superaram consistentemente os modelos base em precisão jurídica, referência estatutária e profundidade de cobertura, particularmente sob restrições de contexto curto.
• Insights de Ablação:
  • Comprimento de Sequência: Otimizar o comprimento da sequência baseando-se apenas na distribuição dos dados de treinamento (ex: 256 tokens) causou uma degradação significativa de desempenho (até 23,6% na recuperação de regulamentação) em comparação com sequências mais longas (2048 tokens), destacando a necessidade de compreensão de contexto longo em domínios jurídicos.
  • Filtragem de Falsos Negativos: O uso de GISTEmbed com modelos de guia melhorou as pontuações de recuperação jurídica em 15,9% em relação ao InfoNCE padrão.
  • Arquitetura: Modelos encoder criados especificamente e pré-treinados do zero superaram os modelos convertidos de decoder-para-encoder, que tiveram dificuldades com tarefas de recuperação jurídica apesar de possuírem maior contagem de parâmetros.

Significância e Alegações

O artigo afirma que modelos de linguagem jurídica turca eficazes podem ser desenvolvidos através de pré-treinamento de domínio específico do zero e pré-treinamento contínuo controlado, desde que as estratégias de treinamento sejam adaptadas às complexidades linguísticas do turco.

As principais alegações incluem:

• A Perda de MLM Não é um Proxy para Qualidade de Embedding: Para línguas morfologicamente ricas como o turco, minimizar a perda de pré-treinamento não garante a qualidade ideal de embedding downstream. A avaliação direta de tarefas downstream é essencial para a seleção de checkpoints.
• Eficiência de Parâmetros: Modelos menores e específicos de domínio (155M de parâmetros) podem alcançar desempenho comparável a modelos muito maiores e de múltiplos estágios pós-treinados, oferecendo uma alternativa de baixo custo para aplicações de PLN jurídico.
• Necessidade de Aprendizado de Currículo: Para modelos menores, uma abordagem de aprendizado de currículo estruturada de múltiplas fases é crítica para uma adaptação de domínio bem-sucedida sem esquecimento catastrófico, enquanto modelos maiores podem tolerar treinamento de fase única.
• Limitações: O artigo nota modestamente que a conversão de decoder-para-encoder sem uma infraestrutura extensa de treinamento de múltiplos estágios (geração de dados sintéticos, fusão de modelos) resulta em desempenho subótimo para tarefas de embedding, particularmente em domínios jurídicos especializados.

Os autores enfatizam que seu trabalho aborda a natureza subatendida do PLN jurídico em turco, fornecendo modelos e benchmarks de código aberto para facilitar o desenvolvimento de ferramentas de IA jurídica adaptadas ao quadro jurídico único da Turquia.