Resumo Técnico: LegalOne

Definição do Problema

Embora os Grandes Modelos de Linguagem (LLMs) demonstrem capacidades gerais impressionantes, sua aplicação direta no domínio jurídico é dificultada por duas limitações primárias:

1. Conhecimento de Domínio Insuficiente: Modelos gerais carecem de fundamentação precisa em fontes autoritativas (estatutos, interpretações judiciais, precedentes) e lutam com a complexidade do raciocínio judicial rigoroso de múltiplas etapas.
2. Padrões de Raciocínio Desalinhados: Quando aplicados a tarefas jurídicas, os LLMs gerais frequentemente produzem saídas fluentes, mas juridicamente inválidas. Seus padrões de raciocínio frequentemente falham em se alinhar com a prática jurídica do mundo real, levando a alucinações e uma falta de consistência de fontes.

Modelos específicos para o setor jurídico muitas vezes ficam atrás dos principais modelos de propósito geral em termos de capacidade geral ou falham em exibir o raciocínio profundo exigido para a linguagem estatutária complexa e a lógica jurídica.

Metodologia

Os autores apresentam o LegalOne, uma família de modelos de fundação adaptados para o domínio jurídico chinês. Os modelos são desenvolvidos através de um pipeline de treinamento abrangente de três fases, projetado para dominar o raciocínio jurídico enquanto retém capacidades gerais.

Fase 1: Mid-Training com Amostragem Ajustada de Plasticidade (PAS)

Para preencher a lacuna entre o pré-treinamento geral e o ajuste fino de instrução específico do domínio, o LegalOne introduz um estágio de mid-training.

• Estratégia de Dados: O corpus combina dados gerais de alta qualidade (ex: FinWeb-Edu, MathPile) para evitar o esquecimento catastrófico com um corpus jurídico curado (sentenças, estatutos, artigos acadêmicos) e dados sintéticos. Os dados sintéticos incluem trajetórias de raciocínio geradas via Técnica de Feynman e textos refraseados para aumentar a diversidade linguística.
• Amostragem Ajustada de Plasticidade (PAS): Para abordar o desafio de aprender novos conhecimentos jurídicos sem esquecer as capacidades originais, os autores propõem um agendador de dados baseado em perplexidade.
  • Mecanismo: O PAS trata a probabilidade de amostragem como uma função da taxa de aprendizado. Durante a fase de "re-aquecimento" (onde a taxa de aprendizado aumenta), o modelo é enviesado para amostras de baixa perplexidade (low-PPL) "âncoras" que se alinham com sua distribuição original. Isso estabiliza a otimização e evita o esquecimento catastrófico. À medida que a taxa de aprendizado atinge o pico, a distribuição transiciona suavemente para incluir dados jurídicos de alta perplexidade (high-PPL).
  • Base Teórica: O método é fundamentado na análise de estabilidade numérica, mostrando que dados de baixa perplexidade atuam como um "amortecedor numérico" contra a instabilidade causada pelo aumento da taxa de aprendizado em dados fora da distribuição.

Fase 2: Supervised Fine-Tuning (SFT) com Destilação de CoT Agêntica Jurídica (LEAD)

A destilação padrão de LLMs de propósito geral frequentemente propaga erros e carece da estrutura rigorosa da prática jurídica. O LegalOne utiliza o LEAD para destilar o raciocínio explícito a partir de textos jurídicos brutos.

• Fluxo de Trabalho Agêntico: Em vez de uma destilação ingênua, o LEAD utiliza um sistema agêntico que emula fluxos de trabalho profissionais jurídicos. Ele decompõe problemas jurídicos complexos em uma sequência estruturada: Busca de Fatos, Identificação de Questões, Recuperação de Regras, Dedução de Regras e Derivação de Conclusão.
• Andaime Cognitivo: O fluxo de trabalho integra Protocolos de Especialistas, uma Base de Conhecimento Jurídico externa (para recuperação de estatutos) e Templates Teóricos (ex: silogismo judicial) para guiar a geração de trajetórias de raciocínio.
• Refinamento: As trajetórias brutas passam por Internalização de Conhecimento (reescrita para remover referências externas explícitas, forçando o modelo a internalizar a lógica) e Convergência de Raciocínio (fusão de subetapas fragmentadas em uma única Cadeia de Pensamento — Chain-of-Thought — coerente).
• Controle de Qualidade: Um processo de filtragem de dois estágios (heurístico e LLM-as-Judge) garante que o conjunto de dados final contenha apenas amostras de raciocínio de alta qualidade, logicamente consistentes e factualmente fundamentadas.

Fase 3: Aprendizado por Reforço Multi-Estágio (RL)

Para fomentar uma "Mentalidade Jurídica" autônoma, os autores implementam uma estratégia de Aprendizado por Reforço de Currículo usando o algoritmo DAPO com um novo Baseline de Nível de Token.

• Design de Currículo: O processo de RL abrange cinco estágios de dificuldade crescente, visando três competências principais:
  1. Memorização de Estatutos: Recitar o texto estatutário exato (Recompensa: ROUGE).
  2. Aplicação de Estatutos: Mapear fatos para provisões aplicáveis (Recompensa: F1 score).
  3. Análise de Casos: Responder a questões de múltipla escolha complexas (Recompensa: Acurácia).
  4. Predição de Julgamento: Predizer resultados baseados em fatos de casos (Recompensa: LLM-as-Judge com tolerância para variação de sentença).
  5. Geração de Documentos Jurídicos: Redigir indiciamentos ou sentenças (Recompensa: Avaliação baseada em rubrica).
• Baseline de Nível de Token: Para reduzir a variância na estimativa do gradiente de política, os autores propõem um baseline de nível de token ($b_2$) que pondera as recompensas pelo comprimento da sequência, corrigindo o viés introduzido por baselines de nível de amostra padrão ($b_1$) em tarefas jurídicas de sequências longas.

Principais Contribuições

1. Família de Modelos LegalOne: Uma série de modelos (1.7B, 4B, 8B) que alcançam desempenho de estado da arte em raciocínio jurídico chinês, superando significativamente modelos de propósito geral muito maiores (ex: Qwen3-235B, GPT-5) em tarefas jurídicas específicas.
2. Amostragem Ajustada de Plasticidade (PAS): Um mecanismo de agendamento de dados inovador que equilibra efetivamente a aquisição e a retenção de conhecimento durante o mid-training, mitigando o esquecimento catastrófico sem exigir acesso aos dados originais de pré-treinamento.
3. Destilação de CoT Agêntica Jurídica (LEAD): Um framework para converter lógica judicial implícita em trajetórias de raciocínio explícitas e estruturadas usando fluxos de trabalho agênticos, resultando em maior fundamentação factual e rigor lógico do que a destilação ingênua.
4. RL de Currículo com Baseline de Nível de Token: Uma estratégia de RL de múltiplos estágios que evolui o modelo do reconhecimento de padrões para o raciocínio autônomo, acoplada a uma técnica de otimização de baseline para redução de variância.
5. Recursos Abertos: Lançamento público dos pesos do modelo LegalOne e do LegalKit, um toolkit de avaliação abrangente para LLMs do domínio jurídico.

Resultados Experimentais

Os modelos foram avaliados no JEC-QA (Exame Nacional Unificado de Qualificação Profissional Jurídica) e no LexEval (Taxonomia de Capacidade Cognitiva Jurídica).

• Desempenho: O LegalOne-8B alcança desempenho superior em tarefas jurídicas, superando modelos de propósito geral com contagens de parâmetros vastamente maiores (ex: DeepSeek-v3.2, Qwen3-Max). Por exemplo, o LegalOne-8B pontua 62.36 no LexEval Average e 62.36 no JEC-QA Average, superando o Qwen3-8B (44.61 / 44.61) e competindo com modelos muito maiores.
• Eficiência de Parâmetros: O LegalOne demonstra alta "densidade de capacidade", onde o modelo de 1.7B supera significativamente o base Qwen3-1.7B e aproxima-se do desempenho do modelo geral de 8B, provando que dados de domínio curados podem diminuir a lacuna para modelos compactos.
• Estudos de Ablação:
  • Mid-Training: Essencial para modelos menores (1.7B) para evitar a degradação de desempenho durante o SFT; atua como um estabilizador para o espaço de perda (loss landscape).
  • RL: Proporciona ganhos significativos, particularmente para modelos maiores (8B), sugerindo uma lei de escala (scaling law) específica para o raciocínio jurídico dentro do estágio de RL.
• Capacidades Gerais: Os modelos retêm fortes capacidades gerais (GSM8K, Math500, C-Eval). Notavelmente, a fase de RL mostrou transferência positiva, melhorando o raciocínio lógico geral apesar de ser treinada exclusivamente em dados jurídicos.

Significância

O artigo afirma que o LegalOne representa um passo significativo no desenvolvimento de IA confiável e interpretável para aplicações judiciais de alto risco. Ao ir além do reconhecimento de padrões superficial para o raciocínio jurídico autônomo e estruturado, o LegalOne aborda a lacuna crítica entre a fluência linguística geral e os padrões jurídicos profissionais. Os autores postulam que sua metodologia — especificamente a combinação de PAS, LEAD e RL de Currículo — fornece um blueprint para construir modelos de fundação robustos e alinhados ao domínio em outros campos especializados. O lançamento do LegalKit e dos pesos do modelo visa baixar as barreiras para pesquisas futuras e promover a reprodutibilidade em IA Jurídica.