Luwen Technical Report

Resumo Técnico: Luwen – Um Modelo de Linguagem Jurídica Chinês de Código Aberto

1. Problema e Contexto

Os Grandes Modelos de Linguagem (LLMs) demonstraram capacidades notáveis em tarefas gerais de processamento de linguagem natural. No entanto, sua aplicação no domínio jurídico enfrenta desafios significativos devido a três fatores principais:

• Terminologia Especializada: Textos jurídicos possuem vocabulário denso e estruturas altamente específicas que modelos gerais muitas vezes não compreendem plenamente.
• Raciocínio Complexo: Tarefas legais exigem inferência lógica baseada em princípios, precedentes e regras estritas, indo além da simples geração de texto.
• Dinâmica de Atualização: O conhecimento jurídico evolui rapidamente (novas leis, interpretações judiciais), o que torna difícil para modelos estáticos manterem a precisão e a atualidade das informações.

O objetivo deste trabalho é superar essas limitações, adaptando um modelo de propósito geral para o domínio jurídico chinês, garantindo precisão, raciocínio lógico e atualização em tempo real.

2. Metodologia

O Luwen é construído sobre a base do modelo Baichuan1-7B e utiliza uma abordagem de três etapas para sua especialização:

• A. Pré-treinamento Contínuo (Continual Pre-Training - CPT):

  • O modelo foi submetido a um pré-treinamento adicional em um corpus jurídico chinês em larga escala (200 GB de dados, com 20% de textos jurídicos e 80% de textos gerais para preservar capacidades universais).
  • O corpus inclui livros jurídicos, artigos acadêmicos, estatutos, decisões judiciais e contratos.
  • Objetivo: Melhorar a compreensão semântica de padrões linguísticos específicos do direito e estruturar o conhecimento jurídico no modelo.

• B. Ajuste Fino Supervisionado (Supervised Fine-Tuning - SFT):

  • O modelo foi treinado em pares de instruções e respostas (formato Instruction-Response) focados em tarefas legais.
  • Dados: Um conjunto de dados de 100.000 amostras, onde 30% são dados jurídicos (consultas, previsões de sentenças, exames jurídicos, extração de casos) e 70% são dados gerais para manter a versatilidade.
  • Processo de Construção: Envolveu filtragem rigorosa (eliminação de termos sensíveis, atualização de termos legais obsoletos devido a novas leis como o Código Civil) e a conversão de textos narrativos em formatos de perguntas e respostas estruturados.
  • Objetivo: Alinhar o modelo com a intenção humana, permitindo respostas precisas, estruturadas e fundamentadas em raciocínio jurídico.

• C. Geração Aumentada por Recuperação (Retrieval-Augmented Generation - RAG):

  • Para mitigar alucinações e garantir a atualidade das informações, o Luwen integra-se a uma base de conhecimento jurídica externa.
  • Base de Conhecimento: Inclui bibliotecas de leis, modelos de documentos, livros didáticos, casos judiciais e questões de exames nacionais.
  • Mecanismo de Recuperação Multi-fonte/Multi-caminho:
    1. Reconhecimento de Intenção: Identifica qual base de dados é relevante para a consulta.
    2. Recuperação Híbrida: Combina busca baseada em palavras-chave (recursos estatísticos) e busca baseada em vetores (recursos semânticos).
    3. Fusão de Conhecimento: As informações recuperadas são injetadas no prompt do modelo para auxiliar na geração da resposta.
  • Objetivo: Permitir que o modelo acesse leis atualizadas e casos específicos sem necessidade de re-treinamento constante.

3. Contribuições Principais

• Modelo Especializado: Lançamento do Luwen, um modelo de linguagem jurídico chinês de código aberto, superando a barreira da aplicação genérica em contextos legais complexos.
• Pipeline de Treinamento Integrado: Demonstração eficaz da combinação de CPT (para conhecimento de domínio), SFT (para raciocínio e instrução) e RAG (para precisão factual e atualidade).
• Conjunto de Dados Jurídico: Criação e disponibilização de um conjunto de dados de ajuste fino diversificado, cobrindo múltiplas tarefas (previsão de sentenças, extração de montantes, geração de opiniões judiciais, etc.).
• Arquitetura Adaptável: Uma abordagem que permite ao modelo manter-se atualizado com mudanças legislativas através da camada de recuperação de conhecimento, em vez de depender apenas dos pesos fixos do modelo.

4. Resultados Experimentais

O modelo foi avaliado em cinco tarefas representativas, divididas em previsão e geração:

• Tarefas de Previsão (Previsão de Julgamento e Exame Judicial):

  • O Luwen superou consistentemente modelos base fortes (Baichuan2, GLM2, Qwen, InternLM2) e até o GPT-3.5.
  • Destaque na previsão de estatutos legais e acusações (charges), onde alcançou a melhor pontuação (0.35 em estatutos vs. 0.22 do GPT-3.5).
  • Isso valida que o pré-treinamento contínuo e o ajuste fino melhoram significativamente a capacidade de inferência legal.

• Tarefas de Geração (Resumo de Texto, Perguntas sobre Artigos, Raciocínio de Decisão):

  • O Luwen obteve pontuações superiores em todas as métricas de avaliação humana (precisão, completude, legibilidade).
  • No Raciocínio de Decisão Judicial, o Luwen atingiu 53.7 pontos, superando o GPT-3.5 (42.7) e o Baichuan+SFT (29.2).
  • Na Resposta a Perguntas sobre Artigos Jurídicos, o modelo alcançou 84.0 pontos, demonstrando superioridade em conhecimento jurídico específico.

5. Significado e Perspectivas Futuras

O Luwen demonstra que é possível adaptar modelos de linguagem de propósito geral para domínios altamente especializados como o direito, desde que se utilizem estratégias de treinamento híbridas (CPT + SFT + RAG).

• Impacto Prático: Oferece ferramentas viáveis para tribunais, escritórios de advocacia e instituições acadêmicas, auxiliando na análise de casos, redação de documentos e pesquisa jurídica.
• Futuro: Os autores planejam expandir as capacidades para:
  • Decomposição de Tarefas: Uso de agentes e Chain-of-Thought (CoT) para lidar com problemas jurídicos complexos de múltiplos passos.
  • Melhoria na Recuperação: Treinamento de modelos de recuperação específicos para bases de conhecimento jurídicas.
  • Multimodalidade: Integração de áudio, vídeo e imagens, comuns em evidências legais.

Em suma, o Luwen representa um avanço significativo na interseção entre IA e Direito, oferecendo um modelo robusto, preciso e atualizável para o ecossistema jurídico chinês.