LegalMidm: Use-Case-Driven Legal Domain Specialization for Korean Large Language Model

1. Declaração do Problema

A rápida proliferação de Modelos de Linguagem Grande (LLMs) de código aberto levou a esforços na criação de especialistas de domínio específico. No entanto, os LLMs especializados em domínio existentes (particularmente na área jurídica) frequentemente sofrem de uma desconexão crítica:

• Desalinhamento com Necessidades do Mundo Real: Muitos modelos são treinados em conjuntos de dados e protocolos baseados em suposições ingênuas de utilidade, em vez dos requisitos matizados e de alto risco dos fluxos de trabalho jurídicos reais.
• Falta de Rigor: As abordagens atuais frequentemente falham em abordar a ambiguidade inerente às tarefas jurídicas ou justificar suas composições de dados e formatos de entrada/saída.
• Esquecimento Catastrófico: Adaptar modelos gerais a domínios específicos frequentemente arrisca degradar o desempenho em tarefas gerais ou falhar em manter a identidade do modelo (por exemplo, responder "Quem é você?").
• Contexto: Embora haja alta demanda por IA no setor jurídico coreano, falta um quadro sistemático para adaptar LLMs abertos especificamente à lei coreana.

2. Metodologia

Os autores propõem o LEGALMIDM, um LLM vertical para o domínio jurídico coreano, construído sobre o Mi:dm-2.0-Base (um modelo bilíngue coreano-inglês com 11,5 bilhões de parâmetros). A metodologia é um quadro de ponta a ponta orientado por casos de uso, consistindo em quatro pilares principais:

A. Investigação de Requisitos e Seleção de Tarefas

Em vez de treinamento genérico, os autores analisaram 20 serviços operacionais de tecnologia jurídica (EUA e Coreia do Sul) e consultaram advogados praticantes. Eles identificaram seis tarefas de alta demanda:

1. Resumo de Documentos (DS)
2. Resposta a Perguntas Baseada em Documentos (DQA)
3. Resposta a Perguntas Abertas (Open QA)
4. Elaboração de Reclamações (DD)
5. Elaboração de Petições (DD)
6. QA de Múltipla Escolha (MC)

B. Curadoria e Construção de Dados

• Dados Curados por Humanos: Uma equipe de estudantes de direito, profissionais da indústria e advogados construiu conjuntos de dados de alta qualidade. Isso inclui 100 amostras de teste retidas por tarefa.
• Geração Automática de Dados Sintéticos: Para escalar o volume de dados, eles aproveitaram os estatutos do Centro de Informações Legislativas da Coreia. Usando o GPT-4o, geraram pares de perguntas e respostas onde o modelo foi instruído a citar disposições legais específicas.
  • Verificação: Uma etapa de verificação de correspondência de strings garantiu que as referências citadas fossem substrings reais dos estatutos de origem, assegurando fundamentação factual.
• Preservação do Domínio Geral: Para prevenir o esquecimento catastrófico, os autores analisaram consultas reais de usuários (do ChatKoAlpaca) para identificar perguntas comuns de identidade (por exemplo, "Quem é você?") e incluíram dados de domínio geral (KoAlpaca, KOpen-HQ) na mistura de treinamento.

C. Pipeline de Treinamento

O processo de treinamento envolveu duas etapas com estudos de ablação específicos para determinar estratégias ótimas:

1. Pré-treinamento Contínuo (CPT): Adaptando o modelo base ao domínio jurídico.
2. Ajuste de Instrução (IT): Refinando o modelo para tarefas específicas.

Decisões de Design Chave (Validadas via Ablação):

• Composição de Dados: Integrar dados de domínio geral (na proporção 7:3 de Geral:Jurídico) durante as etapas de CPT e IT produziu desempenho superior em comparação com o treinamento apenas em dados jurídicos. Isso preservou capacidades gerais enquanto aprimorava a especialização jurídica.
• Formatação de Dados Sintéticos: Os autores testaram três formatos para referências legais ($R$):
  1. $M(Q) \to A$ (Sem referência)
  2. $M(Q) \to A + R$ (Referência na saída)
  3. $M(Q + R) \to A$ (Referência na entrada)
  • Descoberta: Embora gerar referências na saída funcionasse bem para tarefas de documentos, causou instabilidade em perguntas de múltipla escolha. A estratégia ótima foi colocar referências legais na entrada ($Q + R$) para todas as tarefas.
• Otimização do Prompt de Sistema: Os autores testaram o treinamento com e sem prompts de sistema (definindo o modelo como "Mi:dm").
  • Descoberta: O treinamento sem prompts de sistema produziu o melhor desempenho jurídico. O prompt de sistema deve ser aplicado apenas no momento da inferência para garantir que o modelo se identifique corretamente sem comprometer o raciocínio específico da tarefa.

3. Principais Contribuições

1. Quadro Orientado por Casos de Uso: Uma receita sistemática para transformar LLMs abertos em especialistas jurídicos, fundamentada em requisitos reais da indústria, em vez de suposições teóricas.
2. Modelo LEGALMIDM: O lançamento de um LLM jurídico coreano especializado de 11,5 bilhões de parâmetros que supera significativamente modelos muito maiores (por exemplo, Llama-3.3-70B, Qwen2.5-32B) em benchmarks jurídicos coreanos.
3. Validação Empírica de Estratégias de Treinamento:
   • Demonstrou que misturar dados de domínio geral é crucial para manter a robustez.
   • Identificou que inserir referências legais é superior a gerá-las para dados sintéticos.
   • Provou que prompts de sistema devem ser desacoplados dos dados de treinamento e aplicados apenas durante a inferência.
4. Construção de Conjuntos de Dados de Alta Qualidade: Um pipeline rigoroso envolvendo especialistas jurídicos e verificação automatizada para criar conjuntos de dados jurídicos fundamentados factualmente.

4. Resultados

O modelo foi avaliado em seis tarefas jurídicas e dois benchmarks gerais (KMMLU, HAERAE).

• Desempenho Jurídico: O LEGALMIDM (11,5B) alcançou as pontuações mais altas em todas as tarefas jurídicas (Reclamação, Resumo, Petição, QA, MRC, MC).
  • Exemplo: Na tarefa Reclamação, o LEGALMIDM alcançou uma pontuação Rouge-L de 67,67, superando significativamente o Llama-3.3-70B (53,40) e o Qwen2.5-32B (58,81).
  • Também alcançou as maiores pontuações de juiz de LLM (avaliadas pelo GPT-4o) em todos os aspectos.
• Desempenho Geral: Apesar de ser menor, o LEGALMIDM manteve desempenho competitivo em benchmarks gerais (KMMLU, HAERAE), comparável ou superior a modelos muito maiores, confirmando que a inclusão de dados gerais preveniu o esquecimento catastrófico.
• Insights de Ablação:
  • Remover dados gerais do CPT/IT causou uma queda significativa no desempenho das tarefas jurídicas.
  • Incluir referências na entrada ($Q+R$) superou consistentemente outros formatos em estabilidade e precisão.

5. Significado

Este artigo aborda uma lacuna crítica na implementação de IA no setor jurídico, deslocando o foco de "mais dados" para "melhores dados alinhados a casos de uso e estratégias de treinamento".

• Utilidade Prática: O quadro fornece um caminho reproduzível para desenvolver LLMs verticais que não são apenas teoricamente capazes, mas praticamente úteis para tarefas de alto risco, como a elaboração de reclamações e petições.
• Eficiência: Demonstra que um modelo menor e bem ajustado (11,5B) pode superar modelos fundamentais massivos (70B+) em domínios especializados quando o pipeline de treinamento é otimizado para as restrições específicas do domínio.
• IA Jurídica Coreana: Preenche uma lacuna específica no cenário de tecnologia jurídica coreana, fornecendo um modelo treinado em estatutos e contextos culturais coreanos, o que é essencial para o raciocínio jurídico preciso nessa jurisdição.

Em conclusão, o LEGALMIDM estabelece um novo padrão para especialização de domínio, provando que a curadoria rigorosa de dados, a mistura estratégica de dados e escolhas arquitetônicas específicas (como a referência baseada em entrada) são mais impactantes do que simplesmente escalar o tamanho do modelo.