Can Small Models Reason About Legal Documents? A Comparative Study

Este estudo demonstra que modelos de linguagem pequenos (sub-10B), especialmente aqueles com arquitetura Mixture-of-Experts e estratégias de *few-shot prompting*, podem superar ou igualar modelos maiores em tarefas jurídicas, revelando que a qualidade do treinamento e a arquitetura são mais decisivas que o número de parâmetros, enquanto a recuperação de contexto (RAG) mostrou-se menos crítica que a capacidade do modelo de utilizar essas informações.

O essencial

Imagine que você precisa resolver um quebra-cabeça jurídico complexo, mas não tem dinheiro para contratar o "detetive mais caro e famoso do mundo" (os modelos de IA gigantes como o GPT-4). Você se pergunta: "Será que um detetive júnior, mais barato e rápido, consegue fazer o mesmo trabalho?"

Este artigo é exatamente sobre essa investigação. O pesquisador testou vários "detetives júnior" (modelos de IA menores, com menos de 10 bilhões de "cérebros" ou parâmetros) contra os "detetives de elite" em tarefas de direito.

Aqui está o resumo da história, explicado de forma simples:

1. O Grande Teste: Quem é o melhor detetive?

O autor colocou 9 modelos diferentes para trabalhar em três tipos de casos jurídicos:

• Contratos: Entender se uma frase contradiz ou confirma outra.
• Decisões de Tribunal: Encontrar a regra certa escondida em um texto longo.
• Direitos Humanos: Identificar quais leis foram violadas em um caso.

A Grande Surpresa:
Um modelo chamado Qwen3-A3B (que é como um "gênio econômico") conseguiu desempenho igual ao do GPT-4o-mini (o modelo caro da OpenAI).

• A Analogia: Imagine que o GPT-4 é um caminhão de 18 rodas. Ele é poderoso, mas gasta muito combustível. O Qwen3-A3B é uma moto de alta tecnologia. Ele usa apenas 3 bilhões de "cérebros" ativos de um total de 30 bilhões (uma arquitetura chamada Mixture-of-Experts). É como se a moto só ligasse os motores necessários para a curva, economizando energia, mas chegando ao mesmo destino na mesma velocidade.
• Resultado: A moto (Qwen) venceu o caminhão em alguns casos e empatou em outros, tudo isso gastando muito menos dinheiro.

2. O Tamanho não é documento (e às vezes atrapalha)

O estudo descobriu que ter um modelo gigante (com 9 bilhões de parâmetros) não significa que ele é inteligente.

• A Analogia: É como ter um funcionário com um currículo de 100 páginas, mas que não sabe fazer o trabalho básico. O modelo "Nemotron-9B" foi o pior de todos, ficando atrás até de modelos 3 vezes menores.
• Lição: A qualidade do treinamento e a arquitetura (como o cérebro é organizado) importam muito mais do que apenas o tamanho bruto.

3. O "Modo de Falar" importa mais que o cérebro

O autor testou 5 maneiras diferentes de pedir a tarefa para a IA (como dar instruções a um estagiário).

• Chain-of-Thought (Pensar Passo a Passo):
  • Funciona bem para: Contratos. Pedir para a IA "pensar devagar" ajudou a entender a lógica.
  • Funciona mal para: Escolha múltipla (Decisões de Tribunal). Quando a IA começa a "pensar alto" e escrever muito, ela se perde e esquece de escolher a resposta correta (A, B, C, D ou E).
  • Analogia: É como pedir para um jogador de futebol explicar cada passo tático antes de chutar a bola. Às vezes, ele pensa tanto que esquece de chutar ou chuta para fora.
• Few-Shot (Dar Exemplos):
  • Esta foi a campeã. Mostrar 3 exemplos de como resolver o problema antes de pedir a resposta funcionou melhor em quase tudo. É como dar um "cola" ou um modelo de como fazer a tarefa.

4. A Ferramenta de Pesquisa (RAG) não faz tanta diferença

Os pesquisadores tentaram ajudar a IA usando duas ferramentas de busca diferentes: uma que busca palavras-chave exatas (BM25) e outra que busca pelo "significado" (Dense).

• O Resultado: Elas funcionaram quase igual.
• A Analogia: Não importa se você usa um mapa antigo ou um GPS moderno; se o motorista (a IA) não sabe dirigir, ele vai se perder de qualquer jeito. O problema não era a ferramenta de busca, mas sim como a IA usava as informações que encontrava.

5. O Custo da Investigação

O mais impressionante é que todo esse estudo foi feito gastando apenas US$ 62 (aprox. 300 reais).

• O autor não precisou de supercomputadores caros. Ele usou serviços na nuvem, como se alugassem computadores por hora. Isso prova que você não precisa ser uma grande empresa para testar e usar IA de alta qualidade no direito.

Resumo Final para Você

Se você é um advogado ou alguém que trabalha com direito e quer usar IA:

1. Não gaste fortunas: Modelos pequenos e inteligentes (como o Qwen3-A3B) podem fazer o mesmo trabalho dos gigantes caros.
2. Escolha o método certo: Se for analisar contratos, peça para a IA "pensar passo a passo". Se for escolher uma resposta entre várias, mostre exemplos primeiro (Few-Shot) e não peça para ela escrever um romance antes de responder.
3. Qualidade > Quantidade: Um modelo menor e bem treinado é melhor que um gigante mal treinado.

Em suma: A inteligência artificial no direito está ficando mais barata, mais rápida e tão inteligente quanto os modelos caros, desde que você saiba como "pedir" a tarefa.

Resumo técnico

Título: Modelos Pequenos Podem Raciocinar Sobre Documentos Jurídicos? Um Estudo Comparativo

1. Problema e Motivação

Os Grandes Modelos de Linguagem (LLMs) demonstraram capacidades notáveis em tarefas jurídicas, como passar em exames de ordem e responder perguntas de faculdades de direito. No entanto, a implantação de modelos de ponta (frontier models) enfrenta barreiras práticas significativas:

• Custo: Os custos de API escalam com o volume de consultas.
• Privacidade: Modelos proprietários introduzem riscos de vazamento de dados para documentos jurídicos sensíveis.
• Latência: Sistemas de produção exigem modelos menores e localmente implantáveis para baixa latência.

Ao mesmo tempo, uma nova geração de modelos com menos de 10 bilhões de parâmetros (incluindo arquiteturas Mixture-of-Experts ou MoE) promete desempenho competitivo a custos drasticamente menores. O estudo busca preencher lacunas na literatura ao investigar se modelos pequenos podem substituir modelos comerciais em tarefas jurídicas e como estratégias de prompting interagem com o tamanho e a arquitetura do modelo.

2. Metodologia

O estudo realizou uma avaliação abrangente e rigorosa com as seguintes características:

• Modelos Avaliados: 9 modelos no total (7 de pesos abertos, variando de 3B a 9B parâmetros, e 2 modelos via API comercial: GPT-4o-mini e Claude 3.5 Haiku). Incluiu modelos densos (Llama, Mistral, Gemma, Nemotron) e um modelo MoE (Qwen3-A3B, que ativa apenas 3B de seus 30B totais).
• Benchmarks Jurídicos: Três conjuntos de dados distintos cobrindo diferentes tipos de raciocínio:
  1. CONTRACTNLI: Inferência de linguagem natural em cláusulas contratuais (Entailment, Contradiction, Not Mentioned).
  2. CASEHOLD: Identificação de "holdings" (decisões judiciais) em múltipla escolha (5 opções).
  3. ECTHR: Classificação multirrótulo de violações de direitos humanos pelo Tribunal Europeu de Direitos Humanos (11 artigos possíveis).
• Estratégias de Prompting: 5 abordagens testadas:
  1. Direto (Zero-shot).
  2. Cadeia de Pensamento (Chain-of-Thought - CoT).
  3. Poucos Exemplos (Few-shot, 3 exemplos).
  4. RAG com BM25 (Recuperação esparsa).
  5. RAG com Densidade (Recuperação densa via sentence-transformers).
• Protocolo Experimental:
  • Total de 405 experimentos (9 modelos × 5 estratégias × 3 conjuntos de dados × 3 sementes aleatórias).
  • Amostras estratificadas (500 para CONTRACTNLI/CASEHOLD, 225 para ECTHR).
  • Executado inteiramente via APIs de inferência em nuvem (Together AI, OpenAI, Anthropic) sem GPUs dedicadas.
  • Custo total do experimento: US$ 62.

3. Principais Contribuições e Descobertas

A. Eficiência Arquitetural vs. Contagem de Parâmetros

• O modelo Qwen3-A3B (MoE, ativando apenas 3B de parâmetros) igualou o desempenho médio do GPT-4o-mini (46,5% vs 47,2%) e superou-o na tarefa CASEHOLD com few-shot (71,2% vs 67,9%).
• Conclusão: A eficiência arquitetural (MoE) pode substituir a contagem bruta de parâmetros para raciocínio jurídico.
• Fracasso do Modelo Maior: O modelo Nemotron-9B (9B parâmetros densos) teve o pior desempenho geral (17,7%), superado por modelos de 1/3 do seu tamanho. Isso desafia a suposição de que "maior é sempre melhor", destacando a importância da metodologia de treinamento e do design da arquitetura.

B. Dependência de Tarefa nas Estratégias de Prompting

• Chain-of-Thought (CoT): Os efeitos são drasticamente dependentes da tarefa.
  • Benefício: Melhorou o desempenho em CONTRACTNLI em +8,5 pontos percentuais (pp), onde o raciocínio lógico é crucial.
  • Prejuízo: Degradou o desempenho em CASEHOLD em -16,0 pp e na classificação multirrótulo (ECTHR). O raciocínio verbose parece confundir a seleção de múltipla escolha em alguns modelos.
• Few-Shot: Emergiu como a estratégia mais consistente e eficaz em todas as tarefas e modelos.
• RAG (Recuperação Aumentada):
  • BM25 (esparsa) e Densa tiveram resultados quase idênticos (diferença de 0,3 pp).
  • O RAG ajudou em CONTRACTNLI, mas prejudicou CASEHOLD, sugerindo que o gargalo não é a qualidade da recuperação, mas a capacidade do modelo de utilizar o contexto recuperado corretamente.

C. Desempenho por Tarefa

• CONTRACTNLI: Tarefa mais tratável; modelos fortes atingiram >75% de precisão.
• CASEHOLD: Revelou uma clara separação entre modelos fortes e fracos.
• ECTHR: Provou ser extremamente difícil para todos os modelos apenas com prompting (precisão de subconjunto < 7%), devido à complexidade de prever combinações exatas de múltiplos rótulos a partir de texto livre.

4. Significado e Implicações Práticas

• Acessibilidade: O estudo demonstra que a avaliação rigorosa de LLMs é acessível sem infraestrutura de GPU dedicada, com custos totais de dezenas de dólares.
• Orientação para Praticantes:
  1. Modelo Recomendado: Qwen3-A3B é a melhor opção custo-benefício, igualando APIs comerciais com custos de inferência de código aberto.
  2. Estratégia Padrão: Usar few-shot prompting como padrão; reservar CoT apenas para tarefas de entailment (implicação lógica).
  3. RAG: Preferir BM25 sobre métodos densos, pois não requer modelos de embedding ou bancos de dados vetoriais e performa igualmente bem.
  4. Seleção de Modelo: Priorizar modelos pequenos bem treinados (3B–8B) em vez de modelos maiores mal calibrados.
• Limitações: O estudo focou apenas em prompting (sem fine-tuning), o que representa um limite inferior de desempenho, já que modelos adaptados (como SaulLM) superam os resultados de prompting. Além disso, não foram avaliadas tarefas generativas (resumo, redação) ou sistemas jurídicos não anglófonos.

Em resumo, o artigo fornece evidências empíricas de que modelos pequenos e eficientes, quando combinados com estratégias de prompting adequadas, podem oferecer soluções viáveis, econômicas e privadas para aplicações de IA jurídica, rivalizando com modelos comerciais massivos em tarefas estruturadas.