L-MARS: Legal Multi-Agent Workflow with Orchestrated Reasoning and Agentic Search

1. Problema e Contexto

O artigo aborda um desafio crítico na aplicação de Grandes Modelos de Linguagem (LLMs) ao domínio jurídico: a alucinação de fatos e o uso de informações desatualizadas.

• O Dilema: Modelos treinados em dados estáticos frequentemente falham em tarefas que exigem conhecimento legal atualizado (ex: novas leis, decisões de tribunais recentes, alterações em regulamentos fiscais).
• Limitações das Abordagens Atuais:
  • Fine-tuning específico: Impraticável devido à necessidade de re-treinamento constante conforme as leis mudam.
  • RAG (Geração Aumentada por Recuperação) Tradicional: Muitas vezes falha em benchmarks de raciocínio legal (como o Bar Exam QA), onde a recuperação padrão não melhora significativamente a precisão.
  • Prompting de Cadeia de Pensamento (CoT): O artigo descobre que, na ausência de informações atualizadas, forçar o modelo a raciocinar passo a passo pode piorar o desempenho, levando a "confabulações confiantes" (respostas erradas justificadas com lógica interna sólida, mas baseada em premissas obsoletas).

2. Metodologia: L-MARS

O authors propõem o L-MARS, um framework de recuperação multi-agente que orquestra a busca ativa e a verificação para responder a perguntas jurídicas fundamentadas.

Arquitetura e Agentes

O sistema é implementado em LangGraph e utiliza um fluxo de trabalho dirigido onde agentes especializados interagem:

1. Agente de Consulta (Query Agent): Decompõe a pergunta do usuário em intenções de busca estruturadas.
2. Agente de Busca (Search Agent): Executa chamadas de ferramentas para backends de recuperação. Ele opera em dois modos de busca:
   • Busca Básica: Extrai títulos e snippets (rápido, para exploração).
   • Busca Aprimorada (Deep Search): Extrai conteúdo completo de páginas e PDFs, ancorando o texto nos snippets para evitar ruído.
   • Backends: Integração com Serper API (busca web), BM25 (recuperação local de documentos) e CourtListener API (jurisprudência e casos legais).
3. Agente Juiz (Judge Agent): Realiza verificações de suficiência da evidência. Ele analisa se as fontes são factuais, correspondem à jurisdição, têm especificidade temporal e não contêm contradições. Decide se o sistema deve parar ou refinar a busca.
4. Agente de Resumo (Summary Agent): Sintetiza a resposta final com citações e justificativas.

Modos de Operação

• Modo Simples (Simple Mode): Um pipeline de passagem única (decomposição -> busca -> síntese). Usado nos experimentos principais para isolar o impacto da orquestração de agentes.
• Modo Multi-Turn: Um loop iterativo onde o Agente Juiz guia a busca, verifica a suficiência e refina as consultas até que a evidência seja considerada suficiente.

3. Contribuições Principais

1. LegalSearchQA: Um novo benchmark de 50 perguntas de múltipla escolha cobrindo cinco domínios legais (Tributário, Corporativo, Trabalho, Imigração, Tecnologia e Direito Penal).
   • Inovação: As respostas dependem de desenvolvimentos legais de 2024 a 2026, garantindo que o conhecimento não esteja nos dados de treinamento dos modelos.
   • Objetivo: Avaliar sistemas de QA legal aumentados por recuperação em cenários de conhecimento atualizado.
2. Framework L-MARS: Uma arquitetura multi-agente que combina busca online, recuperação local e jurisprudência, com verificação rigorosa de evidências.
3. Descoberta Empírica: Evidência de que a recuperação agênica traz ganhos massivos em tarefas dependentes de fatos atualizados, mas pode ser inútil ou prejudicial em tarefas puramente de raciocínio abstrato se não houver dados atualizados.

4. Resultados Experimentais

No Benchmark LegalSearchQA (Conhecimento Atualizado)

• L-MARS (Modo Simples): Alcançou 96,0% de precisão.
• Zero-Shot (Sem recuperação): 58,0% de precisão.
• Chain-of-Thought (CoT): Desempenho degradou para 30,0% (abaixo da linha de base aleatória de 25% para questões de 4 opções).
  • Análise: O CoT fez o modelo construir justificativas lógicas baseadas em leis e valores monetários desatualizados, resultando em erros confiantes.
• Ganhos por Domínio: O maior ganho foi em "Tributário e Regulação Corporativa" (+61,5 pontos percentuais), onde as regras mudaram recentemente.

No Benchmark Bar Exam QA (Raciocínio Legal Clássico)

• Este conjunto de dados testa raciocínio sobre fatos hipotéticos baseados em princípios legais gerais (já conhecidos pelo modelo).
• Resultado: A recuperação forneceu ganhos negligenciáveis (+0,7% com Serper) e até uma leve degradação com outros backends.
• Conclusão: A recuperação não ajuda quando a tarefa exige raciocínio sobre princípios estáticos, e pode adicionar ruído.

Análise de Erros

Os dois erros do L-MARS no LegalSearchQA ocorreram quando a resposta correta exigia um fato específico "enterrado" em documentos longos que não foram capturados pelos snippets de busca, destacando a limitação da recuperação baseada em snippets.

5. Significado e Implicações

• Necessidade de Benchmarks Focados em Recuperação: O trabalho demonstra que benchmarks legais existentes (como Bar Exam QA) podem não avaliar adequadamente a capacidade de um sistema de acessar informações atualizadas, que é crucial para a prática jurídica real.
• Perigo do CoT sem Recuperação: Em domínios de rápida mudança (como direito e medicina), forçar o modelo a raciocinar sem acesso a dados externos pode amplificar erros, pois o modelo "raciocina com convicção" sobre premissas falsas.
• Validação da Abordagem Multi-Agente: A orquestração de agentes (especialmente o Agente Juiz) é eficaz para filtrar ruído e garantir que a resposta seja fundamentada em evidências verificáveis, superando as abordagens de "buscar e gerar" (retrieve-and-generate) tradicionais.

Em suma, o L-MARS demonstra que para aplicações jurídicas robustas, a combinação de busca ativa agênica e verificação de evidências é superior ao raciocínio interno puro, especialmente quando a precisão factual e a atualidade da informação são críticas.