Resumo Técnico: LGAgent

Problema

Embora os Grandes Modelos de Linguagem (LLMs) demonstrem fortes capacidades de raciocínio geral, eles enfrentam dificuldades com as rigorosas demandas estruturais da adjudicação jurídica. As abordagens atuais de modelo único frequentemente falham ao não desacoplar explicitamente a decomposição do problema, o controle de processo e a verificação passo a passo, levando a um raciocínio de "caixa preta" que carece da interpretabilidade exigida pelos fluxos de trabalho jurídicos. Além disso, os LLMs padrão frequentemente exibem alucinações, inconsistências lógicas e incapacidade de aderir a estruturas adjudicativas formais. Os sistemas multiagentes existentes muitas vezes dependem de debates de formato livre ou critérios de convergência implícitos, que carecem da lógica de execução determinística necessária para um raciocínio jurídico reproduzível e auditável. Adicionalmente, há uma falta de frameworks de avaliação sistemática para avaliar as contribuições específicas de diferentes submódulos nestes sistemas.

Metodologia

Os autores propõem o LGAgent, um framework multiagente estruturado e guiado por regras, projetado para mimetizar fluxos de trabalho jurídicos profissionais. O sistema utiliza um LLM de menor escala como espinha dorsal de raciocínio, colaborando com agentes especializados para realizar um raciocínio jurídico interpretável. O framework opera através de um orquestrador determinístico que gerencia três papéis distintos:

1. Advogado A (Decomposição Estruturada de Opções):

   • Atua como um "Identificador de Questões" (Issue Spotter) que realiza uma análise baseada primeiro na estrutura da questão jurídica e das opções de entrada.
   • Gera um arcabouço (scaffold) estruturado e alinhado às opções (formato JSON) contendo alegações por nível de opção, palavras-chave jurídicas e potenciais sinais de armadilhas.
   • Crucialmente, este agente não codifica preferências de resposta, garantindo que a decomposição permaneça neutra e verificável.

2. Juiz (Controlador de Processo):

   • Atua como o controlador central do processo, responsável pelo controle de recuperação (retrieval gating) e orientação de decisão.
   • Avalia o arcabouço do Advogado A para gerar sinais de controle determinísticos, incluindo um portão de recuperação estrito (need_retrieval) e requisitos específicos de evidência.
   • No estudo atual, a recuperação externa está desativada; em vez disso, o Juiz elicita provisões legais explícitas do conhecimento paramétrico interno do modelo de base para servir como "evidência".
   • Gerencia o loop de interação, determinando quando a clarificação é necessária com base em regras explícitas.

3. Advogado B (Decisão em Dois Estágios e Verificação):

   • Executa um protocolo rigoroso de dois estágios:
     • Estágio B0 (Resposta Cega): Gera uma resposta inicial e um escore de confiança ($c_0$) sem acesso ao arcabouço estruturado ou à evidência.
     • Estágio B1 (Verificação Consciente de Evidência): Reavalia as opções contra o arcabouço estruturado, os sinais de controle do Juiz e a evidência disponível. Atribui status explícitos a cada opção: SUPPORT (Suporte), REFUTE (Refutação) ou NEI (Informação Insuficiente).
   • Interação de Múltiplos Turnos Limitada: Uma "Regra de Gatilho de Diálogo" determinística governa a interação adicional. Se a proporção de opções NEI exceder um limiar ($\tau_1 = 0.5$) ou se a confiança inicial for baixa ($c_0 < \tau_2 = 0.6$), o sistema ativa um loop de esclarecimento limitado entre o Advogado B e o Juiz (até duas rodadas) para resolver a incerteza.

O framework foi projetado para ser livre de treinamento (training-free), baseando-se em engenharia de prompt e instruções de sistema específicas para cada papel, em vez de ajuste fino (fine-tuning). Ele apresenta um design plug-and-play com um pipeline de ablação automatizado para avaliar as contribuições dos componentes.

Principais Contribuições

• Framework Inovador: Um pipeline unificado e auditável que integra decomposição de caso estruturada, controle de nível de processo e validação consciente de evidência para raciocínio jurídico.
• Mecanismos Explícitos Baseados em Regras: A introdução de sinais de controle determinísticos e um loop de interação de múltiplos turnos limitado, acionado apenas por incerteza quantificável, substituindo o debate de formato livre pela verificação guiada por regras.
• Avaliação Abrangente: Estabelecimento de um protocolo de avaliação com estudos de ablação automatizados que demonstram melhorias consistentes sobre bases de comparação (baselines) de agente único forte em múltiplos benchmarks jurídicos.
• Desempenho de Baixo Custo: Demonstração de que a imposição de fronteiras de papéis explícitas e sinais de controle interpretáveis aumenta significativamente a robustez e a confiabilidade, alcançando precisão competitiva com custos de inferência substancialmente menores em comparação com modelos de fronteira avançados.

Resultados Experimentais

O framework foi avaliado em três benchmarks jurídicos chineses: JEC-QA (Exame Nacional de Judiciário), LexGenius (conjunto de dados de diagnóstico detalhado) e CAIL2022 (trilha de Exame Judicial).

• Ganhos de Desempenho: O LGAgent superou significativamente tanto os baselines de resposta direta quanto os baselines de Cadeia de Pensamento (Chain-of-Thought - CoT) em diversas famílias de modelos (variando de 4B até modelos de grande escala como DeepSeek-R1 e GPT-4o). Por exemplo, no dataset LexGenius, o LGAgent com DeepSeek-R1 alcançou 86.97% de EM, um aumento de +17.39 sobre o baseline de CoT.
• Robustez: O framework mostrou ganhos positivos consistentes em todas as sete dimensões jurídicas no LexGenius (ex: Compreensão Jurídica, Raciocínio, Aplicação, Ética), indicando generalização em vez de sobreajuste (overfitting) específico de domínio.
• Estudos de Ablação: A remoção de qualquer componente individual (Advogado A, Juiz ou o loop de múltiplos turnos) resultou em degradação do desempenho, confirmando que o sistema depende de coordenação complementar em vez de um único módulo dominante.
• Análise de Custo-Benefício: Configurações do LGAgent usando modelos de base de custo baixo ou médio (ex: Qwen2.5-7B, GLM-4-Air) alcançaram precisão comparável ou superior a modelos de fronteira proprietários (ex: Gemini-3.1-pro-preview, GPT-5.2), reduzindo os custos de inferência em aproximadamente 85% (ex: \0,29 vs. \3,16 por 1.000 questões).

Significância

O artigo afirma que o LGAgent aborda a lacuna crítica entre o raciocínio implícito e não interpretável dos LLMs padrão e os requisitos rigorosos e estruturados da prática jurídica. Ao incorporar o rigor procedimental diretamente no protocolo de interação, o framework garante que as etapas de raciocínio sejam governadas por regras explícitas e passíveis de processamento por máquina. Esta abordagem oferece um caminho viável para aumentar a robustez, interpretabilidade e escalabilidade do raciocínio jurídico assistido por IA. Além disso, demonstra que o alto desempenho de raciocínio pode ser desacoplado da escala bruta de parâmetros, permitindo a implantação de baixo custo em cenários jurídicos do mundo real, como o esclarecimento de questões de exames judiciais e análise de casos complexos, sem a necessidade de treinamento supervisionado adicional.