Investigating Multi-Agent Deliberation in Law

Resumo Técnico: Investigando a Deliberação Multiagente no Direito

Definição do Problema
A aplicação de Modelos de Linguagem de Grande Escala (LLMs) ao raciocínio jurídico está crescendo, mas as abordagens atuais dependem predominantemente de modelos monolíticos que geram uma narrativa única. Esse raciocínio "unilateral" acarreta o risco de visão de túnel, podendo negligenciar interpretações alternativas e produzir conclusões menos robustas. O raciocínio jurídico é inerentemente adversarial e deliberativo, envolvendo o peso de argumentos opostos e a reconciliação de múltiplas perspectivas. Embora sistemas multiagentes (MAS) tenham sido explorados em outros domínios, seu potencial para a deliberação jurídica permanece amplamente inexplorado. O problema central abordado é se estruturas de deliberação multiagente (MAD) podem melhorar tarefas de raciocínio jurídico ao modelar explicitamente perspectivas concorrentes, e se arquiteturas inspiradas no direito podem superar os basais de modelo único padrão.

Metodologia
Os autores avaliaram quatro estruturas distintas em cinco benchmarks (quatro tarefas de raciocínio jurídico e uma tarefa de raciocínio lógico). Os conjuntos de dados incluíram LEXAM (exames de faculdade de direito), COLIEE (implicância de Direito Civil japonês), SARA (lei tributária federal dos EUA), PRIVACY (análise de cláusulas de políticas de privacidade) e LOGIQA (raciocínio lógico). Todas as tarefas foram convertidas para classificação binária "sim"/"não".

As estruturas comparadas foram:

1. Baseline (Base): Uma chamada padrão de um único LLM fornecendo uma resposta e uma explicação curta.
2. Deliberação Multiagente (MAD): Uma estrutura padrão onde três agentes geram previsões de forma independente, depois participam de duas rodadas de reflexão sobre as respostas uns dos outros, com a resposta final determinada por voto da maioria. Isso requer nove chamadas de modelo por questão.
3. Estrutura 3-Ply (Três Camadas): Uma arquitetura inovadora inspirada em procedimentos judiciais. Emprega três agentes: um Autor (argumentando "sim"), um Réu (argumentando "não") e um Juiz. O processo envolve um argumento inicial pelo Autor, uma contra-argumentação pelo Réu e uma réplica pelo Autor. O Juiz então profere uma decisão final baseada no mérito dos argumentos. Isso requer quatro chamadas de modelo.
4. Estrutura Parrots (Papagaios): Uma arquitetura inovadora baseada na teoria da argumentação. Um agente "Alex" (atuando como o preditor primário) engaja-se em um diálogo com quatro agentes "papagaio", cada um adotando uma perspectiva crítica específica: Socrática (desafiando pressupostos), Cínica (refutando argumentos), Eclética (oferecendo interpretações alternativas) e Aristotélica (avaliando a força lógica). Alex pode participar de até três rodadas de diálogo antes de finalizar a resposta. Isso requer entre três e sete chamadas de modelo.

Os experimentos utilizaram o modelo GPT-5-mini da OpenAI com prompting de 2-shot (usando BM25 para recuperação de exemplos similares). O estudo analisou não apenas a precisão (scores F1), mas também a natureza das divergências entre as estruturas e a qualidade das justificativas.

Principais Contribuições

• Estruturas Inovadoras: O artigo introduz duas estruturas multiagente inspiradas no direito: o modelo 3-Ply, que simula papéis adversariais de tribunal, e o modelo Parrots, que utiliza o diálogo crítico estruturado baseado na teoria da argumentação.
• Avaliação Empírica: Uma avaliação abrangente dessas estruturas contra um baseline padrão e uma configuração genérica de MAD através de diversos conjuntos de dados jurídicos e lógicos.
• Análise Qualitativa: Um exame detalhado de como os sistemas multiagentes lidam com a ambiguidade, especificamente em casos que exigem a reconciliação de interpretações literais versus pragmáticas.

Resultados

• Desempenho: As estruturas multiagentes não alcançaram scores F1 globalmente superiores em comparação ao baseline monolítico. As diferenças de desempenho médio entre os conjuntos de dados foram mínimas (dentro de 1,5 pontos).
• Raciocínio Divergente: Apesar de scores agregados semelhantes, as estruturas exibiram padrões de decisão significativamente diferentes (teste de McNemar, p < 0,001).
• Forças Complementares: As estruturas multiagentes resolveram com sucesso um subconjunto de casos que o baseline falhou em abordar (variando de 42,6% a 51,9% das divergências) e vice-versa. Notavelmente, no conjunto de dados Privacy, as estruturas multiagentes resolveram muitos casos que o baseline perdeu, enquanto o baseline não resolveu nenhum dos casos que as estruturas multiagentes perderam.
• Superioridade Qualitativa: Em casos envolvendo cláusulas ambíguas (por exemplo, interpretar "dados de geolocalização" para incluir dados de Wi-Fi), as estruturas 3-Ply e Parrots demonstraram capacidade superior de articular argumentos matizados e juridicamente informados. Elas conseguiram equilibrar interpretações literais e pragmáticas, enquanto o baseline frequentemente falhava devido à falta de menção textual explícita.
• Custo de Recursos: As abordagens multiagentes requerem significativamente mais chamadas de modelo (3–9 chamadas) em comparação ao baseline (1 chamada), sem uma correlação clara entre o aumento das rodadas de deliberação e a melhoria nos scores F1.

Significância e Alegações
Os autores posicionam os sistemas multiagentes como uma direção promissora para a IA no domínio jurídico, não necessariamente para ganhos de precisão bruta, mas por sua capacidade de produzir raciocínios distintos e complementares. O artigo afirma que:

1. Diversidade de Perspectiva: Abordagens multiagentes são mais adequadas para tarefas que exigem pensamento crítico a partir de múltiplas perspectivas, particularmente na resolução de cláusulas jurídicas ambíguas onde interpretações literais e pragmáticas devem ser pesadas.
2. Robustez: Ao modelar explicitamente pontos de vista concorrentes, esses sistemas podem capturar formas de raciocínio inacessíveis a modelos monolíticos, potencialmente reduzindo a "visão de túnel".
3. Qualidade da Justificação: Os outputs multiagentes fornecem justificativas mais ricas, o que pode facilitar colaborações híbridas mais eficazes entre humanos e IA na resolução de disputas.
4. Limitações: O estudo reconhece que as alucinações permanecem uma limitação estrutural e que o aumento do custo computacional não se traduz atualmente em melhor desempenho geral. Os autores sugerem que trabalhos futuros explorem abordagens neuro-simbólicas para integrar métodos de argumentação formal e investiguem a mitigação da adulação (sycophancy) em grupos de agentes.

O artigo conclui que, embora a deliberação multiagente não supere universalmente os modelos únicos em termos de precisão, ela oferece um mecanismo valioso para explorar conclusões alternativas e lidar com a complexidade inerente à argumentação jurídica.