Persuadability and LLMs as Legal Decision Tools

1. Declaração do Problema

O artigo aborda o desafio crítico de implantar Modelos de Linguagem de Grande Escala (LLMs) como decisores ou assistentes legais. Um requisito fundamental da tomada de decisão judicial e administrativa é a persuadabilidade: a capacidade de se engajar e ser influenciado por argumentos de partes contendores. No entanto, existe uma tensão:

• Demasiado rígido: Um decisor que não pode ser persuadido falha em considerar novas evidências ou argumentos (violando o princípio audi alteram partem).
• Demasiado flexível: Um decisor que é indevidamente persuadível pode basear decisões na habilidade retórica de um advogado, em vez dos méritos jurídicos do caso.

Os autores investigam se os LLMs de fronteira conseguem navegar nessa tensão. Especificamente, eles perguntam: Em que medida os LLMs são influenciados pela "qualidade" (ou identidade) do advogado que gera o argumento, em vez dos méritos objetivos do caso legal?

2. Metodologia

Os autores projetaram um framework experimental trilateral envolvendo três papéis: Advogados (gerando argumentos), um Juiz (decidindo o caso) e Cenários (questões legais difíceis).

A. Cenários (As Questões "Difíceis")

• Fonte: 15 cenários extraídos de decisões de tribunais de apelação divididas (Tribunal de Apelação dos EUA, Tribunal de Apelação da Inglaterra e País de Gales, Suprema Corte da Irlanda).
• Racional: Decisões divididas (opiniões dissidentes) indicam questões legais "difíceis", onde não existe uma única verdade absoluta, tornando a decisão dependente de julgamento e persuasão.
• Estrutura: Cada cenário inclui fatos e a questão legal central.

B. Os Modelos "Advogado" (Geração de Argumentos)

Quatro LLMs distintos foram usados para gerar argumentos para lados opostos:

1. OpenAI gpt-4o
2. Google gemini-3-pro-preview (orçamento de pensamento de 4k)
3. OpenAI gpt-5.1 (baixo esforço de raciocínio)
4. Anthropic Claude Sonnet 4.5 (orçamento de pensamento de 8k)

Estratégias de Prompting:
Para distinguir entre conteúdo jurídico substantivo e forma retórica, os advogados foram instruídos de duas maneiras:

1. Apenas Fatos: Fornecidos apenas os fatos do caso e a questão legal (forçando o modelo a gerar argumentos novos).
2. Fatos + Argumentos Originais: Fornecidos os fatos mais um resumo dos argumentos reais feitos no caso histórico (fornecendo "dicas" sobre os melhores pontos jurídicos).

C. Os Modelos "Juiz" (Tomada de Decisão)

• Escopo: 20 modelos de Juiz diferentes testados (mistura de pesos fechados e abertos, tamanhos variados e arquiteturas de raciocínio).
• Tarefa: Dado um cenário e dois argumentos concorrentes (um de cada lado, gerados por diferentes modelos de Advogado), o Juiz deve decidir o caso como um tribunal naquela jurisdição decidiria.
• Volume: Cada Juiz foi testado 1.200 vezes (600 com argumentos originais, 600 sem), totalizando 24.000 ensaios.

D. Métricas de Persuadabilidade

Os autores definiram persuadabilidade com base na identidade do Advogado atuando como proxy para a qualidade do argumento.

• Linha de Base: Se um Juiz não for persuadível, qualquer Advogado deve vencer 50% das vezes (atribuição aleatória).
• Persuadabilidade Pares ($p_2$): Mede o desvio da linha de base de 50% quando dois Advogados específicos competem.
  $$p_2 = \frac{|m_1 - m_2|}{2n}$$
  (Onde $m$ é o número de vitórias para cada advogado e $n$ é o número de ensaios).
• Persuadabilidade Populacional ($p_{pop}$): A medida agregada de quanto um Juiz favorece modelos de Advogado específicos em todos os pareamentos.

3. Contribuições Principais

1. Framework Conceitual: Identificou a tensão específica entre persuadabilidade necessária e suscetibilidade indevida no contexto da tomada de decisão legal por IA.
2. Metodologia Inovadora: Propôs um setup trilateral "Advogado vs. Advogado vs. Juiz" para medir persuadabilidade, diferindo de estudos bilaterais anteriores (persuasor vs. persuadido).
3. Primeira Exploração Legal Sistemática: Forneceu o primeiro estudo empírico em larga escala sobre persuadabilidade de LLMs especificamente dentro de contextos complexos de raciocínio jurídico.
4. Dados Abertos: Liberou todo o código, prompts e dados (15 cenários, 1.200 argumentos por lado, 24.000 respostas de juízes) para reprodutibilidade.

4. Resultados Principais

A. Persuadabilidade Universal

• Todos os modelos são persuadíveis: Cada modelo de Juiz mostrou persuadabilidade estatisticamente significativa ($p < 0.05$).
• Magnitude: A persuadabilidade populacional ($p_{pop}$) variou de 0,08 a 0,20. Isso implica que a identidade do Advogado (e, portanto, a qualidade do argumento) desvia as taxas de vitória em 8–21% acima da linha de base aleatória.
• Casos Extremos: Em comparações pares específicas (ex: Advogado mais forte vs. mais fraco), as taxas de vitória variaram de 63% a mais de 90%, indicando que alguns modelos são fortemente influenciados pela identidade do advogado.

B. Arquitetura e Tamanho do Modelo

• Tamanho: As evidências são mistas. Geralmente, modelos maiores foram menos persuadíveis do que versões "lite" menores dentro da mesma família (ex: claude-sonnet vs. claude-haiku). No entanto, existiram exceções (ex: gpt-5-nano foi o modelo menos persuadível no geral).
• Arquitetura de Raciocínio: Modelos maiores com orçamentos de "pensamento" foram geralmente menos persuadíveis, sugerindo que avaliam argumentos de forma mais crítica. No entanto, essa tendência se inverteu para alguns modelos abertos menores, onde as variantes de "raciocínio" foram mais persuadíveis.

C. Substância vs. Forma

• O Conteúdo Importa: Quando os Advogados receberam os "Argumentos Originais" (dicas), a persuadabilidade geralmente diminuiu ligeiramente (sugerindo que o conteúdo foi padronizado).
• Significância Estatística: Embora o efeito de fornecer argumentos originais fosse pequeno, ensaios face a face mostraram que um Advogado instruído com argumentos originais venceu significativamente mais vezes do que um sem eles ($p=0,0039$). Isso confirma que o conteúdo jurídico substantivo desempenha um papel na persuasão, não apenas a fluência retórica.
• Conhecimento Jurisdicional: A persuadabilidade foi menor em jurisdições onde o modelo provavelmente tinha mais dados de treinamento (EUA > Reino Unido > Irlanda). Isso sugere que, quando os modelos entendem melhor a substância legal, são menos facilmente influenciados apenas pela forma.

5. Significado e Implicações

• Viabilidade de Juízes de IA: Os resultados sugerem que LLMs menores podem ser inadequados para funções judiciais porque sua alta persuadabilidade provavelmente decorre de uma incapacidade de avaliar criticamente argumentos concorrentes (eles são facilmente influenciados pela forma).
• Modelos Grandes: Embora modelos maiores sejam menos persuadíveis (provavelmente devido a uma melhor avaliação substantiva), eles ainda exibem suscetibilidade significativa (até 40% de desvio em cenários pares).
• Dimensão Política/Ética: O artigo conclui que determinar se o nível de persuadabilidade de um modelo é "aceitável" é uma questão política. Depende das expectativas sociais do sistema de justiça e de como ele trata partes com habilidades de advocacia variadas.
• Trabalho Futuro: Os autores pedem mais pesquisas sobre:
  • Quais características específicas impulsionam a persuasão?
  • Se a exposição a argumentos realmente melhora a qualidade da decisão.
  • A comparação da persuadabilidade de LLMs com especialistas legais humanos.

Conclusão: Os LLMs são inerentemente persuadíveis. Embora modelos maiores mostrem mais resistência a influências indevidas, nenhum é imune. Implantá-los como decisores requer uma seleção cuidadosa de modelos baseada em seus perfis específicos de persuadabilidade para garantir que as decisões sejam baseadas no mérito legal e não no domínio retórico.