Resumo Técnico: Lendo nas Entrelinhas: Modelagem e Avaliação de Realismo Comportamental em Simulação Jurídica

Declaração do Problema

O treinamento de depoimentos é um componente crítico da educação jurídica, exigindo que os advogados dominem habilidades interpessoais dinâmicas, como o gerenciamento de testemunhos não responsivos, a imposição de especificidade e a adaptação a comportamentos de testemunhas que variam de evasivos a hostis. Os atuais benchmarks de IA jurídica avaliam primariamente a precisão factual, o raciocínio jurídico ou a plausibilidade isolada de respostas, falhando em abordar a dinâmica comportamental longitudinal essencial para a prática de depoimentos. Advogados iniciantes carecem de acesso a exercícios simulados consistentes, escaláveis e realistas. Embora as simulações baseadas em Grandes Modelos de Linguagem (LLMs) ofereçam uma solução potencial, as avaliações existentes frequentemente confundem a plausibilidade superficial da resposta com a verdadeira fidelidade comportamental. Um simulador pode gerar respostas individualmente plausíveis, mas falhar ao responder significativamente à pressão adversária, ou, inversamente, criar interações estrategicamente difíceis que carecem da coerência do testemunho humano natural. Há uma falta de frameworks que distingam entre realismo comportamental (a testemunha age como um humano?) e utilidade pedagógica (a interação fornece desafios de treinamento significativos?).

Metodologia

1. WITNESSSIM: Um Simulador de Depoimento Baseado em Estados

Os autores apresentam o WITNESSSIM, um simulador de depoimento dinâmico impulsionado por personas jurídicas controláveis. Diferente do role-play padrão de LLM, o WITNESSSIM emprega um sistema dinâmico contínuo para modelar a evolução do estado psicológico de uma testemunha sob interrogatório adversário.

• Espaço de Estados e Arquétipos: A testemunha é representada por um vetor de estado de seis dimensões $y_t = (C_t, K_t, A_t, V_t, R_t, P_t)$, onde as dimensões correspondem a Compostura, Conhecimento, Amabilidade, Verbosidade, Rigidez e Performance. O sistema utiliza dez arquétipos informados por especialistas (ex: Combativo, Cooperativo, Defensivo, Inventivo, Loquaz). Crucialmente, o sistema inclui uma dimensão dedicada de Conhecimento, distinguindo entre uma testemunha que carece de informação (Inventiva) e uma que possui a informação, mas fala excessivamente (Loquaz), uma distinção frequentemente perdida em projeções padrão do Big Five.
• Estados de Atrator: Cada arquétipo está associado a um estado atrator fixo $y_0$ que representa o comportamento basal. Na ausência de pressão sustentada, o estado dinâmico retorna gradualmente para este baseline.
• Codificação de Perguntas: As perguntas do advogado são codificadas em uma pontuação de pressão ($p_t$) baseada em marcadores linguísticos (ex: "não é verdade que", "admita") e uma pontuação de sensibilidade ao tópico ($s_t$) baseada na sobreposição de tokens com tópicos sensíveis pré-registrados. Estes são combinados em um sinal de estresse composto $\xi_t$.
• Dinâmica de Estado: O vetor de estado é atualizado deterministicamente a cada turno com base no sinal de estresse e no estado atual. Por exemplo, a pressão diminui a compostura e a amabilidade enquanto aumenta a rigidez; tópicos sensíveis degradam a memória e podem aumentar a verbosidade. Um multiplicador de fadiga escala a degradação da performance ao longo da duração do depoimento.
• Detecção de Eventos: Eventos comportamentais discretos (ex: "Testemunha abalada", "Testemunha combativa") são acionados quando os limiares de estado são atingidos. Esses eventos são anexados ao prompt do sistema do LLM para fundamentar o diálogo gerado no estado matemático subjacente, evitando que o modelo derive do comportamento pretendido.
• Loop de Geração: Para cada turno, o sistema codifica a pergunta, atualiza o estado, computa pontuações comportamentais derivadas, detecta eventos e solicita ao LLM subjacente (Claude Sonnet 5) que gere uma resposta condicionada à persona, ao estado atual e ao histórico.

2. Framework de Avaliação

Os autores propõem um framework de avaliação de duas camadas, separando o Realismo Comportamental da Utilidade Pedagógica.

• Realismo Comportamental: Avalia se o testemunho gerado é plausível e mantém uma identidade coerente.
  • Teste Adversário: Testa a robustez contra modos de falha específicos (ex: forçar uma testemunha cooperativa a admitir culpa, testar evasão seletiva).
  • Comparação Cega por Especialistas: Advogados comparam sequências geradas pelo WITNESSSIM contra transcrições de depoimentos autênticos para julgar a plausibilidade contextual.
  • Análise Longitudinal: Utiliza trajetórias de vetores de emoção para analisar a dinâmica afetiva ao longo do tempo, comparando a estrutura temporal de depoimentos simulados vs. reais.
• Utilidade Pedagógica: Avalia se o simulador cria desafios reconhecíveis que respondem significativamente à intervenção do advogado.
  • Avaliação Baseada em Tarefas: Quatro cenários de treinamento específicos foram testados: controlar a forma da pergunta (Cooperativo), forçar especificidade de uma testemunha evasiva, redirecionar uma testemunha loquaz e gerenciar uma testemunha hostil. O sucesso é medido pelo fato de o comportamento da testemunha mudar em resposta às estratégias legais sem colapsar o arquétipo atribuído.

3. Configuração Experimental

A avaliação utilizou um corpus de 300 transcrições de depoimentos e julgamentos amostradas do Litígio Nacional sobre Opiáceos de Prescrição (Caso nº 1:17-MD-2804). As testemunhas simuladas foram fundamentadas nos materiais correspondentes ao caso. As avaliações incluíram ataques adversários, julgamentos cegos por advogados praticantes (associados, litigantes seniores e conselheiros de arbitragem) e pontuação automatizada validada por anotação humana.

Principais Resultados

Realismo Comportamental

• Robustez Adversária: O WITNESSSIM geralmente preservou os limites comportamentais pretendidos. Em testes onde testemunhas cooperativas foram pressionadas a admitir culpa, 99,0% mantiveram um limite de autoproteção. Testemunhas evasivas mostraram resistência seletiva (86,0% de evasão em tópicos sensíveis vs. triviais) e a irritação emergiu na ordem esperada entre os arquétipos sob repetição.
• Plausibilidade: Em comparações cegas, advogados praticantes não preferiram sistematicamente o testemunho autêntico sobre o do WITNESSSIM. Associados e litigantes seniores selecionaram o WITNESSSIM em 30,0% e 32,7% dos casos, respectivamente, com altas taxas de empate (40,0% e 22,4%). No entanto, um conselheiro de arbitragem sênior com formação em engenharia e experiência prévia em simulação de IA identificou o testemunho autêntico em 90% dos casos, sugerindo que artefatos específicos permanecem detectáveis para especialistas atentos à geração de LLM.
• Fidelidade Longitudinal: A análise de trajetória de vetores de emoção revelou que, embora os depoimentos simulados e reais mostrem um alinhamento temporal modesto ($r = .148$), as trajetórias simuladas são significativamente mais suaves e comprimidas que as reais. A Análise de Componentes Principais (PCA) separou as transcrições sintéticas das reais, indicando lacunas no realismo comportamental de longo horizonte.

Utilidade Pedagógica

• Responsividade à Intervenção: O simulador gerou com sucesso cenários comportamentalmente distintos onde as intervenções do advogado produziram mudanças significativas.
  • Forma de Pergunta: Perguntas abertas elicitaram respostas mais longas (média de 175,9 palavras) comparadas às fechadas (86,5) ou de alta pressão (68,4).
  • Pin-Down Evasivo: 93,0% dos contextos seguiram a trajetória pretendida da evasão para o controle, embora 33,1% das respostas finais tenham retido hesitação (hedging).
  • Testemunha Hostil: 97,7% das testemunhas combativas atingiram o controle substantivo, porém 97,3% das respostas controladas retiveram marcadores de hostilidade.
• Preservação de Arquétipo: As testemunhas responderam à pressão sem colapsar uniformemente em cooperação genérica. Por exemplo, testemunhas loquazes frequentemente permaneceram verbosas mesmo quando focadas, preservando o desafio central do arquétipo.

Significância e Alegações

O artigo afirma estabelecer um framework para avaliar simulações jurídicas que vai além da plausibilidade isolada da resposta para considerar a fidelidade comportamental através de interações sustentadas.

1. Distinção de Dimensões: Os autores argumentam que o realismo comportamental e a utilidade pedagógica são distintos, mas complementares. Um simulador pode ser pedagogicamente útil (criando interações difíceis e responsivas) mesmo que careça de realismo perfeito de longo horizonte, e vice-versa.
2. Limitações da Avaliação ao Nível de Resposta: Os resultados demonstram que respostas individuais plausíveis são insuficientes para avaliar simulações interativas. A natureza "mais suave" e "comprimida" das trajetórias simuladas destaca que os modelos atuais lutam para replicar a variância e a complexidade total do comportamento humano ao longo do tempo.
3. Utilidade de Treinamento: O estudo sugere que o WITNESSSIM pode fornecer aos advogados oportunidades repetíveis e configuráveis para praticar o gerenciamento de comportamentos difíceis de testemunhas. No entanto, os autores declaram explicitamente que a avaliação não estabelece que essas simulações melhorem o aprendizado do advogado ou a transferência de habilidades; ela apenas estabelece que as simulações contêm os desafios comportamentais necessários para viabilizar tal prática.
4. Direção Futura: O artigo postula que a simulação humana de alta fidelidade requer métodos que avaliem não apenas a plausibilidade de uma única resposta a um prompt, mas a coerência do comportamento, sua persistência e sua evolução plausível ao longo de uma interação.

Os autores concluem que, embora o WITNESSSIM represente um passo em direção à simulação jurídica de alta fidelidade, trabalhos futuros devem conectar as medidas de realismo comportamental aos resultados de aprendizagem subsequentes para validar plenamente a utilidade do sistema no treinamento profissional.