Resumo Técnico: Um Estudo de Estabilidade em Duas Fases de Julgadores por LLM e Examinadores do Conselho da Ordem de Advogados em Redações Livres do Exame da Ordem da Tailândia

Declaração do Problema

A avaliação atual de Processamento de Linguagem Natural (PLN) para redações jurídicas livres baseia-se em duas suposições não testadas: (1) de que o acordo entre avaliadores entre especialistas humanos credenciados define um único "teto de estabilidade" plano em todos os itens, e (2) de que o sucesso de um juiz por LLM é medido pela proximidade de seu acordo com este painel humano em relação a esse teto. Este estudo desafia essas suposições investigando se a estabilidade dos especialistas é uniforme entre os itens e se populações de juízes por LLM reproduzem o espectro completo de interpretações humanas legítimas ou meramente convergem para uma única leitura majoritária. O estudo foca no Exame da Ordem da Tailândia, uma avaliação de redação livre de alto risco onde a classificação envolve tanto correção determinística (correspondência a uma resposta-ouro) quanto qualidade interpretativa (profundidade do raciocínio), sendo que esta última frequentemente carece de diretrizes regulatórias explícitas.

Metodologia

A pesquisa emprega um protocolo de duas fases com entradas idênticas para isolar os papéis de examinando e juiz, controlando a variância de entrada.

Fase 1: LLMs como Examinandos

• Participantes: 42 estudantes de direito tailandeses e 8 LLMs (incluindo Claude 4.6 Opus, Gemini 3.1 Pro, GPT-5.4 Pro e outros).
• Tarefa: Os participantes responderam a três questões de redação do Código Civil e Comercial sob condições cegas.
• Classificação: Três examinadores treinados pelo Conselho da Ordem (A, B, C) classificaram as respostas usando uma rubrica publicada de 8 níveis. Os examinadores não sabiam quais participantes eram LLMs.
• Resultado: Estabeleceu uma distribuição de capacidade de base onde os LLMs se situaram dentro da distribuição de estudantes humanos, garantindo que a tarefa de classificação não fosse trivial.

Fase 2: LLMs como Juízes

• Corpus: Um subconjunto de 15 células de classificação cruzada (5 respostas $\times$ 3 examinadores) foi selecionado para análise profunda.
• Entradas: Todos os avaliadores (3 humanos e 26 LLMs) receberam exatamente as mesmas entradas de quatro elementos: a questão, o regulamento oficial de classificação, a resposta-ouro e a redação do candidato.
• Painel de LLMs:
  • Subpainel Âncora: Três modelos de fronteira fechada (Claude 4.6 Opus, Gemini 3.1 Pro, GPT-5.4 Pro) passaram por instrumentação rigorosa, incluindo sondas de determinismo (3 sementes em $T=0$), ablações de entrada (regulamento retido, resposta-ouro retida) e intervalos de confiança bootstrap.
  • Painel Estendido: 23 modelos adicionais abrangendo fronteira fechada (grande/pequeno), modelos principais de peso aberto e níveis de peso aberto pequeno foram adicionados para testar alegações estruturais em nível de população.
• Métricas: A estabilidade foi medida usando o $\alpha$ de Krippendorff, correlações de Pearson em pares e $\kappa$ ponderado de Cohen.

Principais Contribuições

1. Convergência Assimétrica em Nível de População: O estudo identifica uma assimetria estrutural no comportamento de juízes por LLM. Em itens onde a rubrica é silenciosa quanto à interpretação de uma resposta final correta com citações estatutárias omitidas (o limite "silencioso-regulamentar"), o painel humano se divide em duas leituras coerentes (uma leitura majoritária B/C e uma leitura minoritária A). A população de LLMs não se divide simetricamente; 22 de 26 LLMs convergem para a leitura majoritária (B/C), 3 situam-se em uma lacuna intermediária e apenas 1 (GPT-5.4 Nano) aproxima-se da leitura minoritária (A) sem pontuar consistentemente dentro dela. Zero LLMs reproduzem a leitura minoritária.
2. Desacoplamento da Capacidade do Examinando da Estabilidade do Juiz: Usando o design de dupla função (os mesmos 8 LLMs como examinandos e juízes), o artigo demonstra que o desempenho de um modelo como examinando não prevê seu alinhamento como juiz. Examinandos mais fracos frequentemente tornam-se juízes mais fortes alinhados a B/C, enquanto examinandos com pontuação máxima não necessariamente se alinham à leitura minoritária. A escalabilidade da capacidade não empurra a população de LLMs em direção à leitura minoritária.
3. Painel Âncora Instrumentado: O estabelecimento de um subpainel âncora de três LLMs com instrumentação completa (determinismo, ablações, ICs bootstrap) alcançando um $\alpha$ de painel de 0,77, significativamente maior que o 0,36 do painel humano nos itens contestados.

Principais Resultados

Métricas de Estabilidade

• Itens Não Contestados: Em 10 de 15 células (Questões 1 e 3), onde a rubrica prescreve ambos os eixos, os painéis humano e de LLM são equivalentes em estabilidade ($\alpha \approx 0,75$).
• Itens Contestados: Nas 5 células da Questão 2 (limite silencioso-regulamentar), o painel humano colapsa para $\alpha = -0,34$ devido à divisão entre o Examinador A (mais rigoroso, pontuação 1–2) e os Examinadores B/C (mais indulgentes, pontuação 6–8).
• Comportamento de LLM em Itens Contestados: O painel de LLM mantém alta estabilidade ($\alpha = 0,68$) mas converge exclusivamente para a leitura B/C.
  • 22/26 LLMs: Pontuam na faixa B/C ($m_c \in [5, 8]$).
  • 3/26 LLMs: Pontuam na lacuna intermediária ($3 < m_c < 5$).
  • 1/26 LLMs (GPT-5.4 Nano): Aproxima-se da faixa A ($m_c = 2,33$) mas falha em pontuar consistentemente dentro dela.
  • Resultado: Nenhum LLM reproduz a leitura humana minoritária.

Diagnósticos de Modo de Falha

O estudo identifica três modos de falha distintos em LLMs que desviam do cluster majoritário:

1. Quantização de Escala (Claude Haiku 4.5): Colapsa a escala de pontuação para um balde binário de aprovação/reprovação (3,5 ou 7,5), falhando em expressar pontuações de meio de faixa.
2. Classificação Apenas pela Resposta Final (GPT-5.4 Mini): Ignora o eixo interpretativo, atribuindo altas pontuações exclusivamente com base na correção da conclusão final, independentemente da qualidade do raciocínio.
3. Classificação Rigorosa de Raciocínio (GPT-5.4 Nano): Penaliza rigorosamente citações omitidas no eixo interpretativo, alinhando-se à leitura minoritária A, mas carece de consistência em todo o conjunto de dados.

Verificações de Robustez

• Determinismo: Em $T=0$, os LLMs âncora mostram alta estabilidade intra-juiz (Claude $\alpha=0,998$), confirmando que a diversidade inter-modelo (0,77) é uma característica da população, não um artefato de ruído.
• Ablações de Entrada: Remover o regulamento ou a resposta-ouro reduz a estabilidade do painel de LLM, mas não inverte a direção da lacuna (o $\alpha$ de LLM permanece maior que o $\alpha$ humano).
• Análise de Dupla Função: A correlação entre a pontuação do examinando e o alinhamento do cluster de juízes é exploratória e negativa ($r = -0,34$), sugerindo que examinandos mais fracos (que podem depender mais do eixo determinístico) alinham-se mais fortemente à maioria B/C como juízes.

Significado e Alegações

O artigo alega que o "teto de estabilidade" no PLN jurídico não é uma linha plana, mas uma falha geológica localizada em limites silenciosos-regulamentares onde a rubrica deixa a qualidade interpretativa ao julgamento do especialista.

• Assimetria de Acordo: Alto acordo do painel de LLM ($\alpha$) não implica reprodução equilibrada da variância humana. Em vez disso, reflete uma convergência sistemática para a leitura humana majoritária. Um benchmark que seleciona um juiz por LLM maximizando o acordo com um painel de referência humano (que é tipicamente enviesado pela maioria) herdará, por construção, essa assimetria e filtrará juízes capazes da leitura minoritária.
• O Gargalo Interpretativo: O estudo define o "gargalo interpretativo da rubrica" como a zona específica onde o regulamento é silencioso sobre como classificar uma resposta correta com raciocínio incompleto. Nesta zona, painéis humanos dividem-se naturalmente em leituras coerentes e legítimas, enquanto populações de LLM convergem para um lado.
• Limitações da Escalabilidade: As descobertas sugerem que simplesmente escalar a capacidade do modelo não resolve essa assimetria; modelos maiores não adotam espontaneamente a leitura minoritária. A convergência é uma propriedade estrutural do conjunto de LLMs nesta rubrica específica, independente do tamanho do modelo, fornecedor ou faixa de preço.

O artigo conclui que os protocolos de avaliação atuais obscurecem o espaço completo de leituras humanas legítimas. Ele apela por benchmarks que relatem a estabilidade do painel por caso interpretativo e avaliem juízes por LLM contra múltiplas leituras humanas legítimas em vez de um único alvo médio.