Resumo Técnico: JUDGMENTBENCH

Declaração do Problema

A avaliação de Modelos de Linguagem de Grande Escala (LLMs) em domínios de alto risco e alta especialização (como direito, medicina e finanças) enfrenta uma divisão metodológica. Existem duas abordagens dominantes: pontuação baseada em rubricas, que avalia as saídas contra critérios pré-definidos e atomísticos, e julgamento comparativo (JC), que elicita preferências em pares entre as saídas. Embora ambas sejam amplamente utilizadas, a escolha entre elas é frequentemente arbitrária. Em domínios ricos em julgamento, como o direito, onde a "qualidade" é multidimensional, dependente do contexto e resiste a critérios objetivos diretos, permanece incerto qual metodologia produz avaliações mais confiáveis. Além disso, benchmarks existentes frequentemente carecem de dados emparelhados necessários para comparar diretamente esses métodos nos mesmos itens usando os mesmos especialistas, particularmente em ambientes profissionais onde a verdade fundamental é inverificável.

Metodologia

Os autores introduzem o JUDGMENTBENCH, um benchmark projetado para facilitar uma comparação direta, frente a frente, entre pontuação baseada em rubricas e julgamento comparativo.

Construção do Conjunto de Dados

• Fonte: O conjunto de dados compreende 30 tarefas jurídicas do mundo real amostradas do Harvey's BigLaw Bench, cobrindo tanto áreas de prática contenciosa quanto transacional. Essas tarefas representam trabalho jurídico economicamente valioso, em vez de problemas de exame estilizados.
• Indução de Qualidade: Para criar uma verdade fundamental conhecida para avaliação, os autores construíram três níveis distintos de qualidade (Intermediário, Bom, Excelente) para cada tarefa. Isso foi alcançado ao solicitar ao Anthropic's Claude Opus 4.6 com um prompt de sistema controlando seis dimensões de qualidade: profundidade analítica, precisão, completude, clareza de raciocínio, julgamento e nuance.
• Protocolo de Anotação:
  • Especialistas: 51 advogados praticantes (mediana de 10 anos de experiência) de grandes escritórios de advocacia dos EUA e de um laboratório profissional de dados de IA (Snorkel AI) anotaram os dados.
  • Sinais Duplos: Para cada tarefa, os especialistas forneceram dois tipos de anotações:
    1. Pontuações de Rubrica: Pontuação atomística baseada em critérios desenvolvidos por especialistas (pontos afirmativos e negativos).
    2. Julgamentos Comparativos: Preferências em pares para os três pares únicos formados pelas saídas dos três níveis de qualidade.
  • Escala: O conjunto de dados inclui 1.539 pontuações de rubrica e 1.530 julgamentos de preferência em pares entre 2.274 saídas únicas.
  • Design: Os anotadores foram designados para tarefas em um pipeline onde alternavam entre as duas metodologias para prevenir viés de fadiga metodológica, embora não tenham avaliado o mesmo item com ambos os métodos.

Métricas de Avaliação

O estimando primário ($D$) é a diferença média na medida em que cada método recupera a ordenação de qualidade construída.

• Recuperação de Rubrica: Correlação de postos de Spearman entre a ordenação de qualidade construída e a ordenação derivada das pontuações médias das rubricas.
• Recuperação de JC: Correlação de postos de Spearman entre a ordenação de qualidade construída e a ordenação implicada pelo ajuste de um modelo Bradley-Terry às preferências em pares.
• Validação Estatística: Os autores empregaram uma estratégia de bootstrap hierárquico (2.000 iterações) para avaliar a significância estatística, contabilizando a incerteza de amostragem decorrente da participação finita de avaliadores.

Principais Contribuições

1. Um Conjunto de Dados Benchmark Emparelhado: O JUDGMENTBENCH é o primeiro conjunto de dados publicamente disponível em um domínio de alta especialização onde ambos os sinais de supervisão (rubrica e preferência) são elicidos dos mesmos especialistas nos mesmos itens. Esse emparelhamento é uma pré-condição para uma comparação limpa das duas metodologias.
2. Comparação Empírica no Direito: O estudo fornece a primeira evidência empírica direta comparando pontuação baseada em rubricas e julgamento comparativo dentro do domínio jurídico, um campo caracterizado por alta complexidade e conhecimento tácito.
3. Análise de Autocorretor: Os autores estenderam a avaliação para autocorretores de LLM (GPT-5.4 e GPT-5.4-mini) para determinar se os padrões observados se mantêm para sistemas de avaliação automatizada.

Resultados

O estudo conclui que os julgamentos comparativos superam substancialmente a pontuação baseada em rubricas na recuperação da ordenação de qualidade pretendida, exigindo significativamente menos tempo.

• Desempenho: A correlação média de postos de Spearman para julgamentos comparativos foi de 0,908, comparada a 0,150 para rubricas. A diferença ($D$) foi de 0,758 (IC 95% [0,494, 1,021]), indicando uma vantagem robusta para o JC.
• Eficiência: Os julgamentos comparativos exigiram menos da metade do tempo de anotação das rubricas (mediana de 1,92 minutos versus 4,74 minutos).
• Consistência: A vantagem dos julgamentos comparativos persistiu em:
  • Diferentes níveis de experiência dos advogados (embora a lacuna tenha sido ligeiramente mais consistente entre advogados altamente experientes).
  • Categorias de tarefas (contencioso versus transacional).
  • Tanto anotadores humanos quanto autocorretores de LLM (onde o JC do autocorretor também superou as rubricas).
• Limitações das Rubricas: O baixo desempenho das rubricas não foi devido à falta de variância de pontuação (as pontuações estavam amplamente distribuídas), mas parecia decorrer da incapacidade de critérios atomísticos de capturar as dimensões holísticas e tácitas da qualidade jurídica (por exemplo, julgamento estratégico, força persuasiva).

Significado e Alegações

O artigo alega que suas descobertas têm implicações importantes para como a qualidade é medida e como os sinais de recompensa são construídos para LLMs em domínios profissionais:

1. Superioridade Metodológica: Em domínios ricos em julgamento onde a qualidade é difícil de enumerar com antecedência, os julgamentos comparativos são um método mais confiável e eficiente para recuperar ordenações de qualidade do que rubricas desenvolvidas por especialistas.
2. Implicações para Pós-Treinamento: Os resultados desafiam a suposição de que o feedback baseado em rubricas é inerentemente superior ou mais interpretável para aprendizado por reforço e alinhamento de modelos em domínios complexos. Embora as rubricas ofereçam auditabilidade, elas podem falhar em capturar as dimensões latentes da qualidade que os julgamentos comparativos preservam.
3. Orientação Prática: Para praticantes construindo avaliações jurídicas, os autores sugerem o uso de julgamentos comparativos como padrão para avaliação geral de qualidade devido à sua vantagem de validade de construção e menor custo, reservando rubricas para configurações específicas onde informações diagnósticas, por critério, são explicitamente necessárias.
4. Pesquisa Futura: A estrutura emparelhada do conjunto de dados apoia pesquisas futuras sobre como esses dois sinais podem ser combinados (por exemplo, usando rubricas como andaime para julgamentos comparativos ou derivando rubricas de preferências) e como funcionam como sinais de supervisão para o pós-treinamento de modelos em domínios sem verdade fundamental verificável.

Os autores mantêm modéstia quanto à validade externa, observando que sua variação de qualidade foi induzida via prompting (o que pode diferir da variação humana natural) e que as tarefas são específicas ao direito comum dos EUA. No entanto, eles argumentam que o conjunto de dados fornece uma base rigorosa para reavaliar metodologias de avaliação em aplicações de IA de alto risco.