Evidence Lock Before Commitment: A Frozen Interface Degrades LLM-as-Judge Evaluation

Resumo Técnico: Bloqueio de Evidência Antes do Compromisso

Definição do Problema
O artigo aborda uma suposição de fluxo de trabalho prevalente na avaliação de LLM-como-juiz (LLM-as-a-judge): que extrair critérios e evidências em uma etapa intermediária antes de renderizar um veredito final preserva informações suficientes para uma chamada de decisão separada posterior. Embora métodos de avaliação estruturados (por exemplo, solicitar planos ou justificativas antes de uma pontuação) sejam motivados pela necessidade de auditabilidade e robustez, eles frequentemente assumem que um registro de evidência em linguagem natural é uma interface suficiente para reproduzir um julgamento. O autor questiona se persistir este registro de evidência e torná-lo o exclusivo input para uma chamada de decisão final — removendo assim o acesso às respostas originais da fonte — degrada a qualidade da avaliação. Isso é particularmente relevante para modelos com capacidade de raciocínio, onde a ordem do output visível não reflete necessariamente a ordem interna de decisão.

Metodologia
O estudo emprega uma avaliação controlada de medidas repetidas através de 24.000 julgamentos usando dois juízes proprietários com capacidade de raciocínio (Claude Sonnet 4.5 e GPT-5) e três conjuntos de dados (HelpSteer3, FeedbackQA e CoVal). Os pesquisadores comparam quatro protocolos de julgamento distintos:

1. Julgamento Pareado Padrão: O juiz vê o contexto e ambas as respostas (A e B) e gera um veredito diretamente.
2. Julgamento Estruturado de Chamada Única: O juiz vê o contexto e ambas as respostas, mas é instruído a gerar explicitamente critérios e evidências antes de selecionar um vencedor dentro da mesma chamada.
3. Bloqueio de Evidência (Duas Chamadas):
   • Chamada 1: O juiz inspeciona o contexto e ambas as respostas, escreve evidências/critérios e persiste o registro sem selecionar um vencedor.
   • Chamada 2: O juiz vê apenas o registro de evidência persistido (sem o contexto ou as respostas originais) e seleciona A, B ou um empate.
4. Bloqueio de Ponto (Três Chamadas):
   • Chamadas 1 e 2: As respostas A e B são avaliadas independentemente para gerar avaliações congeladas.
   • Chamada 3: O juiz compara as duas avaliações congeladas para determinar o vencedor, sem ver as respostas originais.

O estudo mede dois resultados primários:

• Acordo de Preferência: A precisão do veredito do juiz em relação aos rótulos de preferência humana estritos liberados (A/B), em média sobre ambas as ordens de apresentação de respostas (AB e BA).
• Inconsistência de Ordem de Resposta: A frequência com que o veredito normalizado muda quando a ordem de apresentação dos candidatos é invertida.

Principais Contribuições

1. Intervenção Observável: O artigo introduz o "Bloqueio de Evidência", uma intervenção observável que isola o efeito de congelar um registro intermediário e remover o acesso à fonte, sem depender de alegações não verificáveis sobre a ordenação do pensamento (chain-of-thought) oculto.
2. Avaliação de Grande Escala: Uma avaliação abrangente envolvendo 24.000 julgamentos em dois modelos e três conjuntos de dados diversos, utilizando reamostragem bootstrap não paramétrica para confiança estatística.
3. Resultado Negativo em Interfaces Bloqueadas: O estudo fornece evidência consistente de que, embora a elicitação estruturada (solicitar evidências em uma única chamada) permaneça eficaz, converter essa evidência em uma interface exclusiva e congelada para uma chamada de decisão subsequente degrada significativamente o desempenho.

Resultados
Os resultados experimentais demonstram que "bloquear" a evidência leva a uma degradação mensurável na qualidade da avaliação em comparação com o julgamento estruturado de chamada única:

• Redução no Acordo de Preferência: O bloqueio de evidência reduziu o acordo com as preferências humanas em 4 a 6 pontos percentuais em relação ao julgamento estruturado de chamada única.
  • Claude Sonnet 4.5: Caiu de 76,0% (estruturado) para 71,7% (bloqueio de evidência).
  • GPT-5: Caiu de 75,6% (estruturado) para 70,0% (bloqueio de evidência).
  • O bloqueio de ponto mostrou acordo ainda menor (67,3% e 69,2%).
• Aumento da Inconsistência de Ordem: Protocolos bloqueados aumentaram significativamente a sensibilidade à ordem das respostas.
  • O bloqueio de evidência aumentou a inconsistência em 8 a 10 pontos percentuais em relação ao julgamento estruturado.
  • Para o Claude Sonnet 4.5, a inconsistência subiu de 10,9% (estruturado) para 18,9% (bloqueio de evidência).
• Custo Computacional: Protocolos bloqueados exigem mais chamadas de API e tokens (ex: 4.183 tokens para bloqueio de evidência vs. 1.864 para julgamento estruturado para o Claude) enquanto produzem resultados piores.
• Generalização: Os efeitos negativos foram consistentes em todos os três conjuntos de dados (HelpSteer3, FeedbackQA, CoVal) e em ambos os modelos de juiz.

Significância e Alegações
O artigo conclui que registros de evidência persistidos não devem substituir as respostas da fonte no momento da decisão. A degradação no desempenho ocorre especificamente quando o registro de evidência se torna a interface exclusiva para o veredito final, não meramente quando a evidência é solicitada.

• Fluxo de Informação: O autor argumenta que isso é um "efeito de fluxo de informação". Registros em linguagem natural podem omitir distinções, comprimir trade-offs ou preservar o enquadramento (framing) dependente da ordem de apresentação original. Uma vez que a chamada de decisão final perde o acesso às respostas originais, ela não pode corrigir essas omissões ou escolhas de enquadramento.
• Auditabilidade vs. Tomada de Decisão: Embora a evidência persistida apoie a auditabilidade, o log e a modularidade, a lição prática é que o registro deve auxiliar a decisão, em vez de substituir o par original. Um juiz final deve idealmente inspecionar tanto o artefato quanto as respostas originais.
• Modéstia das Alegações: O autor afirma explicitamente que o "Bloqueio de Evidência" é uma intervenção agrupada (combinando separação de estágio, uma chamada adicional, congelamento de registro e remoção da fonte). Portanto, embora o fluxo de trabalho cause a degradação, o componente específico responsável (ex: o congelamento vs. a remoção do acesso à fonte) não é identificado unicamente, embora a explicação de "gargalo de informação" seja apresentada como uma interpretação plausível. O estudo não pretende provar mecanismos de raciocínio ocultos, mas sim demonstrar as consequências observáveis da restrição dos dados de entrada.