Resumo Técnico: MCJudgeBench

Declaração do Problema

O seguimento de instruções com múltiplas restrições exige que Modelos de Linguagem de Grande Porte (LLMs) satisfaçam requisitos simultâneos quanto ao conteúdo, formato, estilo ou comprimento. Embora benchmarks recentes tenham avançado além de julgamentos grosseiros no nível do prompt para avaliar restrições individuais, a avaliação dos próprios julgadores (LLM-como-julgador) permanece insuficiente. Os benchmarks de julgadores existentes focam principalmente em preferências em pares, julgamentos escalares ou pontuação baseada em rubricas, frequentemente avaliando julgadores na qualidade geral da resposta em vez de sua capacidade de verificar restrições específicas.

Além disso, as avaliações atuais não abordam se os julgadores podem verificar individualmente e de forma estável restrições individuais, particularmente sob perturbações de invariância no prompt de avaliação ou na forma da resposta candidata. Sabe-se que os julgadores são sensíveis à formulação do prompt, exibem vieses sistemáticos e podem favorecer saídas com estilo forte mesmo quando a aderência à instrução é fraca. Existe uma lacuna crítica na compreensão da confiabilidade do julgador no nível da restrição, especificamente sobre como os julgadores se comportam ao distinguir entre restrições satisfeitas, parcialmente satisfeitas e violadas em cenários de múltiplas restrições.

Metodologia: MCJudgeBench

Os autores introduzem o MCJudgeBench, um benchmark de meta-avaliação projetado para avaliação de julgadores no nível da restrição no seguimento de instruções com múltiplas restrições.

Construção do Benchmark

O MCJudgeBench é construído a partir de dois benchmarks de origem, ComplexBench e InFoBench, para garantir uma progressão no comprimento da instrução e na complexidade das restrições. O pipeline de construção envolve três etapas:

1. Filtragem de Instâncias de Origem: Pré-processamento de instâncias para garantir adequação ao idioma inglês e exclusão de tarefas culturalmente específicas.
2. Construção de Candidatos: Geração de respostas candidatas naturais usando Qwen3-4B-Instruct (escolhido por produzir uma mistura natural de restrições satisfeitas e violadas). Anotadores humanos atribuem rótulos de ouro de aderência por restrição de três classes: sim (claramente satisfeito), parcial (parcialmente satisfeito) e não (claramente violado/faltante).
3. Validação Humana: Anotadores verificam os rótulos do tipo de restrição e garantem que as perturbações geradas preservem o vetor de rótulos de aderência subjacente.

Estrutura de Dados

Cada instância $x$ é representada como $(I, y, C, L, P_y)$, onde:

• $I$: A instrução.
• $y$: A resposta candidata natural.
• $C$: Uma lista explícita de restrições.
• $L$: Rótulos de ouro correspondentes por restrição.
• $P_y$: Um conjunto de perturbações de invariância de variantes da resposta candidata.

O benchmark categoriza as restrições em oito tipos baseados em desafios de verificação: Lexical, Numérico, Formato, Conteúdo, Componente, Fidedignidade, Factualidade/Racionalidade e Estilo.

Perturbações de Invariância

Para testar a estabilidade do julgador, o benchmark inclui perturbações controladas no lado da resposta que preservam os rótulos de ouro:

• Paráfrase Local: Reescritas no nível de frase/frase sem alterar palavras-chave, estrutura ou conteúdo factual.
• Reorganização Estrutural: Alterações na disposição do conteúdo (por exemplo, ordem das frases, agrupamento de parágrafos) sem alterar a ordem exigida, formato ou alegações.

Adicionalmente, o protocolo de avaliação inclui variantes do prompt de avaliação (reordenar restrições, alterar formatação ou reordenar seções do prompt) para testar a estabilidade no lado do prompt.

Métricas de Avaliação

O artigo propõe um framework para medir a confiabilidade do julgador em três dimensões:

1. Correção: Medida pela Razão de Precisão do Julgador no Nível da Restrição (CJAR) e Macro-F1 nas três classes de rótulos. Isso distingue o desempenho nas classes majoritárias (sim) das classes minoritárias (parcial, não).
2. Inconsistência Intrínseca: Medida pela Taxa de Inconsistência no Nível da Restrição (CIR$_{intr}$) sob decodificação estocástica (execuções repetidas com temperatura=1.0). Isso captura instabilidade decorrente da estocasticidade interna do modelo.
3. Inconsistência Procedural: Medida por CIR$_{prompt}$ e CIR$_{resp}$, avaliando a estabilidade sob perturbações de prompt e resposta, respectivamente (usando decodificação determinística). Isso captura a sensibilidade a mudanças de formulação.

Principais Contribuições

1. MCJudgeBench: Um novo benchmark de meta-avaliação com rótulos de ouro por restrição e conjuntos de invariância controlados tanto para respostas quanto para prompts.
2. Framework de Avaliação: Uma metodologia para decompor a instabilidade do julgador em fontes intrínsecas (estocásticas) e procedimentais (baseadas em perturbação), juntamente com métricas de correção.
3. Análise de Baseline: Uma avaliação abrangente de julgadores LLM proprietários e de código aberto, revelando que a confiabilidade varia significativamente entre tipos de restrição, contagens de restrições e condições de perturbação.

Resultados

A avaliação de modelos incluindo GPT-5.2, Claude Sonnet 4.6, Gemini 3.1 Pro e modelos de código aberto (Qwen3.5-4B, Llama 3.2 3B) produz várias descobertas-chave:

• Correção vs. Confiabilidade: Alta correção geral (CJAR) não garante detecção confiável em todas as categorias de rótulos. Julgadores frequentemente performam bem em casos de "sim", mas lutam significativamente com casos de "parcial" e "não", que são críticos para a análise de confiabilidade. Pontuações Macro-F1 frequentemente revelam fraquezas mascaradas por alta CJAR.
• Fontes de Inconsistência:
  • Inconsistência Intrínseca: Baselines de código aberto exibem inconsistência intrínseca significativamente maior sob decodificação estocástica em comparação com modelos proprietários.
  • Inconsistência Procedural: Julgadores são geralmente mais sensíveis a mudanças na forma do prompt de avaliação do que a mudanças na forma da resposta candidata. A inconsistência procedural no lado do prompt é tipicamente maior do que a inconsistência no lado da resposta.
• Impacto do Raciocínio: Habilitar o raciocínio melhora o Macro-F1 (equilibrando o desempenho entre rótulos), mas não melhora uniformemente a estabilidade. Em alguns casos, o raciocínio aumenta a inconsistência intrínseca ou procedural, sugerindo que ele altera como os julgadores resolvem restrições limítrofes em vez de estabilizá-los uniformemente.
• Contagem de Restrições: A inconsistência não aumenta monotonicamente com o número de restrições. A inconsistência intrínseca é frequentemente mais alta para instruções com 2 restrições, sugerindo que a ambiguidade na distinção de limites de rótulos pode ser maior em casos mais simples do que em listas complexas altamente decompostas.
• Confusão de Rótulos: Matrizes de confusão indicam uma tendência sistemática de creditar excessivamente casos "parciais" como "sim", em vez de distingui-los como um estado de aderência separado.

Significado e Alegações

O artigo argumenta que a confiabilidade do julgador é multidimensional. Uma única pontuação agregada é insuficiente para caracterizar a qualidade de um avaliador. Os autores afirmam que:

• Avaliar julgadores LLM para seguimento de instruções com múltiplas restrições requer a consideração conjunta de correção e estabilidade no nível da restrição.
• Alto desempenho geral não garante detecção igualmente confiável em todas as categorias de rótulos, particularmente para os casos mais raros de "parcial" e "não".
• Julgadores com maior correção não necessariamente têm menor inconsistência; o raciocínio pode melhorar a correção enquanto introduz variabilidade.
• O MCJudgeBench fornece uma ferramenta necessária para estudar modos de falha como instabilidade estocástica intrínseca e sensibilidade procedimental à reformulação de prompt/resposta, que são atualmente pouco explorados na literatura.

O trabalho conclui que pesquisas futuras sobre avaliadores automatizados devem ir além do acordo agregado para avaliar sistematicamente a confiabilidade e estabilidade no nível da restrição.