Resumo Técnico: Calibre, Não Curate

Declaração do Problema

Na avaliação de Modelos de Linguagem de Grande Escala (LLMs) e modelos de recompensa, a comparação pareada com múltiplos juízes é o paradigma dominante. O heurismo predominante para gerenciar painéis de juízes heterogêneos (variando de quase aleatórios a quase especialistas) é a curadoria: selecionar um subconjunto dos juízes mais precisos (top-$k$) e descartar os mais fracos para maximizar a precisão pontual.

No entanto, os sistemas de avaliação modernos exigem cada vez mais saídas probabilísticas calibradas (estimativas de confiança confiáveis) e não apenas vencedores precisos. Este artigo investiga se o heurismo de curadoria se mantém quando o objetivo muda da precisão pontual para a estimativa probabilística calibrada usando um conjunto de calibração rotulado. A questão central é: Devemos curar um pequeno painel de juízes de alta precisão ou calibrar o painel completo, incluindo juízes mais fracos?

Metodologia

Os autores propõem um pipeline estatístico de quatro etapas para agregação de múltiplos juízes, comparando dois braços: Seleção Baseada em Precisão (poda top-$k$) versus Inclusão do Painel Completo. Crucialmente, os procedimentos de agregação e calibração são mantidos fixos em ambos os braços para isolar o efeito da composição do painel de juízes.

O Pipeline

1. Agregação Consciente da Heterogeneidade ($M_\omega$):

   • Os veredictos dos juízes são agregados em uma probabilidade bruta usando um modelo de uma moeda Bayesiano integrado.
   • Os pesos dos juízes são derivados da precisão média posterior ($\alpha_k/(\alpha_k+\beta_k)$) estimada na divisão de calibração.
   • Isso implementa um princípio de ponderação de log-odds onde juízes com precisão incerta ($\alpha_k \approx \beta_k$) recebem peso próximo de zero, enquanto juízes fortes e fracos contribuem com base em sua confiabilidade aprendida.
   • Nota: O artigo também considera o EM de Dawid–Skene como agregador alternativo.

2. Correção de Viés Residual ($M_{\omega, \delta}$):

   • Um mapa pós-hoc de baixa capacidade (regressão logística estilo Platt) corrige vieses globais de escala e deslocamento na pontuação agregada.
   • Esta etapa permite que a classe de modelo se expanda de $M_\omega$ para $M_{\omega, \delta}$ sem aumentar a perda calibrada assintótica.

3. Calibração de Distribuição ($M_{\omega, \delta, G}$):

   • Um mapa de calibração Beta é aplicado às probabilidades corrigidas para garantir calibração ao nível da distribuição.
   • O mapa $g(p) = \sigma(a \log p + b \log(1-p) + c)$ generaliza a escala de Platt, permitindo correções assimétricas próximas a positivos e negativos confiantes.
   • A regularização elastic net é usada para evitar sobreajuste, particularmente quando os dados de calibração são limitados.

4. Cobertura Conformal (Opcional):

   • A previsão conformal dividida envolve as probabilidades calibradas para fornecer garantias de cobertura marginal de amostra finita.

Configuração Experimental

• Conjuntos de Dados: Quatro benchmarks de avaliação pareada rotulados: JudgeBench, RewardBench, RewardBench 2 e LLMBar.
• Juízes: Painéis variando de 38 a 174 juízes, incluindo modelos de recompensa nativos e LLMs hospedados em API/GPU aumentados.
• Métricas: Log-Verossimilhança Negativa (NLL) e Pontuação de Brier (regras de pontuação estritamente próprias), Erro de Calibração Esperado (ECE) e precisão pontual.
• Protocolo: Divisões de calibração/avaliação 50/50 repetidas sobre 100 permutações. A significância estatística é avaliada por meio de testes de permutação pareados ao nível de item.

Racional Teórico

O artigo fornece duas justificativas teóricas para a superioridade da inclusão sobre a seleção em configurações calibradas:

1. Monotonicidade do Risco Calibrado pelo Oráculo (Proposição 1):
   Sob regras de pontuação estritamente próprias (Brier, NLL), o risco calibrado pelo oráculo é monótono em relação ao conjunto de juízes. Se $S \subseteq T$, então $R(T) \leq R(S)$. Adicionar juízes não pode aumentar a perda calibrada ótima, pois fornece informação condicional adicional ($I(Y; X_{T \setminus S} | X_S) \geq 0$).

2. Teorema do Júri Calibrado (Teorema 1):
   Estendendo o Teorema do Júri de Condorcet, os autores mostram que mesmo juízes "anti-especialistas" (precisão $p_k < 0.5$) contribuem positivamente para o limite de erro se seu viés for aprendível. O peso ótimo $\alpha_k = \log(p_k / (1-p_k))$ inverte o voto de um anti-especialista em vez de descartá-lo. Desde que os juízes não sejam ruído puro ($p_k \neq 0.5$), seus sinais são não redundantes e melhoram o decaimento exponencial do limite de erro.

Principais Resultados

1. Reversão da Calibração

A principal descoberta é uma reversão do tradeoff seleção-inclusão:

• Não Calibrado: Podar juízes fracos (top-$k$) frequentemente melhora a precisão bruta e às vezes o NLL bruto ao remover sinais de baixa qualidade extremos.
• Calibrado: Após aplicar a calibração Beta, usar o painel completo de juízes supera consistentemente a seleção baseada em precisão.
  • No RewardBench 2, reter todos os juízes alcançou um NLL de 0,006, comparado a 0,013 para a seleção top-5 (reduzindo pela metade o erro de calibração).
  • Ganhos semelhantes foram observados em JudgeBench (+19% de redução de NLL), RewardBench (+31%) e LLMBar (+22%).

2. Robustez a Curadores Mais Fortes

A vantagem da inclusão do painel completo persiste mesmo contra bases de poda mais fortes:

• Seleção Aditiva Gananciosa: Selecionar juízes para minimizar o NLL calibrado na divisão interna não conseguiu superar o painel completo.
• Regressão Logística Esparsa $\ell_1$: Falhou em esparsificar o painel, recuperando efetivamente o conjunto completo.
• Top-5 Oráculo: Mesmo com conhecimento perfeito da precisão do conjunto de teste, selecionar apenas 5 juízes não conseguiu igualar o desempenho calibrado do painel completo.
• Busca por Subconjuntos: A busca exaustiva em famílias desduplicadas e a busca em feixe em painéis completos confirmaram que a inclusão é ou a vencedora ou estatisticamente empatada (sendo o painel completo a opção padrão mais simples).

3. Papel do Desacordo

O artigo explica que juízes fracos contribuem com valor através do desacordo. Seus votos marcam itens incertos e produzem probabilidades menos extremas, que o calibrador pode aprender a confiar. A poda baseada em precisão remove essa informação, enquanto a calibração do painel completo a retém e aprende os níveis apropriados de confiança.

4. Diagnósticos de Orçamento e Escopo

• Orçamento de Rótulos: A vantagem da inclusão é mais pronunciada com orçamentos de calibração pequenos (por exemplo, no RewardBench, a inclusão do painel completo atinge NLL 0,01 com apenas 75 rótulos, enquanto o top-5 requer >300).
• Casos Limite: A inclusão falha apenas quando os juízes são patológicos (por exemplo, veredictos não analisáveis, confiabilidade abaixo do acaso sem viés aprendível) ou quando o painel já está saturado (juízes redundantes no limite de nitidez). Os autores propõem diagnósticos operacionais (analisabilidade, não saturação, compatibilidade do agregador) para filtrar tais casos.

Significância e Alegações

O artigo alega apresentar a primeira evidência sistemática de uma reversão de calibração na avaliação de LLMs com múltiplos juízes. Sua significância reside na mudança do princípio operacional para regimes de avaliação rotulada:

• Não descarte juízes fracos apenas pela precisão.
• Mantenha-os se forem analisáveis, não redundantes e calibráveis.
• O sinal "fraco" de um painel diversificado, quando corretamente agregado e calibrado, fornece mais informações sobre incerteza e respostas corretas do que um subconjunto curado de juízes "fortes".

Os autores enfatizam que este resultado vale especificamente para benchmarks rotulados com dados de calibração retidos. Em avaliação aberta sem verdade fundamental, a capacidade de aprender vieses dos juízes e calibrar probabilidades não está disponível, e o heurismo de curadoria pode permanecer válido. O trabalho sugere que, em regimes rotulados, o tradeoff de orçamento favorece reter um painel diversificado de juízes e investir em dados de calibração em vez de curar um painel pequeno e de alta precisão.