Resumo Técnico: O Avaliador é Parte do Experimento

Definição do Problema

Pesquisas anteriores sobre conformidade em Grandes Modelos de Linguagem (LLMs) basearam-se amplamente na medição de mudanças discretas de resposta sob rótulos verificáveis (ex: mudar de uma opção de múltipla escolha correta para uma incorreta). No entanto, a conformidade de código aberto (open-ended) apresenta um desafio de medição distinto: a qualidade da resposta é graduada, latente e julgada de forma imperfeita. As métricas existentes falham em capturar degradações sutis no enquadramento epistêmico, na factualidade ou na completude que ocorrem sem uma mudança categórica na proposição da resposta. O processo de avaliação em si é vulnerável; avaliadores (sejam humanos ou automatizados) podem reagir ao contexto de pares visível, confundindo mudanças na resposta gerada com mudanças no julgamento do próprio avaliador. Este artigo postula que a conformidade de código aberto é um problema conjunto de geração e medição, onde o avaliador é um componente ativo do experimento.

Metodologia

Os autores propõem um protocolo experimental projetado para separar os efeitos de revisão do lado do gerador da sensibilidade do lado do avaliador. O estudo utiliza quatro geradores de pesos abertos (Qwen2.5-7B, Mistral-7B, Gemma-2-9B, Llama-3.1-8B) e três benchmarks (TruthfulQA, MMLU-Pro, ARC-Challenge).

Desenho Experimental

O protocolo envolve um processo de duas rodadas:

1. Rodada 1: O gerador produz uma resposta inicial ($a^{(1)}$).
2. Rodada 2: O gerador é instruído a responder novamente à mesma pergunta sob sete condições distintas que derivam da mesma resposta realizada na Rodada 1:
   • Sem-Pares (No-Peer): Uma re-resposta de linha de base.
   • Apenas-Conteúdo (Content-Only): Exposição ao texto candidato (correto, errado ou misto) apresentado como uma lista simples sem atribuição.
   • Apresentação-de-Pares (Peer-Presented): Exposição ao mesmo texto candidato formatado como um bloco atribuído a seis interlocutores (simulando uma discussão entre pares), com variações em pistas de autoridade.

Estratégia de Avaliação

Para isolar a sensibilidade do avaliador, cada resposta gerada passa por uma avaliação pareada:

• Avaliação Cega (Blind Rating): A resposta é avaliada sem qualquer contexto de pares.
• Avaliação Informada (Informed Rating): A idêntica resposta é avaliada novamente com o bloco de pares associado visível.

Este desenho permite a medição da sensibilidade do avaliador ao contexto de pares ($\gamma_j$), definida como o deslocamento na classificação para a mesma resposta quando o contexto de pares é introduzido. O estudo utiliza um modelo ordinal hierárquico para inferir a qualidade latente da resposta ($\theta_i$) a partir de classificações ordinais (escala de 1–5), contabilizando a discriminação ($\alpha_j$) e a severidade ($\beta_j$) específicas do juiz.

Decomposição

Os autores decompõem o deslocamento total do braço de pares ($\Delta_{total}$) em três componentes:

1. Re-resposta Ordinária ($\Delta_{sp}$): O deslocamento da Rodada 1 para uma Rodada 2 sem pares.
2. Exposição de Conteúdo ($\Delta_{content}$): O efeito de visualizar o texto candidato sem o enquadramento de pares.
3. Resíduo de Apresentação de Pares ($\Delta_{pp}$): O efeito adicional de apresentar o conteúdo dentro de um bloco social/atribuído de pares.

Resultados Principais

1. Taxas de Mudança (Flip Rates) São Insuficientes

Indicadores binários de mudança falham em capturar a natureza da conformidade de código aberto. Em casos onde a posição ampla da resposta permanece inalterada (ex: "um pega é má sorte"), a qualidade da explicação pode degradar significamente (ex: removendo ressalvas sobre superstição e adotando rituais prescritivos). No TruthfulQA, 9,0% das revisões que pareceram "inalteradas" pelos indicadores de mudança ainda perderam pelo menos um ponto nas avaliações cegas.

2. Pares Errados Prejudicam a Qualidade da Revisão

Em todas as células de gerador-dataset, a entrada de pares totalmente errados produz a revisão de menor qualidade.

• Magnitude: A degradação sob pares totalmente errados é substancial. Por exemplo, no ARC-Challenge, o modelo Llama-3.1-8B mostrou um deslocamento de qualidade latente de $-0,528$ (aproximadamente 18% da distância entre os âncoras fixos corretos e incorretos).
• Assimetria: O efeito prejudicial de pares errados excede significativamente qualquer benefício potencial de pares corretos. A métrica de "assimetria prejudicial-beneficial" ($Asym_{total}$) é positiva em todas as 12 células de gerador-dataset, indicando que pares incorretos degradam a qualidade mais do que pares corretos a melhoram.

3. Avaliadores Exibem Sensibilidade ao Contexto de Pares

A avaliação de uma resposta idêntica muda dependendo se o contexto de pares está visível, e a direção deste deslocamento varia conforme o avaliador:

• Mistral-7B: Desloca as classificações em direção à posição endossada pelos pares ($\gamma > 0$).
• Gemma-2-9B e Llama-3.1-8B: Deslocam as classificações para longe da posição endossada pelos pares ($\gamma < 0$).
• Qwen2.5-7B: Aproximadamente neutro.
• Modelos de Fronteira (GPT-4o, GPT-5.4-mini): Ambos mostram uma sensibilidade direcional credivelmente negativa (deslocando-se para longe dos pares).
  Isso confirma que os avaliadores não são observadores neutros; suas classificações são influenciadas pelas mesmas pistas de consenso ou autoridade apresentadas ao gerador.

4. Calibragem de Âncora é Necessária

O estudo destaca que escalas latentes dependem de âncoras (exemplos concisos corretos/incorretos) para definir a origem e a unidade de qualidade. Sem a pontuação aumentada por referência durante a avaliação de âncoras, os juízes falharam em distinguir âncoras corretas de incorretas em 26,7% dos casos, desestabilizando a escala latente. A pontuação aumentada por referência elevou a ordenação correta para 97,5%.

Significância e Alegações

O artigo argumenta que a conformidade de código aberto não pode ser adequadamente medida por mudanças de resposta ou assumindo que avaliadores automatizados são insensíveis ao contexto correlacionado ao tratamento. As principais contribuições são:

1. Estrutura de Medição: Um protocolo que separa a re-resposta ordinária, a exposição ao conteúdo do candidato, o efeito residual da apresentação de pares e a sensibilidade direcional do juiz.
2. Evidência Empírica de Dano: Demonstração de que pares incorretos consistentemente degradam a qualidade da revisão de código aberto mais do que pares corretos a melhoram, mesmo quando a proposição final não muda.
3. Não-Neutralidade do Avaliador: Prova de que "o avaliador é parte do experimento", com diferentes modelos exibindo sensibilidades heterogêneas ao contexto de pares.
4. Requisito de Calibragem: A afirmação de que a calibragem de âncoras é um pré-requisito para uma medição válida de escala latente, já que os diagnósticos de convergência padrão não garantem que a escala represente o construto pretendido.

Os autores concluem que a avaliação credível de sistemas multi-agentes requer controles de linha de base apropriados, modelagem explícita da sensibilidade do avaliador, corroboração independente (ex: classificadores fixos) e auditorias diretas da calibragem da escala. Eles não alegam que esses achados são constantes universais para todos os sistemas de LLM, mas sim quantidades identificáveis dentro do cenário experimental especificado.