Quantifying the Statistical Effect of Rubric Modifications on Human-Autorater Agreement

Resumo Técnico: Quantificação do Efeito Estatístico de Modificações em Rubricas sobre o Acordo entre Humanos e Avaliadores Automáticos

Declaração do Problema
Os avaliadores automáticos (LLM como juízes) estão sendo cada vez mais implantados para avaliação e moderação de conteúdo devido à sua escalabilidade e relação custo-efetividade. No entanto, sua confiabilidade é tipicamente validada por meio de acordo com anotações humanas. Existe uma lacuna crítica na compreensão de como modificações em rubricas de avaliação — especificamente a transição de formatos holísticos (julgamento geral) para analíticos (critérios decompostos) e a inclusão de exemplos ou contexto — afetam o acordo estatístico entre humanos e avaliadores automáticos. Embora seja conhecido que edições em rubricas melhorem a precisão de pontuação individual para humanos ou modelos isoladamente, permanece incerto se essas modificações alinham os dois avaliadores ou introduzem novas fontes de discordância. Além disso, a sensibilidade dos avaliadores automáticos a variações de prompt (por exemplo, viés posicional, viés de verbosidade, formatação) sugere que rubricas projetadas para humanos podem não ser ótimas para modelos, e vice-versa.

Metodologia
O estudo investiga o acordo entre humanos e avaliadores automáticos em dois domínios distintos: Pontuação Automática de Ensaios (AES) e avaliação de Seguimento de Instruções (IF).

• Conjuntos de Dados:
  • AES: Utilizou o conjunto de dados ASAP (Hamner et al., 2012) para pontuações holísticas e ASAP++ (Mathias e Bhattacharyya, 2018) para subcritérios analíticos. Três prompts de ensaio (1, 4 e 6) representando complexidade variada e tipos de rubrica (geral vs. específica da tarefa) foram selecionados.
  • IF: Utilizou o conjunto de dados InfoBench (Qin et al., 2024), que fornece tanto pontuações holísticas (escala de 1 a 5) quanto pontuações analíticas decompostas (sim/não binário) para tarefas de seguimento de instruções.
• Avaliadores Automáticos: Os experimentos empregaram GPT-4o-2024-11-20 e Llama-3.1-70B-Instruct. As classificações foram calculadas usando um esquema de ponderação de probabilidade para derivar pontuações finais a partir de log-probabilidades.
• Desenho Experimental: O estudo manipulou a apresentação da rubrica ao longo de dois eixos:
  1. Tipo de Avaliador: Comparando acordo Humano-Humano (HH) vs. Humano-Avaliador Automático (LLM) ($\Delta$Avaliador).
  2. Tipo de Rubrica: Comparando rubricas Holísticas vs. Analíticas ($\Delta$Rubrica).
  • Modificações: As rubricas foram editadas para incluir exemplos representativos (3ex: alto, médio, baixo), contexto adicional e estratégias para mitigar viés posicional (chamadas de API separadas para cada subcritério vs. chamadas em lote).
• Métricas de Acordo: O $\tau$ de Kendall com consideração de empates foi usado para medir acordo ordinal. Para rubricas analíticas, as pontuações foram agregadas usando dominância de Pareto (para AES) ou razões de seguimento de instruções (para IF) para permitir comparação com pontuações holísticas. A significância estatística foi determinada via bootstrap com intervalos de confiança de 95% e correções de Bonferroni para comparações múltiplas.

Principais Contribuições e Resultados
O estudo fornece evidências empíricas sobre como escolhas específicas de engenharia de rubricas impactam o alinhamento entre pontuação humana e automatizada:

1. Impacto de Exemplos e Contexto:

   • Fornecer exemplos representativos e informações contextuais em rubricas analíticas editadas aumentou significativamente o acordo humano-avaliador automático para tarefas AES ao usar GPT-4o.
   • Essas edições também melhoraram o autoacordo do avaliador automático (consistência entre diferentes tipos de rubrica), frequentemente superando os níveis de acordo humano-humano em condições específicas.
   • Em tarefas IF, o efeito dos exemplos foi misto; enquanto o Llama mostrou melhoria, o acordo do GPT-4o não aumentou consistentemente, sugerindo dependência de domínio.

2. Decomposição Holística vs. Analítica:

   • Decompor julgamentos holísticos em subcritérios analíticos não melhorou universalmente o acordo. Em AES, rubricas analíticas melhoraram o acordo para prompts complexos (Prompt 1), mas às vezes o diminuíram para prompts mais simples (Prompts 4 e 6), provavelmente devido ao aumento da carga cognitiva ou complexidade de agregação.
   • Em IF, prompts analíticos geralmente resultaram em menor acordo do que prompts holísticos, potencialmente devido às limitações de métodos de agregação baseados em razão, que falham em capturar os pesos variáveis dos subcritérios inerentes ao julgamento humano holístico.

3. Mitigação de Viés:

   • Reduzir o viés de confirmação avaliando subcritérios em chamadas de API separadas (em vez de um único prompt em lote) melhorou significativamente o acordo para ambos os modelos em tarefas AES e IF.
   • Prompts em lote exibiram um viés em direção a respostas "sim" em tarefas IF binárias, desviando-se das distribuições de resposta humana.

4. Papel do Acordo Interavaliador Humano:

   • Alto acordo interavaliador humano foi um forte preditor de alto acordo humano-avaliador automático. Quando os anotadores humanos discordavam significativamente, o alinhamento do avaliador automático com a pontuação humana agregada caiu, particularmente em tarefas IF.

Significância e Alegações
Os autores afirmam que projetar avaliadores automáticos confiáveis requer uma compreensão matizada da interação entre domínio, tipo de rubrica e características do avaliador. As descobertas sugerem que:

• Edições de Rubrica Importam: Adicionar exemplos e contexto, e reduzir viés posicional (via chamadas separadas), são estratégias eficazes para aumentar o acordo humano-avaliador automático, mas sua eficácia é contingente ao domínio e modelo específicos.
• Decomposição Não é uma Panaceia: Simplesmente decompor rubricas holísticas em partes analíticas não garante melhor alinhamento; a complexidade da tarefa de avaliação e o método de agregação utilizado são fatores moderadores críticos.
• Consistência Humana é Fundamental: Alto acordo interavaliador humano é um pré-requisito para alto acordo humano-avaliador automático. Rubricas servem como a ferramenta primária para estabelecer a "verdade fundamental" necessária para treinar e avaliar avaliadores automáticos.

O artigo conclui que os praticantes devem analisar cuidadosamente o desempenho específico do domínio e adaptar modificações de rubrica (por exemplo, seleção de exemplos, redução de viés) em vez de aplicar uma abordagem de tamanho único ao projeto de rubricas para avaliação automatizada.

Limitações
Os autores reconhecem que as descobertas são limitadas a dois domínios (AES e IF) e dois avaliadores automáticos específicos. O estudo depende de conjuntos de dados existentes em vez de coleta controlada de anotação humana, o que pode introduzir variabilidade na expertise dos anotadores. Além disso, o escopo está restrito a tarefas em inglês de alto recurso, deixando a generalizabilidade para outros idiomas e contextos de avaliação (por exemplo, sumarização, diálogo) inexplorada.