From Rubrics to Reliable Scores: Evidence-Grounded Text Evaluation with LLM Judges

Resumo Técnico: De Rubricas a Pontuações Confiáveis (RULERS)

Formulação do Problema
O artigo aborda o desafio de utilizar Modelos de Linguagem de Grande Escala (LLMs) congelados e de caixa-preta como juízes para avaliação de texto baseada em rubricas. Embora os LLMs ofereçam escalabilidade, alinhá-los aos padrões de pontuação humana permanece difícil devido a três modos de falha recorrentes:

1. Deriva na Execução da Rubrica: A mesma rubrica é reinterpretada de forma diferente no momento da inferência devido a variações na formulação do prompt, na ordem dos critérios ou no modelo base, levando a definições instáveis de critérios e limites de pontuação.
2. Atribuição de Pontuação Inverificável: Pontuações ou racionalizações são frequentemente geradas sem evidências que possam ser verificadas contra o texto de entrada, tornando explicações de forma livre potencialmente infieis ou insuficientes para uma avaliação confiável.
3. Desalinhamento em Escala Humana: Pontuações brutas do modelo, julgamentos de traços ou sinais de confiança frequentemente falham em corresponder às distribuições específicas de pontuação e às convenções de limites utilizadas por avaliadores humanos.

Os autores enquadram isso não meramente como uma tarefa de engenharia de prompt, mas como um problema de transferência de critérios: o objetivo é transferir a intenção de uma rubrica elaborada por humanos para um protocolo de pontuação estável, auditável e alinhado com humanos para um LLM congelado, sem atualizar os parâmetros do modelo.

Metodologia: O Framework RULERS
O artigo introduz o RULERS, um framework de três estágios no momento da inferência projetado para abordar os modos de falha identificados sem fine-tuning do modelo juiz.

• Fase I: Especificação e Bloqueio da Rubrica
  A rubrica em linguagem natural elaborada por humanos ($R$) é convertida em um pacote reutilizável, estruturado e "bloqueado" no nível da tarefa ($B$). Este pacote inclui:

  • Traços de avaliação ($T$).
  • Um checklist operacional ($C$) onde cada item é atribuído a uma escala de decisão (0, 1, 2) e a um tipo de fundamentação em evidências.
  • Âncoras de pontuação específicas da tarefa e descrições de limites ($S$).
  • Regras de evidência ($E$) definindo como as citações devem ser ancoradas ao texto de entrada.
    Uma vez induzido, o pacote é serializado, hashado e reutilizado inalterado para todas as instâncias na tarefa, prevenindo a reinterpretação em tempo de execução dos critérios.

• Fase II: Execução da Rubrica Fundamentada em Evidências
  O juiz congelado executa o pacote bloqueado contra o texto de entrada ($x$), que é segmentado em unidades atômicas. O modelo produz uma saída estruturada contendo:

  • Decisões do checklist ($d$).
  • Evidências citadas ($E_x$) que devem satisfazer operadores específicos (por exemplo, citações literais de frases, intervalos de parágrafos ou diagnósticos no nível do documento) com base no tipo de item do checklist.
  • Indicadores auxiliares de verificação.
    O sistema verifica se a evidência citada está fundamentada no texto de entrada (por exemplo, verificando se uma citação aparece realmente na frase citada). Esta etapa agrega decisões em pontuações brutas de traços e gera sinais estruturados para calibração.

• Fase III: Alinhamento de Distribuição em Escala Humana
  Para abordar o desalinhamento, uma etapa de calibração pós-hoc leve mapeia os sinais estruturados do modelo para a escala de pontuação humana.

  • Um modelo de regressão ridge de segunda ordem é ajustado em um conjunto de calibração rotulado ($D_{cal}$) para prever uma pontuação latente ($z$) a partir dos recursos estruturados.
  • Um alinhamento de distribuição monotônico (mapeamento de quantis) transforma a pontuação latente para corresponder à função de distribuição acumulada empírica das pontuações humanas.
  • Este mapeamento é fixado após a calibração e aplicado a instâncias de teste retidas.

Principais Contribuições

1. Formulação do Problema: Os autores reenquadram a avaliação baseada em rubricas como um problema de transferência de critérios, deslocando o foco de se os LLMs podem entender rubricas para se a intenção da rubrica pode ser transferida para procedimentos estáveis e auditáveis.
2. Framework RULERS: Eles propõem um protocolo unificado combinando bloqueio de rubrica, execução fundamentada em evidências e calibração em escala humana. Esta abordagem visa especificamente a deriva de execução, a atribuição inverificável e o desalinhamento de escala.
3. Validação Empírica: O framework é avaliado em quatro benchmarks diversos governados por rubricas (ASAP 2.0, SummHF, DREsS, WebNLG) e múltiplos modelos base congelados (GPT-4o, Llama-3.1).

Resultados

• Alinhamento Humano: O RULERS alcança maior concordância com pontuações humanas (medida pelo Kappa Ponderado Quadrático, QWK) na maioria dos cenários avaliados em comparação com baselines como Pontuação Holística Direta (DHS), Especialização Multitraço (MTS) e CheckEval.
• Alinhamento Distribucional: O método corresponde melhor às distribuições empíricas de pontuações humanas, preservando tanto a massa central quanto a dispersão das classificações, e demonstra maior estabilidade entre diferentes modelos base.
• Robustez: O RULERS demonstra robustez a perturbações semanticamente equivalentes da rubrica (por exemplo, reordenar critérios ou parafrasear), enquanto as baselines que dependem da formulação bruta do prompt mostram quedas significativas de desempenho.
• Estudos de Ablação: Remover qualquer uma das três fases (bloqueio, fundamentação em evidências ou alinhamento de distribuição) degrada o desempenho, confirmando que todos os componentes contribuem para os resultados finais.
• Controle de Calibração: Experimentos mostram que aplicar apenas a etapa de calibração às saídas das baselines não reproduz totalmente os ganhos do RULERS, indicando que os sinais a montante estruturados e fundamentados em evidências são cruciais.

Significado e Alegações
O artigo alega que a avaliação confiável por LLMs requer critérios fixos, evidências rastreáveis e interpretação calibrada de pontuações, e não apenas formulação de prompt ou escala do modelo. Ao tratar a rubrica como uma estrutura de pontuação latente e transferi-la para um protocolo bloqueado, o RULERS fornece uma alternativa escalável, auditável e alinhada com humanos às métricas tradicionais baseadas em referência e ao prompting não estruturado de LLMs. Os autores enfatizam que este framework é projetado para juízes congelados e de caixa-preta, tornando-o aplicável a modelos prontos para uso sem a necessidade de fine-tuning específico da tarefa.

Limitações Notadas pelos Autores
Os autores reconhecem que o RULERS depende da qualidade da rubrica fonte (ele operacionaliza, mas não corrige rubricas defeituosas), baseia-se na capacidade do modelo base congelado escolhido e requer um conjunto de calibração rotulado para a etapa de alinhamento. Eles também observam que a generalização para domínios ou formatos de rubrica substancialmente diferentes requer reespecificação e recalibração.