Resumo Técnico: CriterAlign

Declaração do Problema

A avaliação de sistemas de geração de código deslocou-se da simples correção funcional para a previsão de preferência humana em pares, onde o objetivo é determinar qual de duas soluções candidatas satisfaz melhor compensações específicas da tarefa (por exemplo, fidelidade visual vs. estrutura de código). Embora os Modelos de Linguagem de Grande Escala (LLMs) sejam cada vez mais utilizados como juízes automáticos, juízes monolíticos (que preveem uma preferência em uma única etapa) frequentemente falham em alinhar-se com as preferências humanas. Eles tendem a ser frágeis, sensíveis à ordem das respostas e propensos a superenfatizar pistas superficiais como verbosidade ou formatação, enquanto subutilizam evidências de execução.

Alternativas existentes, juízes baseados em rubricas (baseados em critérios), tentam melhorar a interpretabilidade decompondo a avaliação em critérios explícitos. No entanto, a maioria dos pipelines atuais permanece pontual: eles pontuam cada resposta independentemente sob cada critério e derivam uma preferência comparando pontuações agregadas. Os autores argumentam que esse design é mal adaptado à natureza da preferência humana em pares, onde a evidência chave é frequentemente comparativa e não absoluta. Resultados empíricos mostram que simplesmente aplicar pipelines de rubricas pontuais pode ter desempenho inferior até mesmo a juízes monolíticos fortes.

Metodologia: CriterAlign

O artigo propõe o CriterAlign, um framework centrado em critérios projetado especificamente para previsão de preferência de código em pares. Ele adapta a avaliação baseada em rubricas ao cenário de pares através de quatro mecanismos principais e introduz um componente de síntese de orientação.

1. Julgamento de Critérios em Pares

Em vez de atribuir pontuações pontuais independentes a cada resposta, o CriterAlign solicita que um juiz de critérios produza um veredito direto em pares para cada critério gerado: $v \in \{A, B, \text{empate}, \text{insuficiente}\}$. Isso desloca a avaliação de "a resposta A satisfaz o critério X?" para "qual resposta satisfaz melhor o critério X?". A preferência final é sintetizada por um juiz LLM que agrega esses vereditos comparativos, permitindo compensações não uniformes entre critérios (por exemplo, uma lacuna de correção dominando vantagens menores de estilo).

2. Refinamento de Critérios Orientado por Empates em Lote (BTCR)

Quando um critério resulta em um "empate", isso frequentemente indica que o critério é muito grosseiro para distinguir as respostas. O CriterAlign emprega o BTCR para refinar esses critérios empatados.

• Processo: Para cada critério pai empatado, o sistema gera subcritérios mais granulares condicionados às respostas específicas e à rationale do empate.
• Filtragem: Os subcritérios gerados são filtrados quanto a redundância e conflito com critérios existentes de maneira em lote para garantir eficiência.
• Reavaliação: Os subcritérios aceitos são reavaliados usando o juiz em pares. Se os subcritérios favorecerem respostas diferentes, ambos os vereditos são mantidos como evidência de compensação granular para a síntese final.

3. Filtragem de Critérios por Consistência de Troca (SCF)

Para abordar a conhecida sensibilidade dos juízes em pares à ordem dos candidatos (viés de posição), o CriterAlign introduz o SCF.

• Mecanismo: Após o refinamento, o sistema reavalia os mesmos critérios com a ordem dos candidatos trocada ($b, a$ em vez de $a, b$).
• Filtragem: Um julgamento em nível de critério é mantido apenas se o veredito for consistente sob a troca (por exemplo, se $A$ vence em $(a, b)$, $A$ deve ainda vencer em $(b, a)$ após mapear o veredito).
• Resultado: Isso remove evidências instáveis e sensíveis à posição em nível de critério, em vez de descartar todo o exemplo, servindo tanto como mecanismo de debiasing quanto como filtro de qualidade.

4. Orientação Alinhada à Preferência Humana (HPAG)

Para alinhar o framework com as rationales humanas, os autores introduzem o HPAG, sintetizado offline a partir da divisão de treinamento.

• Síntese: Um sintetizador de orientação compara decisões de preferência humana contra previsões de juízes monolíticos em exemplos de treinamento. Ele extrai lacunas de rationale recorrentes — dimensões que os humanos valorizam e que o juiz ignora, superenfatiza ou subenfatiza.
• Injeção: A orientação resultante é destilada em princípios gerais e de nível de categoria (por exemplo, desenvolvimento web, desenvolvimento de jogos) compactos. Estes são injetados em três estágios do pipeline: o gerador de critérios, o juiz de critérios e o juiz final. Isso garante que o sistema gere critérios relevantes para humanos, os julgue com raciocínio alinhado aos humanos e os sintetize de acordo com as prioridades humanas.

Contribuições Principais

1. Identificação de Incompatibilidade: Os autores validam empiricamente que pipelines pontuais de geração de critérios são incompatíveis com a previsão de preferência de código em pares, frequentemente tendo desempenho inferior a juízes monolíticos fortes.
2. Framework CriterAlign: Um novo framework centrado em critérios em pares apresentando:
   • Vereditos diretos de critérios em pares.
   • Refinamento de Critérios Orientado por Empates em Lote (BTCR) para resolver empates grosseiros.
   • Filtragem por Consistência de Troca (SCF) para remover evidências sensíveis à ordem.
   • Orientação Alinhada à Preferência Humana (HPAG) destilada a partir de lacunas de rationale entre juízes humanos e monolíticos.
3. Validação Empírica: Demonstração de ganhos consistentes no benchmark BigCodeReward, com estudos de ablação isolando as contribuições da adaptação em pares, filtragem e orientação.

Resultados

Avaliado na divisão de validação do BigCodeReward (3.785 exemplos):

• Linha de Base: Um juiz Qwen2.5-VL-32B monolítico alcançou 60,4% de precisão.
• Rubricas Pontuais: As linhas de base existentes de rubricas pontuais (por exemplo, RRD, Rubricas LLM) tiveram desempenho significativamente pior, variando de 48,1% a 55,0%, confirmando a incompatibilidade.
• CriterAlign: O framework completo melhorou a precisão para 66,3%, um ganho de +5,9 pontos sobre a linha de base monolítica e +11,3 pontos sobre a linha de base de rubrica mais forte reproduzida.
• Ablação:
  • A troca de julgamento pontual para em pares, isoladamente, recuperou o desempenho para 61,8%.
  • A adição de BTCR, SCF e HPAG proporcionou melhorias cumulativas, com a HPAG de nível de categoria fornecendo o impulso final para 66,3%.
• Generalização: O método mostrou robustez em diferentes backbones de juízes (Kimi-VL, Gemma-4) e sintetizadores de orientação, com os maiores ganhos relativos observados em juízes mais fracos.

Significado e Alegações

O artigo alega que, para previsão de preferência de código, a geração de mais critérios é insuficiente; o alinhamento de como os critérios são comparados e sintetizados com as preferências humanas em pares é crítico. O CriterAlign demonstra que:

• A adaptação em pares é necessária para tornar a avaliação baseada em critérios eficaz para tarefas de preferência.
• A filtragem de evidências instáveis (via SCF) e o refinamento de empates não discriminativos (via BTCR) são essenciais para robustez.
• A síntese de orientação offline (HPAG) pode efetivamente fechar a lacuna entre previsões de juízes monolíticos e rationales humanas sem fine-tuning do modelo juiz, permitindo que modelos congelados se alinhem a padrões específicos de preferência humana.

O trabalho posiciona-se como um passo em direção a uma avaliação automatizada mais transparente, interpretável e confiável para geração de código, avançando além de julgamentos de caixa preta de etapa única em direção a raciocínio de preferência estruturado e fundamentado em evidências.