C2: Scalable Rubric-Augmented Reward Modeling from Binary Preferences

Título: C2: Modelagem de Recompensa Escalável com Rubricas Aumentadas a partir de Preferências Binárias

1. O Problema

A alinhamento de Grandes Modelos de Linguagem (LLMs) com valores humanos depende criticamente de Modelos de Recompensa (RMs) que atuam como proxies escaláveis para julgamentos humanos. O método padrão, Reinforcement Learning from Human Feedback (RLHF), utiliza preferências binárias (escolha entre duas respostas) para treinar esses modelos.

No entanto, em domínios onde os critérios de avaliação são subjetivos ou implícitos (como escrita criativa ou seguimento de instruções complexas), os RMs tradicionais falham em generalizar bem. Uma abordagem promissora é a Verificação Aumentada por Rubricas, onde critérios explícitos (rubricas) são usados para guiar o modelo de recompensa, decompondo a avaliação em subperguntas tratáveis.

Desafios Identificados:

• Custo de Escalabilidade: Os métodos existentes dependem de rubricas geradas por anotadores humanos ou modelos proprietários grandes, o que é caro e limita a reutilização de corpora de preferência existentes.
• Falha de Cooperação em Rubricas Auto-geradas: O uso de rubricas geradas pelo próprio modelo (auto-geradas) parece uma solução natural, mas os autores descobriram que a qualidade dessas rubricas é volátil. Rubricas de baixa qualidade não apenas não ajudam, mas ativamente enganam o modelo de recompensa, degradando seu desempenho abaixo da linha de base sem rubricas. Isso representa uma falha na "cooperação" entre o gerador de rubricas e o verificador.

2. Metodologia: O Framework C2

Os autores propõem o C2 (Cooperative yet Critical), um framework que treina conjuntamente um Gerador de Rubricas e um Verificador Aumentado por Rubricas utilizando apenas dados de preferência binária, sem anotações externas de rubricas.

O framework é inspirado na teoria da comunicação cooperativa: tanto o emissor (gerador) quanto o receptor (verificador) devem se adaptar mutuamente.

Etapas Principais do C2:

1. Síntese de Rubricas Contrastivas (Step 1):

   • O modelo base gera múltiplas rubricas candidatas para um par de respostas.
   • O verificador base avalia o impacto de cada rubrica na confiança da escolha correta.
   • As rubricas são rotuladas como "Úteis" (Helpful) se aumentarem a margem de confiança para a resposta correta, ou "Enganosas" (Misleading) se reduzirem essa margem ou piorarem uma decisão já correta.
   • Isso cria pares contrastivos $(r^+, r^-)$ para cada exemplo.

2. Treinamento do Gerador Cooperativo (Step 2):

   • O gerador de rubricas é treinado usando DPO (Direct Preference Optimization).
   • O objetivo é aprender a gerar rubricas do tipo "Útil" ($r^+$) e evitar as "Enganosas" ($r^-$), maximizando a utilidade para o verificador.

3. Treinamento do Verificador Crítico (Step 2):

   • O verificador é treinado usando GRPO (Group Relative Policy Optimization).
   • Ele recebe duas tarefas:
     • Tarefa sem rubrica: Julgar a preferência.
     • Tarefa com rubrica: Julgar a preferência e avaliar a qualidade da rubrica fornecida (classificando-a como "Útil" ou "Enganosa").
   • A função de recompensa inclui um termo específico para a precisão na avaliação da qualidade da rubrica.

4. Inferência Seletiva (Step 3):

   • Durante a inferência, o verificador gera uma rubrica, avalia sua própria validade e decide se a segue.
   • Se a rubrica for classificada como "Útil", o verificador a usa para o julgamento.
   • Se for classificada como "Enganosa", o verificador ignora a rubrica e recua para uma avaliação sem rubricas (fallback), evitando ser enganado.

3. Contribuições Chave

• Caracterização Empírica: Demonstraram que rubricas auto-geradas têm um efeito de duas faces: as de alta qualidade melhoram significativamente a precisão, enquanto as de baixa qualidade degradam o desempenho abaixo do baseline sem rubricas.
• Framework C2: Introduziram o primeiro método que realiza verificação aumentada por rubricas escalável, derivando rubricas exclusivamente de preferências binárias, sem custo de anotação externa.
• Mecanismo de Cooperação Crítica: O sistema não apenas gera melhores rubricas, mas treina o verificador para ser cético e rejeitar rubricas ruins, resolvendo o problema da "falha de cooperação".
• Desempenho com Modelos Menores: Um modelo de recompensa de 8B treinado com C2 consegue igualar o desempenho de um modelo 4x maior (32B) que usa rubricas externas.

4. Resultados Experimentais

O C2 foi avaliado em benchmarks de predição de preferência e em tarefas de alinhamento downstream (RLHF).

• Benchmarks de Preferência (RM-Bench, RewardBench, etc.):

  • O C2 superou consistentemente os Reasoning Reward Models (RMs treinados apenas com GRPO sem rubricas).
  • Ganhos: Até +6.5 pontos no RM-Bench e +6.0 pontos na taxa de vitória controlada por comprimento no AlpacaEval 2.0.
  • O C2 superou o uso ingênuo de rubricas auto-geradas (que pioraram o desempenho) e competiu com o uso de rubricas de modelos muito maiores (Qwen3-32B).

• Alinhamento Downstream (RLHF):

  • Políticas treinadas com DPO usando o C2 como modelo de recompensa mostraram melhorias significativas no AlpacaEval 2.0 e Arena-Hard.
  • O ganho foi particularmente notável no modelo Tulu3-8B, com um aumento de 6 pontos na taxa de vitória controlada por comprimento.

• Análise de Robustez:

  • O C2 manteve a estabilidade mesmo quando a proporção de rubricas ruins aumentava, graças ao mecanismo de inferência seletiva.
  • Estudos de ablação mostraram que o componente mais crítico é o treinamento com rubricas enganosas (negativas), pois ensinar o modelo a rejeitar o que é ruim é tão importante quanto ensinar a gerar o que é bom.

5. Significado e Conclusão

O trabalho C2 demonstra que é possível criar sistemas de verificação robustos e escaláveis sem depender de anotações humanas caras ou modelos gigantes. Ao formalizar a interação entre gerador e verificador como um processo de cooperação crítica, onde o verificador aprende a filtrar ruído, o framework mitiga os riscos de alucinação e viés em rubricas auto-geradas.

Isso abre caminho para a criação de modelos de recompensa mais confiáveis e eficientes, capazes de operar em domínios complexos onde a avaliação subjetiva é necessária, utilizando apenas os dados de preferência binária amplamente disponíveis. A principal limitação apontada é o custo computacional adicional na inferência (devido à geração de rubricas e possível reavaliação), mas os ganhos de qualidade justificam o overhead em cenários de alta precisão.