ConsistRM: Improving Generative Reward Models via Consistency-Aware Self-Training

Título: ConsistRM: Melhorando Modelos de Recompensa Generativos via Auto-treinamento Consciente de Consistência

1. Problema e Motivação

Os Modelos de Recompensa Generativos (GRMs) emergiram como uma abordagem promissora para alinhar Grandes Modelos de Linguagem (LLMs) às preferências humanas, superando os modelos de recompensa escalar tradicionais devido à sua maior capacidade representacional e flexibilidade. No entanto, o treinamento de GRMs enfrenta dois desafios principais:

1. Dependência de Dados Anotados: O treinamento eficaz geralmente requer grandes volumes de dados de alta qualidade anotados por humanos, o que é custoso e limita a escalabilidade.
2. Instabilidade no Auto-treinamento: Abordagens existentes de auto-treinamento (sem supervisão humana) frequentemente sofrem de instabilidade e vulnerabilidade a "reward hacking" (onde o modelo explora falhas na função de recompensa para maximizar pontuações artificialmente) e overfitting a pseudo-rótulos ruidosos.

O objetivo do trabalho é desenvolver um framework de auto-treinamento estável e eficaz para GRMs que não dependa de feedback humano, utilizando sinais de consistência interna do modelo.

2. Metodologia: O Framework ConsistRM

O ConsistRM é um framework de auto-treinamento que introduz dois mecanismos principais baseados na consistência para gerar sinais de supervisão robustos. O modelo gera uma saída estruturada $o = (c, y)$, onde $c$ é uma crítica textual e $y$ é um rótulo de preferência binário ($-1$ ou $1$).

O framework combina duas recompensas principais:

A. Recompensa de Resposta Consciente de Consistência (CAAR - Consistency-Aware Answer Reward)
Esta módulo visa criar pseudo-rótulos confiáveis ao considerar a consistência temporal entre as preferências atuais e históricas do modelo.

• Preferência de Estado Online: Calcula a consistência das preferências geradas pelo modelo na iteração atual de treinamento através de múltiplos rollouts (K amostras).
• Preferência Acionada por Memória: Mantém um histórico dinâmico de pseudo-rótulos de iterações anteriores para evitar que o modelo converja para ótimos locais subóptimos no início do treinamento.
• Geração do Pseudo-rótulo: O rótulo final $\hat{y}$ é derivado da soma dos sinais de consistência online e de memória. Se houver inconsistência (soma próxima de zero), o rótulo é definido como 0, evitando que supervisão de baixa confiança domine a otimização.
• Cálculo da Recompensa: A recompensa é atribuída com base na concordância entre a previsão do modelo no rollout atual e o pseudo-rótulo construído.

B. Recompensa de Crítica Consciente de Consistência (CACR - Consistency-Aware Critique Reward)
Este módulo visa estabilizar o processo de análise semântica.

• Premissa: Alta similaridade semântica entre múltiplas críticas geradas para a mesma entrada indica que a avaliação está em uma região semântica de alta recompensa e é mais confiável.
• Mecanismo: As críticas geradas são codificadas em vetores densos e a similaridade cosseno é calculada. As críticas com maior consistência semântica (top-$p$) recebem uma recompensa positiva adicional, enquanto aquelas com baixa consistência não recebem. Isso incentiva o modelo a gerar avaliações semânticamente coerentes.

Recompensa Final:
A recompensa total combina restrições de formato, a CAAR e a CACR. Se a saída for inválida, a recompensa é negativa; caso contrário, a soma das recompensas de resposta e crítica é aplicada, penalizando inconsistências.

3. Contribuições Principais

1. Framework de Auto-treinamento sem Humanos: Propõe o ConsistRM, que elimina a necessidade de anotação humana para treinar GRMs, utilizando sinais de consistência interna.
2. Construção de Pseudo-rótulos Robustos: Desenvolve uma estratégia que integra preferências de estado atual e histórico (memória) para criar pseudo-rótulos temporais mais confiáveis, mitigando o reward hacking.
3. Recompensa de Crítica Semântica: Introduz a CACR, que utiliza a consistência semântica entre múltiplas críticas como um proxy para a confiabilidade da recompensa, melhorando a estabilidade do processo de avaliação.
4. Redução de Viés de Posição: Demonstra que o método reduz significativamente o viés induzido pela ordem de entrada das respostas (position bias), um problema comum em modelos de julgamento.

4. Resultados Experimentais

Os experimentos foram realizados em cinco benchmarks (RewardBench, PPE, RM-Bench, RMB, JudgeBench) utilizando quatro modelos base (Qwen3-4B, Qwen3-8B, Qwen3-14B, LLaMA-3.1-8B).

• Desempenho Geral: O ConsistRM superou o Reinforcement Fine-Tuning (RFT) padrão em uma média de 1,5% de melhoria no desempenho de preferência par a par.
• Comparação com Baselines:
  • Superou métodos de auto-treinamento existentes como TTRL (Test-Time Reinforcement Learning).
  • Alcançou resultados competitivos ou superiores a GRMs de código aberto de escala similar (como DeepSeek-GRM-27B) sem usar dados anotados por humanos.
• Robustez: O modelo mostrou maior estabilidade ao variar o número de rollouts (votação múltipla) e melhorou significativamente a consistência de saída em cenários de alta temperatura.
• Eficiência: Ao contrário do RFT padrão, que tende a gerar respostas mais longas e verbosas, o ConsistRM produziu respostas mais concisas e precisas, reduzindo o comprimento médio das respostas em benchmarks como RewardBench.

5. Significado e Impacto

O trabalho do ConsistRM é significativo porque oferece um caminho viável para escalar o treinamento de modelos de recompensa generativos sem o gargalo de custos e recursos humanos necessários para anotação de dados. Ao focar na consistência interna (temporal e semântica), o método resolve problemas críticos de estabilidade e reward hacking que limitavam abordagens anteriores de auto-treinamento.

Além disso, a capacidade do ConsistRM de mitigar o viés de posição e gerar avaliações mais concisas sugere que a consistência é um sinal de qualidade fundamental para o alinhamento de LLMs. Isso abre novas fronteiras para o desenvolvimento de sistemas de RLHF totalmente autônomos e escaláveis, onde o próprio modelo gera e refina seus sinais de supervisão de forma robusta.

Limitações Futuras:
Os autores reconhecem que a consistência semântica é avaliada apenas no nível global da crítica. Trabalhos futuros podem explorar a segmentação de críticas em unidades semânticas menores para fornecer recompensas supervisionadas em nível mais granular (processo), alinhando-se com pesquisas em Process Reward Modeling.