Resumo Técnico: Discretização de Modelos de Recompensa

Declaração do Problema

O Aprendizado por Reforço com Feedback Humano (RLHF) baseia-se em modelos de recompensa (RMs) para estimar a qualidade da resposta na ausência de uma verdade fundamental verificável. Embora os RMs padrão produzam pontuações contínuas para capturar nuances detalhadas (ex: distinguir "bom" de "excelente"), este artigo argumenta que essa suposta força é uma fraqueza crítica: a oversensibilidade (sensibilidade excessiva).

Modelos de recompensa populares frequentemente atribuem pontuações contínuas distintas a respostas que são objetivamente de igual utilidade. Essa "oversensibilidade" não é meramente ruído, mas um sinal aprendível que os modelos podem explorar, levando ao "reward hacking" (hackeamento de recompensa), onde as políticas otimizam características espúrias (ex: hesitação linguística) em vez da tarefa principal. As métricas de avaliação atuais, como as do RewardBench, focam pesadamente na capacidade discriminativa (distinguir o bom do mau), mas falham em penalizar a incapacidade de reconhecer empates (baixa especificidade). Os autores postulam que um modelo de recompensa pode ter uma capacidade discriminativa perfeita e, ainda assim, ser altamente oversensível, levando a políticas subótimas em RL downstream.

Metodologia

Estrutura Teórica

Os autores formalizam o problema definindo duas métricas distintas para a eficácia do modelo de recompensa:

1. Capacidade Discriminativa ($D_r$): A probabilidade de o modelo classificar corretamente duas respostas de utilidades diferentes ($u(a) > u(b) \implies r(a) > r(b)$).
2. Especificidade ($Spec_r$): A probabilidade de o modelo atribuir pontuações iguais a respostas de igual utilidade ($u(a) = u(b) \implies r(a) = r(b)$). Este é o complemento da oversensibilidade.

O artigo demonstra teoricamente (Proposições 2.2–2.4) que, sob um modelo de recompensa linear com ruído limitado, um modelo pode alcançar uma capacidade discriminativa perfeita enquanto ainda exibe uma oversensibilidade não nula. Crucialmente, o Teorema 2.6 e o Teorema 2.7 provam que existem limiares de discretização que podem simultaneamente manter a capacidade discriminativa perfeita e alcançar especificidade perfeita (zero oversensibilidade), maximizando a pontuação combinada de ambas as métricas.

Algoritmo: Agrupamento de Recompensa (Reward Clustering)

Para implementar isso sem retreinar o modelo de recompensa, os autores propõem um algoritmo livre de treinamento chamado Reward Clustering:

1. Estimativa de Variância: Para um lote de respostas, o algoritmo estima a variância preditiva da saída do modelo de recompensa usando Monte Carlo (MC) Dropout. Ao realizar múltiplas passagens estocásticas para frente, ele aproxima a distribuição posterior da recompensa para cada resposta.
2. Agrupamento (Clustering): Trata a discretização como um problema de agrupamento unidimensional. Usando agrupamento hierárquico com ligação completa (complete linkage), ele agrupa respostas cujas distribuições de recompensa se sobrepõem significativamente (ou seja, $P(|r_i - r_j| < \Delta) > p^*$).
3. Discretização: Respostas dentro do mesmo cluster são atribuídas à mesma recompensa inteira discreta baseada no ranking ordinal da média de seu cluster. Isso efetivamente cria compartimentos (bins) no espaço de recompensa contínua, removendo a variância espúria entre respostas igualmente úteis.

Principais Resultados

1. Análise de Benchmark (RewardBench 2 "Ties")

Avaliado no subconjunto "Ties" do RewardBench 2, que contém prompts com múltiplas respostas "escolhidas" igualmente válidas, o método proposto melhorou consistentemente o equilíbrio entre a capacidade discriminativa e a especificidade:

• Ganhos de Especificidade: O reward clustering aumentou significativamente a especificidade em todos os modelos testados (Skywork V1/V2, GRM, ArmoRM), reduzindo a tendência de diferenciar respostas igualmente boas.
• Trade-off Discriminativo: Embora a capacidade discriminativa tenha sofrido reduções modestas, a média das duas métricas (a pontuação combinada proposta) melhorou para todos os modelos.
• Comparação com Baselines: O método superou baselines padrão como reward clipping, ensembling e limiarização binária simples.

2. Mitigação de Recompensa Espúria

Em uma simulação controlada onde um modelo de recompensa foi treinado em uma mistura de um objetivo primário (seguimento de instrução) e um objetivo secundário espúrio (hesitação linguística):

• Recompensas Brutas (Raw Rewards): Políticas treinadas em recompensas contínuas brutas rapidamente otimizaram demais o sinal de hesitação espúria, degradando o desempenho na tarefa primária.
• Recompensas Discretizadas: Políticas treinadas em recompensas discretizadas mantiveram alto desempenho na tarefa primária enquanto otimizavam apenas modestamente o objetivo secundário, prevenindo efetivamente o comportamento de "reward hacking" observado no cenário bruto.

3. Desempenho de RL no Mundo Real

Em experimentos de RL multitarefa (IFEval, GSM8K, MATH) usando prompts não rotulados e GRPO:

• Qualidade da Política: As recompensas discretizadas levaram a políticas que nunca foram significativamente piores do que aquelas treinadas com recompensas brutas e, frequentemente, alcançaram um desempenho significativamente melhor.
• Robustez: O método evitou as políticas degeneradas frequentemente observadas ao treinar com modelos de recompensa brutos, sugerindo que a discretização atua como um regularizador contra o overfitting ao ruído.

Significância e Alegações

O artigo afirma que o campo tem focado excessivamente na capacidade discriminativa dos modelos de recompensa, negligenciando a especificidade. Os autores argumentam que:

• A oversensibilidade é uma falha fundamental: Mesmo modelos de recompensa "perfeitos" (em termos de ranking) podem ser prejudiciais se forem oversensíveis, pois essa variância fornece um sinal aprendível para o reward hacking.
• A discretização é uma intervenção superior: Ao converter recompensas contínuas em clusters discretos, os praticantes podem reduzir a oversensibilidade com perda mínima de poder discriminativo.
• Aplicabilidade sem treinamento: O algoritmo de reward clustering proposto não requer o retreinamento da rede neural subjacente, tornando-o um substituto direto (drop-in replacement) para pipelines padrão de RLHF.

Os autores concluem que discretizar recompensas via agrupamento permite que os modelos mantenham os benefícios de aprender com modelos de recompensa, enquanto mitigam os impactos negativos da oversensibilidade, levando a políticas mais robustas e alinhadas.