Resumo Técnico: PEBS para Calibração de Modelos de Recompensa em RLHF

Declaração do Problema

O Aprendizado por Reforço com Feedback Humano (RLHF) tipicamente agrega preferências de milhares de anotadores em um único modelo de recompensa (RM) global. Os pipelines padrão agrupam todas as classificações em uma única função de verossimilhança, ajustando um único calibrador afim global (inclinação e deslocamento). Essa abordagem colapsa anotadores que utilizam a escala de classificação de 0–100 com deslocamentos e inclinações sistematicamente diferentes em um único ajuste de "anotador médio". Consequentemente, o modelo resultante não corresponde à calibração de nenhum anotador individual, confundindo heterogeneidade de calibração com o sinal de recompensa. Essa degradação na precisão por anotador persiste mesmo quando a precisão do modelo agregado é alta, o que pode prejudicar perdas sensíveis à calibração usadas em Otimização de Preferência Direta (DPO) e Otimização de Política Próxima (PPO).

Metodologia: PEBS

O artigo propõe o PEBS (Per-rater Empirical-Bayes Shrinkage — Encolhimento Bayesiano Empírico por Anotador), um estimador post-hoc de forma fechada projetado para corrigir a calibração afim específica do anotador sem o retreinamento do modelo de recompensa base.

Mecanismo Central

O PEBS opera sobre os resultados de um modelo de recompensa compartilhado $\hat{r}_\phi$. Para cada anotador $j$, ele modela sua pontuação de preferência contínua $s_{ji}$ como uma transformação linear da predição escalar do modelo:
$$s_{ji} = \alpha_j \hat{r}_\phi(x_{ji}) + \beta_j + \epsilon_{ji}$$
onde $\alpha_j$ é a inclinação multiplicativa por anotador e $\beta_j$ é o deslocamento aditivo.

O procedimento segue um processo de três estágios:

1. Estimativa Local: Para cada anotador com dados suficientes ($n_j \geq 6$ no PRISM), utiliza-se Mínimos Quadrados Ordinários (OLS) para estimar os parâmetros locais $(\hat{\alpha}^{OLS}_j, \hat{\beta}^{OLS}_j)$.
2. Estimativa de Variância: O método dos momentos (MoM) é usado para estimar a variância inter-cluster ($\hat{\tau}^2$) dos parâmetros locais através da população.
3. Encolhimento Bayesiano Empírico (Shrinkage): As estimativas locais são encolhidas em direção à média populacional ($\alpha_{pop}, \beta_{pop}$) usando o peso de Morris–James–Stein de Bayes empírico:
   $$\hat{\alpha}^{shrunk}_j = \omega_j \hat{\alpha}^{OLS}_j + (1 - \omega_j) \alpha_{pop}$$
   onde $\omega_j = \hat{\tau}^2 / (\hat{\tau}^2 + V(\hat{\alpha}^{OLS}_j))$. Este peso reduz automaticamente o peso de anotadores com alta variância de amostragem (tipicamente aqueles com menos classificações $n_j$).

Propriedades Teóricas

• Invariância de Precisão de Pares: A Proposição 1 estabelece que, se as inclinações encolhidas permanecerem positivas, o mapa afim é estritamente monótono. Portanto, o PEBS preserva a classificação das respostas (argmax) e não altera os benchmarks de precisão de pares (ex: RewardBench 2). Seu valor reside exclusivamente na melhoria de métricas sensíveis à calibração, como o Erro Quadrático Médio (RMSE) e a Log-Verossimilhança Negativa de Bradley-Terry (NLL).
• Desigualdade Oráculo: O Teorema 1 fornece uma desigualdade de oráculo para o encolhimento da inclinação, provando que o risco do estimador PEBS permanece dentro de um fator $(1 + c/J)$ de um estimador oráculo que conhece a verdadeira variância, com uma constante explícita $c$.
• Previsor (Forecaster): Uma função $g$ de Morris de forma fechada permite que praticantes prevejam o ganho potencial de RMSE ao aplicar o PEBS a um novo corpus usando apenas uma pequena amostra piloto, validado com precisão de até 0,2 pontos percentuais em corpora de classificação contínua.

Contribuições Principais

1. Calibração Post-Hoc de Forma Fechada: O PEBS introduz uma correção estatística clássica (particionamento parcial de Efron–Morris–James–Stein) ao pipeline de RLHF, operando a jusante das predições escalares de qualquer modelo de recompensa sem exigir o retreinamento do modelo.
2. Validação Empírica: O método demonstra reduções significativas no RMSE mantido (held-out) dentro do usuário em múltiplos conjuntos de dados e modelos base.
3. Caracterização de Escopo: O artigo define rigorosamente os limites da transferibilidade do método, identificando interações específicas entre a arquitetura do modelo (denso vs. MoE) e cabeças de treinamento (coerência vs. verbosidade) que determinam o sucesso ou o fracasso.
4. Independência Demográfica: A análise mostra que o agrupamento demográfico (idade, gênero, região, etc.) não pode substituir a calibração por usuário, pois apenas uma pequena fração da variância é explicada pela demografia, confirmando que a heterogeneidade é específica do anotador individual.

Resultados Experimentais

• Dataset PRISM: No corpus de alinhamento PRISM usando um modelo base Qwen-2.5-7B, o PEBS reduziu o RMSE mantido dentro do usuário em 8,58% em comparação com a linha de base de inclinação populacional agrupada. Esta melhoria foi estatisticamente significativa ($p < 10^{-108}$) e superou o OLS por usuário ingênuo, que sofre de overfitting em amostras pequenas.
• Replicação Cross-Corpus: O método replicou-se no PluriHarms (classificações de danos) com uma redução de RMSE de 9,66% e nos atributos do HelpSteer2. Também apresentou ganhos positivos em um dataset multi-corpus agrupado.
• Transferência de Modelo Base:
  • Sucesso: O procedimento transferiu-se com sucesso dentro da família Qwen-2.5 e no Phi-3-medium-14B de referência (ganho médio de +42,15% em 5 sementes).
  • Falha/Reversão: Em bases densas da família Llama treinadas em uma cabeça de "coerência", o procedimento produziu ganhos negativos (ex: -171% no Llama-3-8B). No entanto, uma execução de controle de "apenas verbosidade" no mesmo base recuperou ganhos positivos, sugerindo que a falha se deve a uma interação específica entre a cabeça de coerência/arquitetura densa, e não a um viés de verbosidade geral.
• Impacto Downstream: Em um probe de PPO pré-registrado, o modelo de recompensa não corrigido colapsou em uma divergência KL de $\geq 1,0$, enquanto o braço com o encolhimento PEBS permaneceu estável.

Significância e Alegações

O artigo posiciona o PEBS como uma correção necessária para o "problema da validade de medição" no RLHF, onde um único RM global falha em representar os anotadores individuais.

• Calibração vs. Seleção: Os autores esclarecem que o PEBS aborda o eixo da calibração (escala e deslocamento de pontuações) em vez do eixo de seleção (escolher a melhor resposta). Ele melhora perdas dependentes da magnitude da pontuação (RMSE, NLL), mas deixa inalteradas as métricas baseadas em ranking.
• Alinhamento Pluralista: O PEBS opera em um quarto eixo de alinhamento pluralista: a heterogeneidade de calibração. Enquanto o trabalho existente foca em discordâncias de conteúdo (eixos distributivo, direcionável ou de Overton), o PEBS aborda o fato de que diferentes anotadores mapeiam a mesma saída do modelo para diferentes escalas pessoais.
• Modéstia sobre Generalização: Os autores declaram explicitamente que o procedimento não se generaliza universalmente para todas as arquiteturas. O "inversão de sinal" observada nos modelos da família Llama indica um limite estrutural, e o método não é reivindicado como uma correção agnóstica de atributos para todos os pipelines de RLHF.
• Compromisso com Minorias de Anotadores: O artigo reconhece o compromisso padrão de encolhimento (shrinkage trade-off): embora o PEBS melhore o desempenho médio, ele encolhe agressivamente os anotadores com poucos dados (frequentemente de populações sub-representadas) em direção à média. Os autores recomendam auditorias de minorias de anotadores quando decisões de política dependem de casos extremos reais e raros.

Em resumo, o PEBS oferece um método de forma fechada e computacionalmente gratuito para recuperar a calibração por anotador no RLHF, reduzindo significativamente o erro de predição para usuários individuais, mantendo as propriedades de classificação do modelo de recompensa base.