Resumo Técnico: Aprendizado de Preferência Bayesiano para Modelos de Recompensa Ajustáveis em Tempo de Teste

Declaração do Problema

Modelos de recompensa (RMs) são centrais para alinhar modelos de linguagem com preferências humanas por meio de Aprendizado por Reforço a partir de Feedback Humano (RLHF). Tradicionalmente, RMs baseados em classificadores são treinados como estimadores estáticos dos parâmetros do modelo Bradley-Terry (BT) usando um conjunto de dados fixo. Uma vez treinados, esses modelos carecem de adaptabilidade; não conseguem ajustar-se a distribuições de preferência não vistas ou compensações dinâmicas (por exemplo, equilibrar utilidade versus segurança) sem retreinamento. Além disso, RMs de classificadores padrão são propensos à "sobre-otimização", onde as probabilidades de preferência convergem para 1, levando a ótimos locais que falham em capturar a verdadeira complexidade das preferências humanas. Embora abordagens de "LLM como Juiz" ofereçam flexibilidade, elas frequentemente dependem de modelos proprietários com altos custos computacionais. O artigo aborda a necessidade de um RM baseado em classificador eficiente que permaneça adaptável no tempo de teste e evite a sobre-otimização.

Metodologia: Modelagem de Recompensa Variacional em Contexto (ICRM)

Os autores propõem a Modelagem de Recompensa Variacional em Contexto (ICRM), um framework bayesiano que trata a modelagem de recompensa como inferência variacional amortizada sobre uma probabilidade de preferência latente.

Formulação Central

1. Definição da Variável Latente: O modelo introduz uma variável aleatória latente $z \in [0, 1]$ representando a probabilidade de que uma resposta escolhida $y_w$ seja preferida em relação a uma resposta rejeitada $y_l$, dado um prompt $x$ e um conjunto de demonstrações em contexto $C$.
2. Priori e Posteriori Beta:
   • O modelo BT é especializado para $N=2$ (um par), onde a verossimilhança do resultado de preferência segue uma distribuição Bernoulli parametrizada por $z$.
   • Uma priori Beta $p(z) = \text{Beta}(\alpha_0, \beta_0)$ é colocada sobre $z$. Os autores geralmente usam uma priori uniforme $(\alpha_0, \beta_0) = (1, 1)$ para representar um ponto de partida não informativo.
   • A posteriori aproximada $q_\theta(z | x, y_w, y_l, C)$ é parametrizada por uma rede neural com uma cabeça de projeção bidimensional, produzindo uma pontuação de utilidade $u_\theta$ e uma pontuação de confiança (evidência) $s_\theta$.
   • A posteriori é reparametrizada como $\text{Beta}(\alpha_q, \beta_q)$ onde:
     • $\mu = \sigma(u_w - u_l)$ representa a média da posteriori (probabilidade de preferência).
     • $\tau = \text{Softplus}(s_w) + \text{Softplus}(s_l) + 1$ representa a concentração (confiança).
     • $\alpha_q = \mu\tau$ e $\beta_q = (1-\mu)\tau$.

Objetivo de Aprendizado

O modelo é treinado maximizando o Limite Inferior da Evidência (ELBO), minimizando a perda ELBO negativa:
$$\mathcal{L}_{ICRM} = -\mathbb{E}_{q_\theta}[\log z] + \lambda(N) D_{KL}(q_\theta(z|\cdot) \parallel p(z))$$

• Termo de Reconstrução: O primeiro termo mede quão bem a posteriori explica a preferência observada. Para uma distribuição Beta, isso tem uma forma fechada envolvendo a função digama $\psi$. Minimizar isso empurra $\mu$ para 1 para a resposta escolhida.
• Termo de Regularização: O segundo termo é a divergência KL entre a posteriori aprendida e a priori fixa. O hiperparâmetro $\lambda(N)$ é uma função monotonicamente decrescente do número de demonstrações em contexto $N$.
  • Quando $N$ é pequeno, $\lambda(N)$ é grande, forçando a posteriori a permanecer próxima da priori (alta incerteza).
  • À medida que $N$ aumenta, $\lambda(N)$ diminui, permitindo que o termo de reconstrução domine e o modelo forme uma posteriori confiante e orientada por dados.

Garantias Teóricas

Os autores provam que o objetivo regularizado por KL previne o modo de falha de "sobre-otimização" comum em modelos BT padrão.

• Lema 3.1: À medida que a probabilidade de preferência $\mu \to 1$, o gradiente da perda em relação à pontuação de utilidade é penalizado por um fator proporcional a $1/\epsilon$ (onde $\epsilon = 1-\mu$), impedindo a maximização descontrolada.
• Teorema 3.2: O minimizador global da função de perda é garantido para residir no interior do domínio ($0 < \mu^* < 1$ e $0 < \tau^* < \infty$), assegurando que o modelo não colapse para soluções de fronteira.

Contribuições Principais

1. Aprendizado de Preferência Variacional Principiada: O ICRM permite que RMs inferam preferências em tempo de teste a partir de amostras em contexto de poucos exemplos. O objetivo regularizado por KL garante um ótimo interior global, temperando a maximização excessiva das médias de preferência.
2. Ajustabilidade de Objetivo Único e Múltiplo: O design variacional permite tanto ajustabilidade direcional (adaptando-se a direções de preferência específicas) quanto ajustabilidade calibrada (codificando o grau de deslocamento de preferência). Estende-se a configurações de múltiplos objetivos, permitindo que o modelo navegue em compensações entre objetivos conflitantes (por exemplo, segurança versus utilidade) misturando demonstrações em contexto.
3. Parametrização de Recompensas Verificáveis: O framework é aplicado ao Aprendizado por Reforço com Recompensas Verificáveis (RLVR). O modelo interpreta as pontuações de utilidade e confiança para gerar um sinal de recompensa que é tanto direcional quanto calibrado à confiabilidade do contexto, superando verificadores padrão e modelos BT em tarefas de raciocínio matemático.

Resultados Experimentais

Os autores avaliaram o ICRM usando backbones Qwen3-4B e Llama-3.2-3B contra baselines incluindo RMs de classificadores padrão (BTRM, ArmoRM, GRM) e juízes generativos (LLM-as-a-Judge, GRAM-r2).

• Ajustabilidade Calibrada: Em pares de preferência de dilemas morais, o ICRM demonstrou a capacidade de seguir o grau de deslocamento de preferência especificado pela composição das demonstrações em contexto. À medida que o número de demonstrações ($N$) aumentou de 8 para 64, o Erro de Calibração Esperado (ECE) diminuiu de 0,099 para 0,076, superando a baseline LLM-as-a-Judge.
• Ajustabilidade Direcional: Em benchmarks como SafeRLHF e HHH-Alignment, o ICRM adaptou-se a rótulos de preferência "invertidos" (onde respostas prejudiciais foram rotuladas como escolhidas) com alta precisão (até 89%), enquanto baselines estáticas falharam em se adaptar.
• Desempenho no RM-Bench: Aumentar o número de demonstrações em contexto melhorou significativamente a precisão do RM-Bench. Com $N=64$, o ICRM alcançou uma precisão média de 70,8%, subindo de 60,5% em $N=1$, superando a baseline LLM-as-a-Judge (70,3%).
• Compensações de Múltiplos Objetivos: No domínio de Segurança do RM-Bench, o ICRM produziu fronteiras de Pareto suaves entre comportamentos "Deve Responder" e "Deve Recusar". O volume hipervolume (HV) dessas fronteiras aumentou com $N$, demonstrando que o ICRM pode expandir a região de compensação alcançável, uma capacidade que RMs estáticos não possuem.
• Aplicação RLVR: Em tarefas de raciocínio matemático usando o conjunto de dados INTELLECT-MATH, uma política treinada com recompensas ICRM alcançou 53,8% de precisão no MATH-500, superando políticas treinadas com um verificador dourado (50,4%) e um modelo de recompensa BT padrão (51,4%).

Significado e Alegações

O artigo afirma que o ICRM fornece uma rota teoricamente fundamentada e praticamente eficaz para modelos de recompensa que podem se adaptar a padrões de preferência não vistos após o treinamento. Ao tratar preferências como probabilidades latentes com posterioris Beta condicionadas a demonstrações em contexto, o ICRM unifica a regularização bayesiana com a ajustabilidade em contexto.

Os autores enfatizam que esta abordagem:

• Resolve a natureza estática dos RMs de classificadores tradicionais sem a sobrecarga computacional de juízes generativos proprietários.
• Fornece um mecanismo principiado para mitigar a sobre-otimização de recompensas através da regularização KL.
• Permite controle dinâmico em tempo de teste sobre o alinhamento de múltiplos objetivos, permitindo a navegação contínua nos espaços de preferência em vez de pontos de operação fixos.

O trabalho sugere que a modelagem futura de recompensas pode avançar além de conjuntos de dados fixos em direção a um alinhamento dinâmico orientado por demonstrações, embora os autores notem limitações relacionadas a restrições de comprimento de contexto e a necessidade de salvaguardas contra o direcionamento de modelos para comportamentos prejudiciais.