Resumo Técnico: Uma Lente Unificadora sobre a Incerteza da Recompensa em RLHF

Declaração do Problema

O Aprendizado por Reforço com Feedback Humano (RLHF) é atualmente limitado pelo reward hacking (exploração de recompensa), um fenômeno onde uma política explora erros em um Modelo de Recompensa (RM) de procuração para maximizar pontuações sem alcançar melhorias genuínas de qualidade. Este é um caso da lei de Goodhart, manifestando-se como sicanofia, viés de comprimento e outros artefatos superficiais.

Uma estratégia de mitigação padrão é o pessimismo: penalizar as recompensas em regiões onde o RM é incerto. No entanto, os RMs escalares padrão não fornecem uma noção fundamentada de incerteza. Trabalhos anteriores abordam isso treinando ensembles de RMs e agregando suas saídas usando heurísticas como Agregação pela Média (Mean aggregation), Otimização de Pior Caso (WCO) e Otimização Ponderada por Incerteza (UWO). Embora esses métodos ofereçam benefícios empíricos, eles são apresentados como regras ad-hoc com pouca orientação teórica sobre suas relações, suposições implícitas e ajuste de hiperparâmetros.

Metodologia

Os autores propõem substituir o RM escalar determinístico por um modelo de recompensa distribucional $p(r | x, y)$. Essa distribuição surge de fontes como deep ensembles ou construções de última camada bayesianas. O artigo deriva um framework unificado para lidar com a incerteza da recompensa através de duas lentes teóricas distintas, ambas resultando na mesma estrutura de recompensa efetiva de forma fechada:

1. Inferência Bayesiana (Ramo Otimista):
   Visualizando a otimização da política como inferência sob uma observação de "otimalidade", os autores realizam a marginalização sobre a incerteza da recompensa. Isso leva a uma recompensa efetiva otimista:
   $$\tilde{r}_{opt}(x, y) = \beta \log \mathbb{E}_{p(r|x,y}[e^{r/\beta}]$$
   Pela desigualdade de Jensen, isso infla a recompensa efetiva ($\tilde{r}_{opt} \geq \mu$).

2. Otimização Robusta Distribuicional baseada em KL (Ramo Pessimista):
   Para mitigar o reward hacking, os autores formulam o problema como um jogo adversarial onde um adversário escolhe uma distribuição de recompensa $Q$ para minimizar a recompensa esperada, sujeito a um custo de divergência KL da posterior acreditada $p$. Isso resulta na recompensa efetiva pessimista:
   $$\tilde{r}_{rob}(x, y) = -\beta \log \mathbb{E}_{p(r|x,y}[e^{-r/\beta}]$$
   Esta é a medida de risco entrópico da distribuição de recompensa. Pela desigualdade de Jensen, a incerteza deflaciona a recompensa efetiva ($\tilde{r}_{rob} \leq \mu$).

A Expressão Unificadora

A principal contribuição teórica é a expressão de forma fechada para a recompensa efetiva sob incerteza:
$$\tilde{r}(x, y) = \pm \beta \log \mathbb{E}_{p}[e^{\pm r/\beta}]$$
O sinal depende de se o objetivo é otimista (Bayesiano) ou pessimista (Robusto).

Expansão de Cumulantes e o Caso Gaussiano

Os autores analisam a recompensa efetiva usando uma expansão de cumulantes da distribuição de recompensa $p(r|x,y)$:
$$\tilde{r}_{opt/rob} = \mu \pm \frac{\sigma^2}{2\beta} + \frac{\kappa_3}{6\beta^2} \pm \frac{\kappa_4}{24\beta^3} + \dots$$
No caso específico onde a distribuição de recompensa é Gaussiana ($p(r|x,y) = \mathcal{N}(\mu, \sigma^2)$), todos os cumulantes de ordem superior desaparecem, resultando em uma forma fechada precisa:
$$\tilde{r}_{rob} = \mu - \frac{\sigma^2}{2\beta}$$
Crucialmente, o coeficiente para o termo de variância é determinado pelo parâmetro de regularização KL $\beta já presente no objetivo de RLHF, em vez de um hiperparâmetro separado para ajuste.

Principais Contribuições

1. Uma Lente Unificadora: O artigo demonstra que o objetivo de RLHF com incerteza de recompensa admite um único modelo de recompensa efetiva de forma fechada derivado tanto de inferência Bayesiana quanto de KL-DRO.
2. Unificação de Heurísticas Anteriores: Os autores mostram que as regras de agregação existentes são limites específicos ou truncamentos do ramo pessimista $\tilde{r}_{rob}$:
   • Agregação pela Média: Emerge como o limite $\beta \to \infty$ (neutro ao risco).
   • Otimização de Pior Caso (WCO): Emerge como o limite $\beta \to 0$ (adversário ilimitado).
   • Otimização Ponderada por Incerteza (UWO): Emerge como o truncamento Gaussiano da série, onde o coeficiente de penalidade $\lambda$ é implicitamente definido como $1/(2\beta)$.
3. Orientação de Implementação: O artigo esclarece as suposições implícitas dos métodos existentes:
   • Média assume que a incerteza não importa.
   • WCO assume a pior distribuição possível (adversário sem restrições).
   • UWO assume que a distribuição de recompensa é aproximadamente Gaussiana.
   • O artigo propõe um padrão principiado para posteriors Gaussianas: $\tilde{r} = \mu - \sigma^2/(2\beta)$, eliminando a necessidade de ajustar um hiperparâmetro de penalidade de variância separado.

Resultados e Estimativa

O artigo discute a estimativa prática de $\tilde{r}_{rob}$ a partir de uma amostra finita de $K$ modelos de recompensa (por exemplo, um ensemble):

• Estimador Direto de Log-MGF: $\hat{\tilde{r}} = -\beta \log (\frac{1}{K} \sum e^{-r_i/\beta})$. Este é consistente, mas enviesado para $K$ finito e sensível a outliers quando $\beta$ é pequeno.
• Estimador Truncado Gaussiano: $\hat{\tilde{r}} = \hat{\mu} - \hat{\sigma}^2/(2\beta)$. Os autores recomendam este como o padrão, observando que para tamanhos típicos de ensemble ($K \in \{3, \dots, 10\}$), os cumulantes de ordem superior são mal estimados, tornando a aproximação Gaussiana robusta.

Significância e Alegações

O artigo afirma fornecer uma fundamentação teórica para a incerteza de recompensa em RLHF, indo além das regras de agregação heurísticas. Sua significância reside em:

• Esclarecimento de Suposições: Ele mapeia explicitamente os métodos existentes (Média, WCO, UWO) para suposições específicas sobre a forma da distribuição de recompensa e o orçamento de KL do adversário.
• Eficiência de Parâmetros: Estabelece que, sob uma suposição Gaussiana, a penalidade de variância está intrinsecamente ligada ao coeficiente KL $\beta$, removendo a necessidade de um hiperparâmetro de ajuste adicional.
• Conexão de Campos: Conecta o pessimismo de RLHF ao aprendizado por reforço distribuicional e ao pessimismo de RL offline, mostrando que a formulação log-MGF / risco-entrópico surge de princípios análogos nesses domínios.

Os autores concluem que, embora seu framework assuma um RM distribuicional (exigindo ensembles ou cabeças Bayesianas) e uma calibração adequada, ele oferece uma receita para estender além das suposições Gaussianas via cumulantes de ordem superior ou pessimismo baseado em quantis (por exemplo, CVaR) para distribuições de cauda pesada.