Resumo Técnico: Modelagem de Recompensa para Alinhamento (em Tempo de Inferência) via Perspectiva de Jogo de Stackelberg

1. Definição do Problema

Os pipelines atuais de alinhamento de Grandes Modelos de Linguagem (LLMs) tipicamente envolvem o aprendizado de um modelo de recompensa ($r_U$) a partir de dados de preferência do usuário e o uso deste para otimizar a política do LLM. Esta otimização é restringida por um regularizador de divergência de Kullback-Leibler (KL) para manter a política aprendida próxima a um modelo base ($\rho_{base}$), preservando a fluência e a competência linguística.

Os autores identificam uma limitação fundamental neste pipeline padrão: otimizar diretamente para a recompensa aprendida $r_U$ sob uma restrição de KL é subótimo para maximizar a utilidade do usuário. Quando o modelo base exibe vieses fortes (ex: inclinação política) que conflitam com as preferências do usuário, a restrição de KL impede que a política se desloque suficientemente em direção à distribuição preferida, mesmo que o modelo de recompensa identifique corretamente a preferência.

Inversamente, simplesmente amplificar as recompensas para forçar um deslocamento corre o risco de reward hacking (exploração de recompensa), onde o modelo gera saídas incoerentes ou degeneradas para maximar o sinal de recompensa enquanto viola a intenção da restrição de KL. O problema central abordado é como projetar de forma otimizada (modelar) o modelo de recompensa usado para o alinhamento, equilibrando a maximização da utilidade do usuário contra o risco de reward hacking sob a regularização de KL.

2. Metodologia: Formulação de Jogo de Stackelberg

Os autores formalizam o problema de design de recompensa como um jogo de Stackelberg, um jogo de dois jogadores sequencial:

• Líder (Provedor do Modelo de Recompensa): Seleciona um modelo de recompensa $r$ para maximizar a utilidade esperada do usuário (baseada na função de utilidade real $r_U$), antecipando a resposta do LLM. O líder não está restrito a usar $r_U$ diretamente, mas pode escolher qualquer função de recompensa $r: \mathcal{X} \times \mathcal{Y} \to \mathbb{R}$ limitada por $B$.
• Seguidor (LLM): Observa o modelo de recompensa $r$ e otimiza sua política $\rho_r$ para maximizar a recompensa esperada menos a divergência KL da política base:
  $$\rho_r(\cdot|x) = \arg\max_{\rho} \left( \mathbb{E}_{y \sim \rho}[r(x, y)] - \beta \cdot D_{KL}(\rho(\cdot|x) \parallel \rho_{base}(\cdot|x)) \right)$$

Caracterização Teórica

Os autores derivam uma caracterização em forma fechada do modelo de recompensa ideal $r^*$:

1. Estrutura de Limiar (Threshold): O modelo de recompensa ideal é uma recompensa de limiar. Para um determinado prompt $x$, as respostas são particionadas com base em se sua utilidade real $r_U(x, y)$ está acima ou abaixo de um limiar específico $m^*(x)$.
   • Se $r_U(x, y) > m^*(x)$, a recompensa é definida como o limite superior $B$.
   • Se $r_U(x, y) < m^*(x)$, a recompensa é definida como $0$.
   • Se $r_U(x, y) = m^*(x)$, a recompensa está no intervalo $[0, B]$.
2. Condição de Autoconsistência: O limiar ideal $m^*(x)$ satisfaz a condição de que a utilidade esperada da política resultante é igual ao próprio limiar:
   $$m^*(x) = \mathbb{E}_{y \sim \rho_{r^*}(\cdot|x)} [r_U(x, y)]$$
3. Computação: Como a expectativa exata é intratável, os autores propõem computar o limiar usando amostragem de Monte Carlo a partir da política base. Eles definem uma função auxiliar $F_x(m)$ cuja raiz única corresponde ao limiar ideal. Esta raiz pode ser encontrada eficientamente via um algoritmo de bisseção.

Implementação Prática: Limiar Suave (SRS)

Embora o limiar rígido seja analiticamente ideal, ele é descontínuo e sensível a pequenas perturbações. Os autores introduzem a Stackelberg Reward Shaping (SRS), uma variante de limiar suave usando uma função sigmoide:
$$r_{\hat{m}^*, \alpha}(x, y) = B \cdot \sigma(\alpha \cdot (r_U(x, y) - \hat{m}^*(x)))$$
onde $\hat{m}^*(x)$ é o limiar estimado e $\alpha$ controla a nitidez da transição. Isso permite que o método interpole entre nenhum efeito de alinhamento ($\alpha=0$) e o ótimo analítico ($\alpha \to \infty$).

Integração com Alinhamento em Tempo de Inferência

O framework é integrado em métodos existentes de alinhamento em tempo de inferência (especificamente Controlled Decoding (CD) e Alignment as Reward-Guided Search (ARGS)):

1. Fase Offline: Amostra $M$ respostas do modelo base para um conjunto de dados de prompts. Computa $r_U$ para essas amostras. Estima o limiar $\hat{m}^*(x)$ via bisseção. Aplica a transformação SRS para gerar um conjunto de dados de recompensa modelada. Treina um estimador de valor-Q neste dado modelado.
2. Fase de Inferência: Usa o estimador de valor-Q treinado (que captura a recompensa esperada sob a recompensa modelada) para reponderar as probabilidades de tokens do modelo base durante a decodificação.

3. Principais Contribuições

1. Subotimalidade de Pipelines Padrão: Demonstrou que usar diretamente um modelo de recompensa aprendido de preferências é subótimo sob objetivos de regularização KL, particularmente quando os vieses do modelo base conflitam com as preferências do usuário.
2. Formulação de Jogo de Stackelberg: Formulou a otimização do modelo de recompensa como um jogo de Stackelberg, derivando uma solução em forma fechada mostrando que o modelo de recompensa ideal segue uma estrutura de limiar.
3. Aproximação Eficiente: Desenvolveu um algoritmo para aproximar o limiar ideal usando amostragem de Monte Carlo da política base, permitindo a integração em métodos existentes com overhead mínimo.
4. Validação Empírica: Mostrou que o método SRS proposto melhora consistentemente a recompensa média e alcança altas taxas de vitória-empate (win-tie rates) contra baselines em configurações de tempo de inferência.

4. Resultados Experimentais

O método foi avaliado nos datasets HH-RLHF e SHP utilizando backbones Qwen3-8B e Llama3-8B.

• Maximização de Recompensa: Métodos integrados com SRS (SRS-CD e SRS-ARGS) alcançaram consistentemente a maior recompensa média em todas as configurações de avaliação comparado a baselines vanilla e esquemas de modelagem de recompensa heurísticos (Minmax, Meanstd).
• Métricas de Qualidade: Os métodos mantiveram diversidade e coerência comparáveis aos baselines, indicando que não houve degradação na qualidade da linguagem.
• Avaliação GPT-4: Em comparações diretas, os métodos SRS alcançaram uma taxa de vitória-empate média superior a 66% contra todos os baselines (Vanilla, Minmax, Meanstd), sugerindo que as melhorias não são impulsionadas por reward hacking.
• Robustez:
  • Generalização: O SRS mostrou desempenho superior quando treinado em uma distribuição (SHP) e avaliado em prompts fora da distribuição (HH-RLHF e HarmfulQA).
  • Ablação: A estrutura de limiar específica do SRS superou o simples corte de recompensa (capping) e o limiar baseado em média, confirmando a importância do limiar autoconsistente derivado da formulação de jogo teórico.
• Overhead: Para o SRS-CD, a modelagem de recompensa é offline, com zero overhead em tempo de inferência. Para o SRS-ARGS, o overhead é negligenciável (~0,03 segundos por resposta de 128 tokens).

5. Significância e Alegações

O artigo afirma que a modelagem de recompensa não é meramente uma heurística, mas um problema de otimização que pode ser resolvido sistematicamente. Ao visualizar o processo de alinhamento através de uma lente de teoria dos jogos, os autores demonstram que o modelo de recompensa usado para guiar o LLM não precisa (e não deve) ser um proxy direto da utilidade do usuário. Em vez disso, ele deve ser "modelado" para considerar as restrições impostas pelo modelo base (divergência KL).

A significância reside em fornecer um framework principiado para neutralizar os vieses do modelo base sem induzir reward hacking. Os autores enfatizam que sua abordagem é leve, integra-se perfeitamente em métodos existentes de alinhamento em tempo de inferência e oferece uma solução robusta para adaptar modelos fixos a diversas preferências de usuários.

Limitações observadas pelos autores:

• O framework assume um usuário benigno cujas preferências se alinham com valores humanos. Se o modelo de recompensa refletir preferências maliciosas, a política resultante pode tornar-se desalinhada.
• O método depende da disponibilidade de um modelo de recompensa e amostras de Monte Carlo da política base.
• O foco empírico atual é no alinhamento em tempo de inferência, embora os autores notem o potencial de extensão para algoritmos de treinamento (ex: GRPO) como trabalho futuro.