Best Policy Learning from Trajectory Preference Feedback

Título: Aprendizado da Melhor Política a partir de Feedback de Preferência de Trajetória

Autores: Akhil Agnihotri, Rahul Jain, Deepak Ramachandran, Zheng Wen (USC, Google DeepMind, OpenAI).
Publicação: AISTATS 2026.

---

1. O Problema

O artigo aborda o problema de Identificação da Melhor Política (Best Policy Identification - BPI) no contexto de Aprendizado por Reforço baseado em Preferências (PbRL - Preference-based Reinforcement Learning).

• Contexto: O Aprendizado por Reforço a partir de Feedback Humano (RLHF) é fundamental para alinhar modelos generativos (como LLMs) com a intenção humana. No entanto, o RLHF tradicional depende de modelos de recompensa aprendidos, o que os torna vulneráveis a má especificação e "hacking" de recompensa.
• Desafio Específico: O PbRL oferece uma alternativa mais robusta usando comparações binárias (preferências) entre trajetórias completas em vez de recompensas escalares absolutas. O cenário estudado combina:
  1. Um conjunto de dados offline de preferências (que pode ser enviesado, fora de distribuição ou gerado por um avaliador com "competência" subótima).
  2. Uma fase de exploração online pura (sem exploração ativa para estimar o modelo de recompensa, mas sim para encontrar a melhor política final).
• Objetivo: Dado um conjunto de dados offline de comparações de trajetórias, como suplementá-lo sistematicamente com dados online para maximizar a eficiência do aprendizado e identificar a política que maximiza a recompensa esperada, minimizando o arrependimento simples (simple regret)?

2. Metodologia: Algoritmo PSPL

Os autores propõem o PSPL (Posterior Sampling for Preference Learning), um algoritmo inspirado no Top-Two Thompson Sampling.

A. Modelagem e Premissas

• MDP Desconhecido: O ambiente é modelado como um Processo de Decisão de Markov (MDP) com dinâmicas de transição ($\eta$) e função de recompensa ($\theta$) desconhecidas.
• Modelo de Preferência (Bradley-Terry): As preferências do avaliador (rater) seguem um modelo probabilístico. A probabilidade de preferir a trajetória $\tau_1$ sobre $\tau_0$ é dada por uma função sigmoide aplicada à diferença de scores:
  $$P(Y=1 | \tau_0, \tau_1) = \sigma(\beta \langle \phi(\tau_1) - \phi(\tau_0), \vartheta \rangle)$$
  Onde:
  • $\phi(\tau)$: Embedding da trajetória.
  • $\vartheta$: Estimativa do avaliador do vetor de recompensa verdadeiro $\theta$.
  • $\beta$: Medida de deliberação/segurança do avaliador (competência de decisão).
  • $\lambda$: Medida de conhecimento do avaliador sobre o ambiente (quão próximo $\vartheta$ está de $\theta$).

B. O Algoritmo PSPL

O algoritmo opera em duas fases principais:

1. Inicialização com Dados Offline (Prior Informado):

   • Em vez de usar priores não informativos, o PSPL constrói priores informados para os parâmetros de recompensa ($\theta$) e transição ($\eta$) utilizando o conjunto de dados offline $D_0$.
   • Isso é feito atualizando a distribuição a priori (Gaussiana para $\theta$ e Dirichlet para $\eta$) com a verossimilhança dos dados de preferência observados. Isso permite que o algoritmo "aprenda" com a qualidade e o viés do avaliador offline antes de começar a interação online.

2. Fase Online de Exploração Pura:

   • Para cada episódio $k$:
     • Amostra-se dois conjuntos de parâmetros $(\theta^{(0)}, \eta^{(0)})$ e $(\theta^{(1)}, \eta^{(1)})$ das distribuições posteriores atuais.
     • Calculam-se duas políticas distintas ($\pi^{(0)}$ e $\pi^{(1)}$) baseadas nesses parâmetros amostrados.
     • Executam-se duas trajetórias correspondentes e solicita-se feedback de preferência ao avaliador.
     • Atualiza-se as distribuições posteriores com o novo feedback.
   • Saída Final: Após $K$ episódios, a política final é derivada da estimativa de Máxima A Posteriori (MAP) dos parâmetros finais.

C. Aproximação Prática (Bootstrapped PSPL)

Como a atualização exata da posterior é intratável (perda de conjugação), os autores propõem uma versão prática usando Bootstrap Bayesiano:

• Perturbam-se as funções de perda (online, offline e prior) com pesos aleatórios e amostras do prior.
• Resolve-se o problema de otimização (MAP) sobre a função de perda perturbada para obter amostras aproximadas da posterior.
• Isso torna o algoritmo computacionalmente viável para problemas complexos, como geração de imagens.

3. Contribuições Principais

1. Novo Framework Teórico: Estabelecem o primeiro framework formal para aprendizado da melhor política (BPI) em MDPs desconhecidos usando feedback de preferência de trajetória combinando dados offline e online.
2. Algoritmo PSPL: Introduzem o primeiro algoritmo de aprendizado de melhor política para este cenário, baseado em amostragem de posterior.
3. Garantias Teóricas: Fornecem as primeiras garantias de arrependimento simples bayesiano para PbRL. O limite de arrependimento depende da qualidade do conjunto de dados offline (tamanho $N$ e competência do avaliador $\lambda, \beta$).
   • O limite converge exponencialmente para zero à medida que o tamanho do conjunto de dados offline aumenta e o avaliador se aproxima de um especialista.
4. Versão Prática: Desenvolvem o Bootstrapped PSPL, que é eficiente e supera as bases existentes em benchmarks.

4. Resultados Empíricos

Os autores avaliaram o algoritmo em três tipos de tarefas:

• Ambientes de Controle (Simulação):

  • MountainCar e RiverSwim.
  • Comparação: PSPL vs. Logistic Preference-based RL (LPbRL) e Dueling Posterior Sampling (DPS).
  • Resultado: O PSPL demonstrou um arrependimento simples significativamente menor. A análise de sensibilidade mostrou que o algoritmo se beneficia substancialmente de avaliadores com maior competência ($\beta$ e $\lambda$ altos) e conjuntos de dados offline maiores ($N$).

• Geração de Imagens (Pick-a-Pic):

  • Aplicação em um dataset real de preferências humanas para geração de texto-para-imagem (Pick-a-Pic).
  • O PSPL foi comparado com o DPS.
  • Resultado: O PSPL alcançou recompensas finais mais altas (menor arrependimento simples) nas imagens geradas, demonstrando eficácia em tarefas de alta dimensão e complexas.

• Robustez:

  • Estudos de ablação mostraram que o PSPL é robusto a erros de especificação dos parâmetros de competência do avaliador ($\lambda, \beta$), mantendo o desempenho superior mesmo quando esses parâmetros são mal especificados.

5. Significado e Impacto

• Ponte entre Offline e Online: O trabalho preenche uma lacuna crítica na literatura, mostrando como dados de preferência offline (comuns em RLHF) podem ser usados para "inicializar" (warm-start) e melhorar algoritmos de exploração online, em vez de tratá-los apenas como dados estáticos para ajuste fino (fine-tuning).
• Foco em BPI vs. Regret Cumulativo: Diferente de muitos trabalhos que focam em minimizar o arrependimento cumulativo (balanceando exploração e exploração durante o treinamento), o foco em BPI alinha-se melhor com a avaliação prática de modelos de IA, onde o objetivo final é entregar a melhor política possível após o treinamento, não necessariamente maximizar a recompensa durante o processo de aprendizado.
• Tratamento da Competência do Avaliador: Ao modelar explicitamente a "competência" do avaliador (quão bom ele é em julgar e quão bem ele conhece o ambiente), o algoritmo consegue ponderar corretamente a qualidade dos dados offline, evitando que dados de avaliadores ruins degradem o desempenho.
• Aplicabilidade em RLHF: Oferece uma base teórica e prática para melhorar o alinhamento de LLMs e outros modelos generativos, sugerindo que a exploração online direcionada, guiada por dados offline de preferência, é superior a métodos puramente baseados em otimização direta (como DPO) para encontrar a política ótima final.

Em resumo, o PSPL representa um avanço significativo na forma como sistemas de IA aprendem com feedback humano relativo, oferecendo garantias teóricas sólidas e desempenho prático superior ao integrar dados históricos com exploração ativa.