PAWS: Preference Learning with Advantage-Weighted Segments

Resumo Técnico: PAWS (Preference Learning with Advantage-Weighted Segments)

Problema
O Aprendizado por Reforço baseado em Preferências (PbRL) visa aprender políticas a partir de comparações de nível de trajetória feitas por humanos, em vez de funções de recompensa explícitas. No entanto, os métodos existentes sofrem de um desvio de distribuição entre treinamento e inferência fundamental. Tipicamente, os métodos de PbRL treinam uma função de utilidade (por exemplo, um modelo de recompensa ou vantagem) em preferências de nível de segmento ou de trajetória. Contudo, durante a otimização da política, esses modelos são consultados em pares individuais de estado-ação para computar sinais de aprendizado por passo.

Este descompasso cria um problema de atribuição de crédito temporal. Como ilustrado no artigo, muitas atribuições distintas de vantagem por passo podem somar o mesmo rótulo de preferência de nível de segmento. Consequentemente, o modelo de utilidade fica subdeterminado no nível do passo individual. Quando o otimizador da política consulta este modelo em passos únicos (inferência), apesar de ele ter sido treinado em segmentos, os sinais de aprendizado resultantes são ambíguos e não confiáveis, degradando severamente o aprendizado da política, particularmente em regimes de poucos dados.

Metodologia: PAWS
Os autores propõem o PAWS (Preference Learning with Advantage-Weighted Segments) para resolver esse desvio de distribuição, alinhando o treinamento da utilidade com a otimização da política no nível de segmento.

1. Aprendizado de Vantagem:

   • Em vez de aprender uma função de recompensa, o PAWS aprende uma função de vantagem $A_\phi$ diretamente de pares de preferência de nível de segmento $(\tau^+, \tau^-)$.
   • A verossimilhança da preferência é modelada usando uma formulação de Bradley-Terry baseada na soma das vantagens dentro de um segmento: $P_{A_\phi}[\tau^+ \succ \tau^-] = \frac{\exp(A_\phi(\tau^+))}{\exp(A_\phi(\tau^+)) + \exp(A_\phi(\tau^-))}$.
   • O modelo pode ser implementado usando um codificador Transformer ou um Perceptron Multicamadas (MLP).

2. Otimização de Política Baseada em Segmentos:

   • Em vez de inferir utilidades por passo, o PAWS realiza atualizações de política diretamente em segmentos de trajetória.
   • O método formula um problema de otimização restrita para encontrar uma distribuição de segmento ideal $p^*(\tau)$ que maximize a vantagem esperada enquanto permanece dentro de uma região de confiança (limite de divergência KL $\epsilon$) da distribuição de dados original $p_D(\tau)$.
   • A solução gera uma distribuição de segmento reponderada: $p^*(\tau) \propto p_D(\tau) \exp(\frac{1}{\lambda} A_\phi(\tau))$.
   • A política $\pi_\theta$ é então atualizada maximizando um objetivo de máxima verossimilhança ponderado, onde os pesos são o exponencial das vantagens dos segmentos:
     $$\mathcal{L}(\theta) = \sum_{\tau \in D} \sum_{(s_t, a_t) \in \tau} \exp\left(\frac{A_\phi(\tau)}{\lambda}\right) \log \pi_\theta(a_t|s_t)$$
   • Crucialmente, o peso de importância é aplicado a todo o segmento, garantindo que a atualização da política respeite a informação de preferência de nível de segmento.

3. Controle de Hiperparâmetros via Tamanho de Amostra Efetivo:

   • Para evitar o ajuste manual do limite KL $\epsilon$ (que depende da dimensionalidade da ação e do tamanho do conjunto de dados), o PAWS introduz uma estratégia baseada em dados para controlar o multiplicador de Lagrange $\lambda$.
   • Os autores propõem definir $\lambda$ para alcançar um tamanho de amostra efetivo ($n_{eff}$) desejado, calculado a partir dos pesos de importância. Isso permite um controle intuitivo sobre quantos segmentos contribuem significativamente para a atualização, equilibrando a exploração de segmentos de alta vantagem com a estabilidade.

Principais Contribuições

• Análise de Desvio de Distribuição: O artigo identifica o descompasso entre o treinamento de utilidade de nível de segmento e a inferência de nível de passo como uma limitação central dos métodos de PbRL existentes, causando uma atribuição de crédito temporal ambígua.
• Algoritmo PAWS: Um novo método de aprendizado de preferência baseado em segmentos que realiza atualizações de política usando segmentos ponderados por vantagem, preservando a informação de preferência de nível de trajetória e evitando sinais de passo não confiáveis.
• Ajuste de Hiperparâmetros Baseado em Dados: Uma estratégia intuitiva para configurar hiperparâmetros de otimização de política baseada no tamanho de amostra efetivo dos dados ponderados por preferência, reduzindo a dependência de ajuste manual.
• Validação Empírica: Avaliação abrangente em tarefas de manipulação robótica simulada (Meta-World) e locomoção (D4RL), demonstrando melhorias consistentes sobre as linhas de base estabelecidas.

Resultados Experimentais
Os autores avaliaram o PAWS em 10 tarefas de manipulação Meta-World e 4 tarefas de locomoção D4RL sob dois orçamentos de preferência (50 e 500 pares).

• Desempenho: O PAWS (tanto as variantes Transformer quanto MLP) superou consistentemente as linhas de base, incluindo Behavior Cloning (BC), P-IQL, CPL, CPL+KL, Preference Transformer e IPL.
• Regime de Poucos Dados: No cenário de 50 preferências, muitas linhas de base degradaram para um desempenho pior que o Behavior Cloning, enquanto o PAWS manteve um desempenho robusto, destacando sua eficiência em cenários de escassez de dados.
• Estudos de Ablação:
  • Granularidade de Atualização: Substituir as atualizações de nível de segmento do PAWS por atualizações de nível estado-ação (usando a mesma função de vantagem aprendida) resultou em uma queda significativa de desempenho, confirmando que o desvio de distribuição é a causa primária de falha nas abordagens padrão.
  • Comprimento do Segmento: Aumentar o comprimento do segmento exacerbou a degradação de desempenho para as atualizações baseadas em estado-ação, mas teve um impacto negativo mínimo no PAWS, que opera nativamente no nível de segmento.
  • Feedback Humano: Ao testar em preferências coletadas de 10 rotuladores humanos não autores, o PAWS alcançou as maiores taxas de sucesso nas tarefas "Button Press" e "Door Open", validando sua robustez ao ruído humano real.
  • Atribuição de Crédito: O PAWS demonstrou uma correlação de ranking de Spearman mais alta com as classificações de especialistas em comparação com as atualizações baseadas em passos, indicando uma preservação superior das estruturas de preferência temporal.

Significância e Alegações
O artigo afirma que os ganhos de desempenho do PAWS decorrem principalmente do alinhamento das distribuições de treinamento e inferência da função de utilidade aprendida, e não de escolhas arquiteturais específicas (já que ambas as variantes MLP e Transformer superaram suas contrapartes de nível de passo).

Os autores enfatizam que o PAWS oferece uma solução fundamentada para o problema da atribuição de crédito temporal no PbRL, evitando os "sinais de aprendizado por passo não confiáveis" inerentes aos métodos que treinam em segmentos mas inferem em passos. O método é apresentado como particularmente eficaz em regimes de poucos dados, onde as estimativas de utilidade por passo são mais ruidosas. Embora a avaliação seja restrita a tarefas robóticas simuladas com dados de oráculo e de pequena escala humana, os autores sugerem que a perspectiva de nível de segmento é diretamente aplicável ao ajuste fino de preferências de grandes modelos generativos (ex: RLHF), onde as comparações são tipicamente feitas sobre respostas inteiras em vez de tokens individuais.

Limitações
Os autores reconhecem que o PAWS atribui pesos de importância uniformes a todos os pares estado-ação dentro de um segmento, o que pode ser suboptimal se um segmento contiver uma mistura de ações de alta e baixa qualidade. Além disso, a escolha do tamanho de amostra efetivo ($n_{eff}$) requer seleção, embora seja observado ser mais intuitivo do que ajustar o limite KL diretamente. Por fim, a avaliação atual é limitada à simulação e ainda não aborda o feedback humano em larga escala e ruidoso.