Resumo Técnico: Otimização de Política Offline com Amostragem Posterior (PSPO)

1. Declaração do Problema

O Aprendizado por Reforço (RL) Offline visa aprender políticas ótimas a partir de conjuntos de dados históricos fixos, sem interação adicional com o ambiente. Um desafio fundamental neste domínio é o deslocamento de distribuição, onde a política aprendida se desvia do suporte da política de comportamento, expondo o agente a regiões Fora de Distribuição (OOD). Em RL offline baseado em modelos, isso se manifesta como um compromisso crítico:

• Generalização: A síntese de transições OOD consistentes com a dinâmica pode facilitar a maximização de valor e a generalização além do suporte do conjunto de dados.
• Robustez: Essas mesmas regiões OOD introduzem o risco de exploração do modelo, onde a política aproveita erros de aproximação no modelo de dinâmica para selecionar ações errôneas, levando ao colapso do desempenho.

As abordagens existentes geralmente mitigam a exploração do modelo através de regularização pessimista excessiva. Esses métodos penalizam estimativas de valor OOD com base na incerteza epistêmica (por exemplo, desvio padrão de previsão) para restringir a política dentro do suporte do conjunto de dados. Embora isso garanta robustez, frequentemente sacrifica capacidades de generalização ao penalizar excessivamente transições OOD válidas que capturam dinâmicas físicas subjacentes. A questão central abordada é se um algoritmo de RL offline baseado em modelo pode equilibrar generalização e robustez contra a exploração do modelo sem depender desse pessimismo.

2. Metodologia: Otimização de Política Baseada em Amostragem Posterior (PSPO)

O PSPO propõe um paradigma livre de pessimismo fundamentado no framework de RL Bayesiano. Em vez de tratar o modelo de dinâmica como uma única estimativa pontual, o PSPO formula a modelagem de dinâmica como um processo de inferência Bayesiana, tratando a dinâmica de transição $T$ como uma variável aleatória com uma distribuição posterior $P(T|E)$ condicionada às evidências de transição observadas $E$.

2.1 Formulação Bayesiana e Construção Posterior

O núcleo do PSPO é a derivação de uma distribuição posterior $P(T|E)$ que quantifica explicitamente a fidelidade do modelo.

• Métrica de Consistência Empírica: O artigo define uma métrica $F(T)$ representando o erro quadrático entre o valor-Q e a backup de Bellman sob um modelo de dinâmica específico $T$.
• Princípio da Informação Mínima: Para atualizar a posterior, o PSPO resolve um problema de otimização que minimiza a divergência Kullback-Leibler (KL) em relação ao prior, ao mesmo tempo em que satisfaz a restrição imposta pela nova evidência (minimizando o $F(T)$ esperado). Isso resulta em uma posterior da forma:
  $$P(T|E) \propto P(T) \cdot \exp(-\beta \cdot F(T))$$
  Esta formulação permite que o algoritmo concentre adaptativamente a massa de probabilidade em modelos de alta fidelidade, mantendo probabilidade não negligenciável em outros candidatos, garantindo exploração sem intervenção manual.

2.2 Framework Algorítmico

O PSPO integra a amostragem posterior com a otimização de política restrita:

1. Amostragem Posterior para Rollouts: Em vez de médias de previsões (o que colapsa a incerteza), o PSPO amostra modelos de dinâmica da posterior $P(T|E)$ para sintetizar transições. Isso preserva a estocasticidade inerente à incerteza epistêmica, implementando efetivamente uma variante da Amostragem de Thompson. Isso permite que a política explore regiões OOD consistentes com a dinâmica.
2. Otimização de Política Restrita: Para garantir estabilidade e prevenir exploração, a otimização da política é decomposta em uma sequência de subproblemas restritos. O objetivo é regularizado por um termo de divergência-KL em relação a uma política de referência (tipicamente a política de comportamento), limitando a magnitude das atualizações da política.
3. Regularização Iterativa: O algoritmo alterna entre:
   • Passo E: Atualizando a crença posterior $P(T|E)$ com base nas estimativas atuais de valor-Q.
   • Passo M: Otimizando a política sob a posterior fixa usando um objetivo restrito que garante melhoria monótona.

2.3 Garantias Teóricas

• Convergência: A estimativa de valor-Q sob amostragem posterior é formulada como um problema de aproximação estocástica. Os autores provam que o operador de Bellman baseado em amostragem posterior é uma contração $\gamma$ e que a variância do alvo estocástico é limitada. Consequentemente, o processo de estimativa converge para o valor-Q ótimo ($Q^*$) sob cronogramas padrão de taxa de aprendizado (via o teorema de Robbins-Monro).
• Melhoria Monótona: A otimização da política é decomposta em subproblemas restritos. O artigo prova que resolver esses subproblemas garante melhoria monótona da função objetivo original $J(\pi)$ até a convergência, desde que a restrição KL seja suficientemente pequena.

3. Principais Contribuições

1. Paradigma Livre de Pessimismo: O PSPO distingue-se de abordagens anteriores de RL offline baseado em modelos ao evitar penalização explícita baseada em incerteza (pessimismo). Em vez disso, equilibra generalização e robustez através da amostragem posterior e otimização restrita.
2. Modelagem de Dinâmica Bayesiana: Trata modelos de dinâmica como variáveis aleatórias e deriva uma posterior condicionada a evidências empíricas, quantificando explicitamente a fidelidade do modelo para guiar a exploração.
3. Fundamentos Teóricos: O trabalho estabelece a convergência da estimativa de valor-Q sob amostragem posterior e prova a melhoria monótona do processo de otimização da política.
4. Desempenho de Ponta: Extensos experimentos demonstram que o PSPO alcança desempenho superior comparado a linhas de base (baselines) existentes de ponta (SoTA).

4. Resultados Experimentais

Os autores avaliaram o PSPO em benchmarks padrão, incluindo o conjunto de dados D4RL (cobrindo HalfCheetah, Hopper e Walker2d com várias qualidades de conjunto de dados como Random, Medium, Expert e Replay) e uma tarefa desafiadora de liquidação ótima offline.

• Benchmarks D4RL: O PSPO alcançou as pontuações normalizadas mais altas em 14 dos 18 conjuntos de dados. Notavelmente, demonstrou ganhos substanciais em conjuntos de dados com trajetórias de alta qualidade limitadas (por exemplo, "Medium", "Medium-Expert" e "Full-Replay"). A análise estatística (teste t pareado) confirmou que essas melhorias são significativas ($p \approx 0.029$) em comparação com a linha de base mais forte (PMDB).
• Liquidação Ótima: Em um ambiente altamente estocástico com uma política de comportamento enviesada, o PSPO consistentemente alcançou estabilidade superior e retornos cumulativos mais altos comparado a métodos sem modelo (por exemplo, IQL, ORAAC) e baseados em modelo (por exemplo, MOPO, COMBO), que lutaram para convergir.
• Estudos de Ablação: Remover o mecanismo de amostragem posterior (substituindo-o por média uniforme) ou a regularização da política de referência levou a degradação substancial de desempenho e aumento da instabilidade de treinamento (desvio padrão mais alto), validando a necessidade de ambos os componentes.
• Análise de Pessimismo: Curvas de aprendizado mostraram que os retornos previstos pelo modelo do PSPO consistentemente excederam o desempenho real sem exibir o comportamento "super-pessimista" observado em outros métodos, confirmando a eficácia do design livre de pessimismo.

5. Significado e Alegações

O artigo alega que o PSPO aborda com sucesso o compromisso inerente entre generalização e robustez no RL offline. Ao formular a modelagem de dinâmica como um processo de inferência Bayesiana, o PSPO permite que a política aproveite transições OOD consistentes com a dinâmica para generalização, enquanto garante robustez contra a exploração do modelo através de otimização restrita, tudo sem recorrer ao pessimismo excessivo que limita a generalização dos métodos existentes.

Os autores posicionam o PSPO como um framework teoricamente fundamentado e livre de pessimismo que preenche a lacuna entre a teoria do RL Bayesiano e a escalabilidade do RL profundo. Eles sugerem que essa abordagem oferece uma base mais robusta para melhoria de política em configurações offline não estacionárias ou com restrições de dados. O trabalho futuro é identificado como potencialmente utilizando modelagem generativa para aprender priors informativos orientados por dados, reduzindo ainda mais a dependência de especificações manuais.