Resumo Técnico: Otimização de Política Offline Regularizada com Crença Bayesiana Híbrida Posterior (PhyB)

1. Definição do Problema

O Aprendizado por Reforço (RL) Offline busca otimizar políticas utilizando conjuntos de dados pré-coletados sem nova interação com o ambiente. Um gargalo primário neste paradigma é o gerenciamento da incerteza epistêmica, que surge de duas fontes:

1. Incerteza ao nível da amostra: Causada pela cobertura parcial do conjunto de dados.
2. Incerteza ao nível do modelo: Decorrente da ambiguidade em identificar dinâmicas de transição únicas a partir de dados finitos.

A abordagem de RL Bayesiano oferece um framework unificado para quantificar essas incertezas ao tratar modelos de dinâmica como variáveis aleatórias, porém, a otimização de política prática permanece computacionalmente desafiadora. As abordagens existentes enfrentam um compromisso (trade-off):

• Técnicas baseadas em busca (ex: Programação Linear de Inteiros Mistos, Busca em Árvore de Monte Carlo) são teoricamente sólidas, mas falham em escalar para tarefas de alta dimensão.
• Suposições restritivas (ex: distribuições posteriores fixas, MDPs robustos com verossimilhanças de Dirac) garantem tratabilidade, mas sacrificam a adaptabilidade e o desempenho inerente do RL Bayesiano, levando frequentemente a um conservadorismo excessivo (sobre-pessimismo).

A questão central abordada é: Podemos desenvolver um algoritmo de otimização de política offline computacionalmente tratável sob crenças Bayesianas sem depender de suposições restritivas sobre a distribuição posterior?

2. Metodologia: Crença Bayesiana Híbrida Posterior (PhyB)

Os autores propõem o PhyB, um framework que reformula a expectativa sobre as posteriors dos modelos como uma combinação convexa sobre um subconjunto de modelos de dinâmica, evitando suposições posteriores restritivas.

2.1. Formulação da Crença

Em vez de tratar o modelo de dinâmica como uma estimativa pontual ou manter uma posterior contínua complexa, o PhyB opera em um conjunto finito de modelos $\mathcal{T} = \{\tau_0, \dots, \tau_{N-1}\}$.

• Subconjunto Pessimista: Um subconjunto $\tilde{\mathcal{T}} \subseteq \mathcal{T}$ é formado selecionando os $k$ modelos correspondentes às menores previsões de valor-$Q$ (os $k$ piores).
• Combinação Convexa: Em vez de selecionar um único modelo de pior caso (o que leva a um pessimismo do tipo Dirac) ou tirar a média de todos os modelos (o que dilui o pessimismo), o PhyB atribui pesos $\alpha_i$ aos modelos em $\tilde{\mathcal{T}}$.
• Ponderação Regularizada por Entropia: Os pesos são determinados resolvendo um problema de otimização regularizado por entropia:
  $$\min_{\alpha} \sum_{i=0}^{k-1} \alpha_i q_{\tau_i}(s, a) + \lambda \alpha_i \log \alpha_i$$
  A solução ótima segue uma distribuição de Boltzmann: $\alpha_i \propto \exp(-q_{\tau_i}(s, a)/\lambda)$.
• Posterior Híbrida: Este esquema de ponderação constrói uma "Crença Bayesiana Híbrida Posterior" $\tilde{P}(\tau)$, que é uma mistura de distribuições unimodais centradas em torno de quantis específicos do conjunto de modelos. Isso permite uma adaptação contínua e orientada por dados do nível de pessimismo.

2.2. Otimização de Política Regularizada

Para otimizar a função objetivo definida por esta crença híbrida, os autores abordam dois desafios: a geometria não-euclidiana do espaço de distribuição multimodal e o custo computacional de resolver a equação de Bellman.

• Subproblemas Regularizados por Bregman: A otimização é decomposta em uma sequência de subproblemas regularizados pela divergência de Bregman ($D_\psi$).
• Algoritmo Iterativo: É proposto um algoritmo de melhoria de política iterativo onde a política no passo $i+1$ é atualizada com base na política de referência do passo $i$:
  $$\pi_{i+1} = (\nabla \psi)^{-1} \left( \frac{1}{\beta} (Q - z) + \nabla \psi(\pi_i) \right)$$
  Esta formulação espelha métodos de gradiente natural e garante a melhoria monotônica do objetivo até a convergência.

2.3. Garantias Teóricas

• Discrepância Limitada: Prova-se que a discrepância do objetivo induzida pela aproximação de combinação convexa é limitada.
• Pessimismo: O método induz um limite inferior no retorno esperado real. A lacuna entre o retorno estimado e o real desaparece conforme a fidelidade do modelo aumenta e o tamanho do subconjunto pessimista diminui.
• Monotonicidade: A performance da política é provada como monotonicamente não-decrescente em relação ao tamanho do subconjunto $k$ e monotonicamente não-crescente em relação ao tamanho do conjunto $N$.

3. Principais Contribuições

1. Formulação PhyB: Uma nova formulação de crença que trata as dinâmicas de transição como variáveis aleatórias sem suposições posteriores restritivas, reformulando expectativas como combinações convexas sobre um subconjunto pessimista.
2. Otimização Regularizada Iterativa: Um algoritmo que decompõe a tarefa de otimização em subproblemas regularizados por Bregman, fornecendo garantias independentes de métrica para melhoria monotônica.
3. Análise Teórica: Provas estabelecendo que o erro de aproximação é limitado, que o pessimismo induzido é controlável e que a otimização da política converge monotonicamente.
4. Desempenho Empírico: Resultados de estado da arte em benchmarks padrão (D4RL) e tarefas de liquidação estocástica.

4. Resultados Experimentais

Os autores avaliaram o PhyB no benchmark D4RL (18 conjuntos de dados em HalfCheetah, Hopper e Walker2d com qualidades de dados variadas) e em uma tarefa de liquidação ótima estocástica.

• Desempenho: O PhyB alcançou desempenho superior em 11 de 18 conjuntos de dados D4RL e permaneceu competitivo nos demais. Ele superou notavelmente baselines fortes, incluindo métodos model-free (CQL, IQL, TD3+BC) e métodos model-based (MOReL, RAMBO, PMDB, ADM).
• Tarefas Estocásticas: Na tarefa de liquidação altamente estocástica, onde muitos baselines falharam em aprender políticas eficazes, o PhyB demonstrou um desempenho robusto e superior.
• Estudos de Ablação:
  • Combinação Convexa: Remover a combinação convexa (selecionando um único modelo) causou degradação significativa no desempenho, validando a necessidade da crença híbrida.
  • Hiperparâmetros: O método mostrou robustez a variações de hiperparâmetros ($\omega$, $\lambda$). Observou-se um compromisso (trade-off) onde conjuntos de dados de menor qualidade se beneficiaram de maior pessimismo (menor $\lambda$), enquanto conjuntos de dados de alta qualidade exigiram menos conservadorismo.
• Alinhamento Teórico: Curvas empíricas confirmaram que os retornos estimados pelo PhyB consistentemente limitavam inferiormente os retornos reais (validando o teorema de pessimismo) e exibiram melhoria quase monotônica durante o treinamento.

5. Significância e Alegações

O artigo afirma que o PhyB consegue preencher a lacuna entre o apelo teórico do RL Bayesiano e os requisitos computacionais da otimização de política offline.

• Quantificação Unificada de Incerteza: Ao tratar as dinâmicas como variáveis aleatórias e usar uma crença híbrida, o PhyB unifica a quantificação de incerteza ao nível da amostra e ao nível do modelo sem recorrer a suposições simplificadas como verossimilhanças de Dirac.
• Escalabilidade: Diferente de métodos Bayesianos anteriores que dependem de solvers intratáveis, o PhyB oferece uma abordagem computacionalmente eficiente que escala para tarefas de controle contínuo de alta dimensão.
• Adaptabilidade: O método evita o "conservadorismo excessivo" dos MDPs robustos ao permitir que o nível de pessimismo se adapte continuamente com base nos dados e no desacordo do modelo, em vez de depender de suposições de pior caso fixas.
• Robustez: A abordagem fornece garantias independentes de métrica para melhoria monotônica, garantindo aprendizado estável mesmo na ausestência de interação online com o ambiente.

Os autores concluem que o PhyB representa um passo significativo para tornar o RL Bayesiano prático para cenários offline, ofereando um framework robusto que equilibra a aversão ao risco com a otimização de desempenho.