Distributional Off-Policy Evaluation with Deep Quantile Process Regression

1. Problema Investigado

O artigo aborda o problema de Avaliação de Política Off-Policy (OPE) no contexto de Aprendizado por Reforço (RL).

• Contexto: OPE visa estimar o valor de uma política-alvo ($\pi$) utilizando dados coletados por uma política de comportamento diferente ($\pi_b$). Isso é crucial em cenários onde a experimentação online é cara, arriscada ou eticamente restrita (ex: saúde, finanças).
• Limitação das Abordagens Atuais: A maioria dos métodos de OPE existentes foca apenas na estimativa do valor esperado (média) do retorno total. Eles ignoram a variabilidade e a estrutura completa da distribuição de retornos.
• O Desafio: Em ambientes estocásticos complexos, a média pode ser insuficiente para capturar riscos, incertezas ou comportamentos multimodais. Além disso, métodos de RL Distribucional (DRL) existentes, como QR-DQN, geralmente estimam quantis discretos, o que introduz erros de representação e exige o uso de "pseudo-amostras" (pseudo-samples) para atualizações do operador de Bellman, complicando a análise teórica e a implementação.

2. Metodologia Proposta: DQPOPE

Os autores propõem o DQPOPE (Deep Quantile Process regression-based Off-Policy Evaluation), um algoritmo que estima a distribuição completa de retornos em vez de apenas a média.

Fundamentos Teóricos e Algorítmicos:

• Regressão de Processo Quantílico (Quantile Process Regression): Diferente dos métodos anteriores que estimam quantis fixos e discretos, o DQPOPE modela a função quantílica contínua $f(s, a, \tau)$, onde $\tau \in (0, 1)$ é tratado como uma variável de entrada contínua do modelo. Isso transforma o problema de aprendizado de distribuição (infinito-dimensional) em um problema de regressão finito-dimensional.
• Arquitetura: Utiliza Redes Neurais Profundas com ativação ReLU (Deep ReLU Networks) para aproximar a função quantílica.
• Mecanismo de Atualização (Bellman):
  • O algoritmo itera o operador de Bellman distribucional.
  • Para evitar o problema de "pseudo-amostras" (onde métodos discretos precisam reconstruir a distribuição a partir de pontos fixos), o DQPOPE usa a propriedade de que amostrar $\tau \sim \text{Unif}(0,1)$ e passar por $f(s, a, \tau)$ gera uma amostra exata da distribuição.
  • A atualização é feita minimizando a perda de verificação (check loss) de Pinball sobre um conjunto de dados empírico, onde o alvo é gerado dinamicamente: $y = r + \gamma f(s', a', u)$, com $u \sim \text{Unif}(0,1)$.
• Estimativa de Valor da Política: O valor esperado da política é obtido naturalmente integrando (ou fazendo a média) sobre os quantis estimados: $V^\pi \approx \frac{1}{K} \sum f(s, a, \tau_k)$.

3. Contribuições Principais

1. Introdução da Regressão de Processo Quantílico para OPE:

   • Substitui a aproximação de quantis discretos por uma função contínua, eliminando erros de representação inerentes a métodos como QR-DQN.
   • Resolve o problema de "pseudo-amostras", permitindo a geração exata de amostras de retorno sem etapas de imputação adicionais.

2. Análise Teórica Rigorosa (Complexidade de Amostra):

   • Estabelecem limites de erro não assintóticos para o DQPOPE usando redes ReLU.
   • Resultado Chave: Demonstram teoricamente que estimar a distribuição completa de retornos pode ser tão eficiente em termos de amostras quanto estimar apenas a média (valor esperado).
   • Derivam taxas de convergência ótimas (ou próximas do ótimo minimax) sob condições de suavidade (classe de Hölder) e convexidade local forte. A taxa de erro escalar é $O(N^{-\frac{\beta}{2\beta+d}})$, comparável aos melhores resultados de OPE baseada em valor, onde $\beta$ é o índice de suavidade e $d$ a dimensão.

3. Vantagens Práticas e Robustez:

   • Mostram que a estimativa via média de quantis é mais robusta a distribuições de recompensa com caudas pesadas (outliers) do que a minimização direta de erro quadrático (usada em métodos baseados em valor).

4. Resultados Experimentais

Os autores validaram o método em três cenários:

• Ambiente CartPole (Simulação):

  • Demonstraram que o erro de estimativa da distribuição ($W_1$) decai exponencialmente com o aumento do tamanho da amostra.
  • O método capturou com precisão a distribuição de retorno verdadeira, validando a análise de complexidade de amostra.

• Exemplo Toy com Caudas Pesadas:

  • Em ambientes com recompensas seguindo distribuições $t$ (Student's t, caudas pesadas), o DQPOPE superou consistentemente o método baseado em valor (DOPE) em termos de Erro Quadrático Médio (MSE).
  • Aumentar o número de quantis ($K$) melhorou a precisão, confirmando a teoria de que a média de quantis reduz a variância em cenários de cauda pesada.

• Dados Reais (MIMIC-III - Sepse):

  • Aplicação em um cenário crítico de saúde (tratamento de sepse).
  • Comparação entre DQPOPE, DQOPE (baseado em quantis discretos) e DOPE (baseado em valor).
  • Resultado: O DQPOPE produziu estimativas de valor de política mais precisas e robustas, distinguindo melhor a política ótima (DDQN) das políticas aleatórias ou subótimas.
  • As políticas estimadas pelo DQPOPE alinharam-se mais clinicamente com a política alvo, evitando recomendações de doses excessivas ou insuficientes, algo que os métodos baseados em valor falharam em fazer com a mesma precisão.

• MuJoCo (Controle):

  • Em ambientes de alta dimensão, o DQPOPE superou métodos clássicos (WIS, DR) e outros métodos distribucionais (baseados em categorias ou MLE), especialmente em cenários com ruído e tamanhos de amostra variados.

5. Significado e Impacto

• Ponte entre Teoria e Prática: O trabalho preenche uma lacuna teórica significativa, fornecendo a primeira análise de complexidade de amostra rigorosa para OPE distribucional com aproximação por redes neurais profundas, mostrando que a complexidade não aumenta drasticamente ao estimar a distribuição inteira em vez da média.
• Superioridade em Cenários de Risco: Ao capturar a distribuição completa, o método permite uma tomada de decisão mais informada em cenários onde o risco (variância) é tão importante quanto o retorno esperado (ex: medicina, finanças).
• Eficiência Computacional e Estabilidade: Ao eliminar a necessidade de "pseudo-amostras" e imputação complexa, o DQPOPE oferece um framework mais limpo e eficiente para implementar RL distribucional em cenários off-policy.

Em resumo, o DQPOPE representa um avanço tanto teórico quanto prático, demonstrando que a estimativa de distribuições completas em RL off-policy é viável, eficiente e superior para tarefas que exigem robustez contra incertezas e caudas pesadas.