Resumo Técnico: PERRY – Avaliação de Políticas com Intervalos de Confiança utilizando Dados Auxiliares

Declaração do Problema

A avaliação off-policy (OPE) é crítica para estimar o valor de uma nova política de aprendizado por reforço (RL) antes da implementação, particularmente em domínios de alto risco como a saúde, onde a experimentação direta é arriscada. Métodos padrão de OPE frequentemente enfrentam dificuldades quando a política alvo difere significativamente da política de comportamento devido à cobertura limitada de dados. Avanços recentes sugerem que o aproveitamento de conjuntos de dados auxiliares, como trajetórias sintéticas geradas por modelos generativos, pode melhorar a precisão da OPE. No entanto, esses conjuntos de dados auxiliares podem introduzir viés, e os métodos existentes para o uso de aumento de dados em OPE carecem de uma quantificação de incerteza fundamentada. Em cenários de alto risco, intervalos de confiança (CIs) confiáveis são essenciais para a seleção segura de políticas. Atualmente, nenhum método existente fornece garantias formais para CIs em configurações de OPE que combinam dados offline (reais) com trajetórias sintéticas.

Metodologia

O artigo propõe dois métodos, CP-Gen e DR-PPI, para construir intervalos de confiança válidos para OPE em Processos de Decisão de Markov (MDPs) utilizando tanto dados reais quanto sintéticos.

1. CP-Gen: Predição Conformal para Valores Condicionados ao Estado

O CP-Gen aborda a tarefa de estimar o valor da política condicionado a um estado inicial específico, $V^\pi(s)$. Isso é crucial em cenários onde partes interessadas devem selecionar políticas para indivíduos que começam no mesmo estado (por exemplo, pacientes com estágios de doença idênticos).

• Conceito Central: O método decompõe o valor da política em uma estimativa de simulador (usando trajetórias sintéticas) e um termo de "viés do modelo" (a discrepância entre os retornos reais e sintéticos).
• Mecanismo: Ele emprega uma nova estrutura de predição conformal adaptada para MDPs com espaços de estados contínuos.
  • Ele constrói um intervalo de predição para a diferença de retorno entre uma trajetória real e uma trajetória sintética correspondente partindo do mesmo estado.
  • Para lidar com o deslocamento de distribuição entre a política de comportamento ($\pi_b$) e a política alvo ($\pi_e$), e a natureza contínua do espaço de estados, os autores introduzem uma técnica de $\epsilon$-aproximação. Isso aproxima os pesos de importância condicionando em vizinhanças locais (esferas de raio $\epsilon_s$ ao redor do estado e $\epsilon_r$ ao redor da diferença de retorno) em vez de pontos exatos, tornando a estimativa de peso tratável.
  • O intervalo de confiança final para $V^\pi(s)$ é formado pela adição da banda conformal da discrepância de retorno à estimativa sintética.

2. DR-PPI: Estimativa Duplamente Robusta para Valores Incondicionados

O DR-PPI visa a tarefa mais comum de estimar o desempenho médio da política sobre a distribuição de estados iniciais, $V^\pi = \mathbb{E}_{s_0}[V^\pi(s_0)]$.

• Conceito Central: Este método inspira-se na estimativa Duplamente Robusta (DR) e na Inferência Impulsionada por Predição (PPI).
• Mecanismo:
  • O conjunto de dados de comportamento é dividido em duas partes ($D_1, D_2$) para cross-fitting.
  • Um modelo generativo é treinado em uma divisão para produzir trajetórias sintéticas (rollouts) sob a política alvo.
  • O estimador combina um termo baseado em modelo (média dos retornos das trajetórias sintéticas) com um termo de correção derivado dos dados reais. O termo de correção utiliza amostragem de importância (IS) em trajetórias reais para ajustar o viés introduzido pelo modelo generativo.
  • Especificamente, para cada trajetória real, múltiplas trajetórias sintéticas são geradas a partir do mesmo estado inicial para estimar o retorno sintético esperado, que é então subtraído do retorno real reponderado.
  • A estimativa final é a média de dois estimadores de cross-fitting, e a variância é calculada para construir um intervalo de confiança assintótico.

Principais Contribuições

1. Formalização: Os autores formalizam o problema da quantificação de incerteza para OPE em MDPs que utilizam trajetórias geradas sinteticamente.
2. Algoritmos Inovadores: Eles introduzem o CP-Gen e o DR-PPI, dois métodos projetados para estimativa de valor de política condicionada e incondicionada, respectivamente.
3. Garantias Teóricas:
   • CP-Gen: Provado que produz intervalos de predição conformal com garantias de cobertura que se mantêm assintoticamente ou dentro de uma pequena margem de erro para amostras finitas, mesmo em espaços de estados contínuos. A margem de erro é explicitamente limitada como uma função dos raios de aproximação ($\epsilon_s, \epsilon_r$).
   • DR-PPI: Provado que produz intervalos de confiança assintoticamente válidos, mesmo se o modelo generativo for mal especificado, desde que a correção de amostragem de importância seja consistente.
4. Validação Empírica: Experimentos extensos em quatro domínios (Controle de Estoque, Tratamento de Sepse, Controle Robótico e dados de EHR MIMIC-IV) demonstram que esses métodos utilizam efetivamente dados auxiliares para produzir CIs que cobrem os valores reais, muitas vezes com intervalos mais estreitos que as linhas de base.

Resultados Experimentais

Os autores avaliaram seus métodos contra várias linhas de base, incluindo Importance Sampling (IS), Direct Method (DM), Doubly Robust (DR) e suas variantes aumentadas (AugIS, AugDR), bem como bases de conformal de trabalhos anteriores (Foffano et al., 2023).

• Cobertura: Tanto o CP-Gen quanto o DR-PPI produziram consistentemente intervalos de confiança que cobriam os valores reais das políticas em todos os domínios testados.
• Largura do Intervalo: Em muitos cenários, particularmente com espaços de estados contínuos (Estoque, D4RL HalfCheetah, MIMIC-IV), os métodos propostos produziram intervalos significativamente mais estreitos que as linhas de base. Por exemplo, no domínio de Estoque, o CP-Gen produziu um comprimento de intervalo de 5531.60 em comparação com 8550.00 da linha de base de Foffano et al., enquanto ainda cobria o valor real.
• Robustez: Os métodos mostraram-se robustos a uma mal especificação moderada da política de comportamento e variações na qualidade (ruído) das trajetórias sintéticas.
• Falhas das Linhas de Base: As linhas de base que aumentam os dados de forma ingênua sem correção de incerteza principada (ex: AugIS, AugDR) frequentemente produziram intervalos enviesados que falharam em cobrir o valor real ou resultaram em intervalos exponencialmente grandes devido a problemas de variância em Q-learning.

Significância e Alegações

O artigo afirma dar um passo significativo para permitir a OPE consciente da incerteza em regimes onde tanto trajetórias reais quanto sintéticas são utilizadas. Os autores enfatizam que seu trabalho é fundamental para domínios de alto risco, onde a implementação segura de políticas de RL requer estimativas de incerteza rigorosas.

• Preenchimento da Lacuna: O trabalho aborda uma lacuna crítica onde métodos de OPE existentes com aumento de dados carecem de garantias formais sobre a qualidade da estimativa.
• Escalabilidade: Ao introduzir a $\epsilon$-aproximação, o CP-Gen estende a predição conformal para MDPs com espaços de estados contínuos e de alta dimensão, um cenário onde métodos de OPE conformal anteriores enfrentavam dificuldades.
• Utilidade Prática: Os resultados empíricos sugerem que o aproveitamento de dados sintéticos, quando pareado com essas técnicas específicas de quantificação de incerteza, pode melhorar a precisão das estimativas de OPE sem sacrificar a validade.

Os autores mantêm a modéstia quanto às limitações, observando que a escolha dos hiperparâmetros ($\epsilon_s, \epsilon_r$) torna-se cada vez mais consequente em cenários de alta dimensão e que trabalhos futuros são necessários para desenvolver procedimentos mais fundamentados para sua seleção e para explorar modelos generativos alternativos, como modelos de difusão. Eles também reconhecem que as garantias teóricas para o CP-Gen envolvem uma pequena margem de erro dependente desses parâmetros.