Resumo Técnico: Processo de Decisão de Markov Linear Generalizado (GRASP-MDP)

1. Definição do Problema

O aprendizado por reforço (RL) offline para estudos longitudinais, particularmente em saúde e intervenções digitais, enfrenta dois desafios interconectados:

1. Estruturas de Recompensa Não Lineares: Os resultados são frequentemente binários (ex: recaída) ou contínuos limitados (ex: pontuações de incapacidade em uma escala de 0–10), que são naturalmente modelados por Modelos Lineares Generalizados (GLMs) em vez das suposições de recompensa linear padrão dos MDPs Lineares.
2. Escassez de Dados Semi-Supervisionados: Embora trajetórias de estado-ação-próximo-estado sejam frequentemente registradas integralmente, as observações de recompensa correspondentes podem estar disponíveis apenas para um subconjunto de trajetórias ou pontos temporais específicos. Métodos existentes ou descartam dados de apenas transição (perdendo informações sobre valores de continuação) ou dependem de imputação de recompensa (introduzindo suposições não verificadas).

Os métodos padrão de MDP Linear falham aqui porque uma média de recompensa não linear quebra a recursão de Bellman linear, e as abordagens semi-supervisionadas existentes não separam explicitamente a estimativa da dinâmica de transição da modelagem de recompensa.

2. Metodologia: GRASP-MDP

Os autores propõem o GRASP-MDP (Generalized Reward And Semi-supervised Pessimism for Markov Decision Processes), um framework que desacopla a estimativa de recompensa e transição enquanto mantém uma estrutura de Bellman tratável.

2.1 Suposições do Modelo

O GRASP-MDP assume uma estrutura híbrida:

• Dinâmica de Transição: O kernel de transição permanece linear em um mapa de características $\phi_p$:
  $$P_h(x_{h+1} | x_h, a_h) = \langle \phi_p(x_h, a_h), \mu_h(x_{h+1}) \rangle$$
• Dinâmica de Recompensa: A média condicional da recompensa segue um Modelo Linear Generalizado (GLM) com uma função de ligação $g$ conhecida:
  $$E[r_h(x_h, a_h) | x_h, a_h] = g(\langle \phi_r(x_h, a_h), \theta^*_h \rangle)$$
  Aqui, $\phi_r$ e $\phi_p$ são mapas de características distintos, permitindo que informações relevantes para a recompensa e para a transição desempenhem papéis estatísticos diferentes.

2.2 Completude de Bellman Não Linear-Mais-Linear

A principal percepção teórica é que, embora a recompensa não linear quebre a classe de Bellman linear padrão, o modelo induz uma classe de funções não linear-mais-linear $\mathcal{F}$:
$$f_{\theta, \beta}(x, a) = g(\langle \phi_r(x, a), \theta \rangle) + \langle \phi_p(x, a), \beta \rangle$$
Os autores provam (Proposição 1) que o backup de Bellman de qualquer função de valor limitada pertence a esta classe $\mathcal{F}$. Especificamente, o backup se decompõe em um termo de recompensa não linear e um termo de continuação linear. Esta estrutura permite a completude de Bellman explícita sem exigir que a recompensa seja linear.

2.3 Algoritmo: Iteração de Valor Pessimista por Componentes

O procedimento de aprendizado utiliza uma iteração de valor pessimista decomposta (Algoritmo 1):

1. Estimativa de Recompensa: O parâmetro de recompensa $\theta_h$ é estimado utilizando apenas o subconjunto de dados onde as recompensas são observadas ($I^r_h$) via um GLM (ex: regressão binomial ou beta).
2. Estimativa de Transição: O parâmetro de continuação $\beta_h$ é estimado utilizando todos os estados-ação-próximo-estado disponíveis ($n + N$ trajetórias), independentemente de a recompensa ter sido observada ou não. Isso é feito via regressão ridge.
3. Pessimismo: O algoritmo constrói uma função Q pessimista subtraindo raios de incerteza separados para os componentes de recompensa e transição:
   $$\hat{Q}_h(x, a) = \min \left\{ (\hat{B}_h \hat{V}_{h+1})(x, a) - \hat{\Gamma}_{r,h}(x, a) - \hat{\Gamma}_{p,h}(x, a), H-h+1 \right\}_+$$
   • $\hat{\Gamma}_{r,h}$ é derivado da curvatura do GLM e do tamanho do conjunto de observação de recompensa.
   • $\hat{\Gamma}_{p,h}$ é derivado da covariância das características de transição e do número total de trajetórias.

Esta abordagem garante que observações de apenas transição reduzam o erro de estimativa de transição sem exigir a imputação de recompensas.

3. Principais Contribuições

1. Framework Teórico: Estabelecimento da completude de Bellman para uma classe de funções não linear-mais-linear induzida pela separação de recompensa-transição.
2. Desenvolvimento de Algoritmo: Um algoritmo de iteração de valor pessimista por componentes que controla separadamente as incertezas de recompensa e transição.
3. Garantias de Amostra Finita: Limites teóricos mostrando que a subotimalidade da política aprendida é governada por dois termos distintos:
   • Um termo de recompensa escalando com $O(\sqrt{d_r/n})$, onde $n$ é o número de trajetórias com observação de recompensa.
   • Um termo de transição escalando com $O(\sqrt{d_p/(n+N)})$, onde $n+N$ é o número total de trajetórias.
     Isso prova que dados de apenas transição ($N$) melhoram o aprendizado da política ao reduzir a incerteza da transição, mesmo quando as recompensas estão ausentes.
4. Extensões: Mostra-se que o framework se estende para observação de recompensa ao nível de passo (onde as recompensas estão ausentes aleatoriamente dentro das trajetórias) e recompensas sub-Gaussianas com intervalos de média finitos.

4. Resultados Empíricos

4.1 Simulações

• Configurações: Os experimentos cobriram observação de recompensa completa e parcial com recompensas binárias e contínuas limitadas (Distribuição Beta).
• Descobertas: O GRASP-MDP superou consistentemente os baselines de MDP Linear (PEVI, Q-learning Local/Global) quando as recompensas eram não lineares. Sob observação de recompensa parcial, reter trajetórias de apenas transição melhorou significativamente o desempenho da política em comparação com métodos que as descartavam ou usavam apenas dados rotulados.

4.2 Aplicação no Mundo Real: Esclerose Múltipla (EM)

• Contexto: Aprendizado de estratégias de Tratamento Modificador da Doença (DMT) usando Registros Eletrônicos de Saúde (EHR).
• Dados: Uma coorte de 4.295 pacientes do registro Mass General Brigham EHR e CLIMB. As recompensas basearam-se na Escala de Incapacidade Expandida (EDSS), que é limitada (0–10) e observada de forma intermitente (ausente em ~40% dos períodos de pacientes).
• Resultado: A política GRASP-MDP utilizando dados de recompensa ausente (retendo trajetórias de apenas transição) alcançou estimativas numericamente favoráveis para a EDSS média e meses com EDSS $\le$ 4 em comparação com métodos que utilizam apenas dados rotulados ou baselines lineares padrão. Isso demonstrou o benefício prático de alavancar informações de apenas transição em contextos clínicos com relatórios esparsos de desfechos.

5. Significância e Alegações

O artigo afirma que o GRASP-MDP fornece uma solução principista para RL offline em cenários com desfechos estruturados e observados intermitentemente. Sua significância reside em:

• Preservar a Tratabilidade: Mantém a tratabilidade computacional e estatística dos MDPs Lineares enquanto acomoda as estruturas de recompensa não lineares comuns em dados do mundo real.
• Utilização Eficiente de Dados: Justifica formalmente o uso de observações de apenas transição para o aprendizado de políticas sem imputar recompensas, evitando assim o viés introduzido por suposições de imputação.
• Separação de Incerteza: Ao controlar separadamente os erros de recompensa e transição, o método fornece garantias de amostra finita que delineiam claramente o valor de dados de transição adicionais versus dados de recompensa adicionais.

Os autores observam que o método depende de suposições padrão, como a ausência de informação aleatória (missing-at-random) para recompensas e cobertura suficiente (positividade) de regiões estado-ação. Eles reconhecem que a ausência de informação não ignorável e os desvios de distribuição entre trajetórias com rótulos de recompensa e de apenas transição permanecem como desafios abertos. O framework também é notado por suportar extensões online (GLSVI-UCB) com garantias de regret sublinear.