Resumo Técnico: Aprendizado de Decisões Sequenciais a partir de Múltiplas Fontes via Processos de Decisão de Markov Grupo-Robustos

Formulação do Problema

Este artigo aborda o desafio de aprender políticas de tomada de decisão sequencial robustas a partir de conjuntos de dados offline coletados em múltiplos locais (ex: hospitais) que compartilham um contexto de aplicação comum, mas exibem heterogeneidade. No Aprendizado por Reforço (RL) offline padrão, as políticas são aprendidas a partir de dados pré-coletados sem nova interação com o ambiente. No entanto, dados multi-site do mundo real frequentemente sofrem de dois problemas críticos:

1. Desvio Distribucional (Distributional Shift): As trajetórias offline são geradas por políticas de comportamento que podem não cobrir a distribuição estado-ação da política ótima.
2. Heterogeneidade entre Locais (Site-wise Heterogeneity): Variações nos protocolos de aquisição de dados, composição populacional e condições ambientais significam que as trajetórias não são geradas a partir de um único Processo de Decisão de Markov (MDP) fixo. Em vez disso, cada local $k$ possui seu próprio núcleo de transição $P_k$ e função de recompensa $r_k$.

Os autores modelam este cenário como um MDP Distribucionalmente Robusto Linear por Grupo (Group-Linear DRMDP). A suposição subjacente é que todos os locais compartilham um mapa de características conhecido e comum $\phi: \mathcal{S} \times \mathcal{A} \to \mathbb{R}^d$, mas os núcleos de transição e as funções de recompensa são lineares nestas características com parâmetros específicos de cada local $(\theta^k_h, \mu^k_h)$. O objetivo é aprender uma política que tenha um bom desempenho sob o pior caso de mudança ambiental dentro de um conjunto de incerteza plausível definido pelo envelope convexo das distribuições específicas de cada local.

Metodologia

1. Conjuntos de Incerteza por Característica (d-retangulares)

Para lidar com a incerteza decorrente de múltiplos locais mantendo a tratabilidade computacional, os autores propõem um conjunto de incerteza por característica (d-retangular).

• Estrutura: Diferente de um envelope convexo padrão entre sites que acopla a incerteza em todas as características (levando a conjuntos não retangulares e planejamento NP-difícil), esta abordagem permite que o adversário selecione pesos de mistura independentemente para cada dimensão de característica $i \in [d]$.
• Definição: Para cada passo $h$ e característica $i$, o adversário escolhe um vetor de mistura $\alpha_{h,i} \in \Delta^{K-1}$ para formar uma mistura de pior caso dos parâmetros específicos de cada local. O conjunto de incerteza $\mathcal{U}_h$ é definido de tal forma que a recompensa e a transição para qualquer $(s, a)$ sejam combinações lineares dos parâmetros dos locais ponderadas por estas misturas específicas de cada característica.
• Benefício: Esta relaxação preserva a heterogeneidade crucial entre os locais enquanto restaura as recorrências de Bellman robustas, tornando o problema tratável.

2. Algoritmo de Iteração de Valor Pessimista

Os autores desenvolvem um algoritmo offline (Algoritmo 1) baseado em iteração de valor pessimista, que inclui três componentes principais:

1. Regressão Ridge por Local: Para cada local $k$, o algoritmo estima os coeficientes do alvo de Bellman $\hat{\nu}^k_h$ usando regressão ridge no conjunto de dados local $D_k$. Isso gera estimativas dos parâmetros lineares específicas de cada local.
2. Agregação de Pior Caso por Característica: Em vez de uma média, o algoritmo realiza um mínimo linha a linha através dos coeficientes estimados de todos os locais. Especificamente, para cada dimensão de característica $i$, o coeficiente robusto é definido como $\min_{k \in [K]} (\hat{\nu}^k_h)_i$. Isso captura o cenário de pior caso entre os locais para cada característica.
3. Penalidade de Pessimismo Dependente de Dados: Para contabilizar a incerteza de estimação e o desvio distribucional, um termo de penalidade é subtraído do valor-Q. Esta penalidade é computada usando as diagonais das matrizes de design inversas (matrizes de covariância) da regressão ridge. A penalidade escala com o vetor de características $\phi(s, a)$ e a incerteza máxima observada entre os locais para cada dimensão de característica.

3. Extensão ao Nível de Cluster

Para melhorar a eficiência de amostragem quando os locais exibem similaridade, os autores propõem uma extensão ao nível de cluster. Os locais são particionados em clusters baseados no conhecimento prévio de similaridade. Dentro de cada cluster, os conjuntos de dados são agrupados para formar um "super-local", e o operador de Bellman robusto é aplicado aos representantes do nível de cluster. Esta abordagem aproveita tamanhos de amostra agrupados maiores enquanto limita o erro introduzido pela heterogeneidade dentro do cluster.

Resultados Teóricos

O artigo fornece limites de subotimalidade de amostra finita para o algoritmo proposto sob uma suposição de cobertura parcial robusta.

• Decomposição de Subotimalidade: A subotimalidade é decomposta em correlação espúria, incerteza intrínseca e erro de otimização.
• Taxa de Convergência: Sob a suposição de que as matrizes de covariância empírica específicas de cada local dominam os segundos momentos da distribuição de visitação da política ótima robusta, a subotimalidade da política aprendida $\hat{\pi}$ é limitada por:
  $$\text{SubOpt}(\hat{\pi}; s) \leq O\left( d^2 H^2 \sqrt{\frac{\log(d K H N_{\max}/\xi)}{N_{\min}}} \right)$$
  onde $N_{\min}$ é o tamanho mínimo de amostra entre os locais, $d$ é a dimensão da característica, $H$ é o horizonte e $K$ é o número de locais.
• Limite de Nível de Cluster: Para o algoritmo de nível de cluster, o limite inclui um termo de viés adicional proporcional à discrepância de parâmetros dentro do cluster ($\Delta_h$), demonstrando que o agrupamento é benéfico desde que a heterogeneidade dentro dos clusters seja controlada.

Resultados Experimentais

Os autores validam sua abordagem através de simulações em MDPs lineares episódicos com $K=3$ a $4$ locais.

• Comparação: O algoritmo proposto "Sitewise" é comparado contra:
  • Agrupamento Ingênuo (Naive Pooling): Agrega todos os dados e aplica a Iteração de Valor Pessimista (PEVI) padrão.
  • PEVI por Local (Average-Q): Calcula a média das funções Q de execuções independentes de PEVI específicas de cada local.
  • PEVI por Local (Min-Q): Realiza o mínimo ponto a ponto das funções Q específicas de cada local.
• Desempenho: O algoritmo proposto alcança consistentemente uma subotimalidade robusta significativamente menor em comparação com todos os benchmarks.
  • O Agrupamento Ingênuo falha em ser robusto contra desvios distribucionais específicos de cada local, otimizando para o desempenho médio em vez do pior caso.
  • Os Métodos por Local sofrem de alta variância devido aos limitados tamanhos de amostra locais e à falta de compartilhamento de informações.
• Convergência: Leis de escala empíricas confirmam a taxa de convergência teórica de $O(N_{\min}^{-1/2})$.
• Necessidade de Pessimismo: Experimentos mostram que remover a penalidade de pessimismo (definindo a constante de escala $c=0$) leva à falha de convergência eficiente, pois o estimador ganancioso sofre overfitting ao ruído de amostra finita, particularmente em cenários com cobertura de dados desbalanceada.

Significância e Alegações

O artigo afirma fornecer uma abordagem fundamentada para planejamento robusto em configurações de RL offline multi-site sem depender de suposições fortes de retangularidade estado-ação.

• Tratabilidade vs. Robustez: Ao introduzir o conjunto de incerteza $d$-retangular, os autores unem a lacuna entre a intratabilidade dos envelopes convexos transversais gerais e o conservadorismo excessivo dos MDPs robustos $(s, a)$-retangulares padrão.
• Privacidade e Eficiência: O algoritmo comunica apenas estatísticas resumidas de nível de local (coeficientes de regressão ridge e diagonais de covariância) em vez de trajetórias brutas, o que reduz os custos de comunicação de dados e aumenta a privacidade.
• Lidando com a Heterogeneidade: O framework modela e utiliza explicitamente a heterogeneidade entre os locais para garantir que a política aprendida seja robusta à configuração de pior caso de cada local, abordando uma limitação fundamental do RL offline padrão quando aplicado a dados de múltiplas fontes.

Os autores reconhecem que seu método depende de uma estrutura linear dentro dos locais e que a aproximação $d$-retangular pode levar a estimativas conservadoras. Eles sugerem que trabalhos futuros possam explorar aproximações mais estreitas e a integração de aprendizado de representação para lidar com mapeamentos de características não lineares.