Nonparametric Estimation of Optimal Stochastic Just-In-Time Adaptive Interventions for Distal Outcomes

Resumo Técnico: Estimativa Nãoparamétrica de Intervenções Adaptativas Estocásticas Just-in-Time Ótimas para Desfechos Distais

Definição do Problema
Tecnologias móveis e vestíveis facilitam as Intervenções Adaptativas Just-in-Time (JITAIs), que adaptam a entrega do tratamento ao estado em tempo real de um indivíduo. Embora os Ensaios Micro-Randomizados (MRTs) gerem os dados longitudinais intensivos necessários para construir essas intervenções, os métodos existentes enfrentam desafios significativos quando o alvo são desfechos distais (ex: desfechos ao final do estudo) em vez de respostas proximais imediatas.

Métodos padrão de inferência causal longitudinal, como os Modelos Estruturais Marginais (MSMs), frequentemente lutam em configurações com um grande número de pontos de decisão ($T$). Especificamente:

1. Instabilidade: Estimadores de ponderação de probabilidade inversa (IPW) envolvem produtos de pesos ao longo de $T$ pontos temporais, levando à instabilidade numérica, alta variância e viés substancial em amostras finitas quando $T$ é grande.
2. Irregularidade: Estimadores duplamente robustos exigem a estimativa de uma grande coleção de termos de aumento (regressões de desfecho indexadas por tempo e política), o que se torna impraticável e pode levar a estimadores irregulares com taxas de convergência lentas.
3. Limitações de Aprendizado por Reforço (RL): Embora o RL seja projetado para tomada de decisão sequencial, ele tipicamente otimiza recompensas cumulativas ou descontadas. Selecionar uma taxa de desconto apropriada para desfechos distais é frequentemente sem suporte empírico, e os métodos de RL podem carecer de interpretabilidade.
4. Problemas de Positividade: Políticas determinísticas ou quase determinísticas sofrem de violações de positividade em amostras finitas em espaços de decisão de alta dimensão, onde caminhos de tratamento específicos são mal suportados nos dados observados.

Metodologia
Os autores propõem um framework unificado para estimar e otimizar JITAIs estocásticas para desfechos distais usando um estimador nãoparametricamente eficiente. Os componentes centrais são:

1. Classe de Política Estocástica: Os autores focam em uma classe paramétrica de políticas estocásticas $\{q_\theta\}$, onde as probabilidades de tratamento são funções do estado atual $S_t$ (modeladas via regressão logística com funções de base). Políticas estocásticas são preferidas em relação às determinísticas para manter a flexibilidade, incorporar restrições não modeladas e mitigar problemas de positividade.

2. Dispositivo de Inclinação $\alpha$-Tilting: Para estabilizar a estimativa em configurações de alto $T$, os autores introduzem um procedimento de inclinação (tilting) adaptativo aos dados. Este interpola entre a política alvo $q_\theta$ e o mecanismo de tratamento observado $\pi_{t,0}$ em cada ponto de decisão $t$:
   $$q_{\theta, \alpha, t} = (t/T)^\alpha q_\theta + \{1 - (t/T)^\alpha\}\pi_{t,0}$$
   Para $\alpha > 0$, os pesos das decisões iniciais são contraídos em direção a 1, reduzindo a volatilidade do produto dos pesos de probabilidade inversa. O parâmetro $\alpha$ é selecionado via uma regra adaptativa aos dados que minimiza o Erro Quadrático Médio (MSE) estimado da função de valor, equilibrando viés (desvio do alvo científico) e variância (estabilização).

3. Estimador de Ponderação de Probabilidade Inversa Sub-suavizado (UIPW) (Undersmoothed Inverse Probability Weighting):

   • Em vez de estimar as complexas funções de regressão de desfecho indexadas por política necessárias para uma estimativa eficiente, os autores utilizam o Highly Adaptive Lasso (HAL).
   • Eles empregam sub-suavização (selecionando um parâmetro de penalidade $\lambda$ maior do que aquele escolhido por validação cruzada) para garantir que os modelos de escore de propensão ajustados sejam ricos o suficiente para resolver aproximadamente as equações de escore empíricas associadas à função de influência eficiente.
   • Esta abordagem alcança eficiência nãoparamétrica ($\sqrt{n}$-consistência) sem estimar explicitamente as regressões de desfecho de alta dimensão, evitando assim a "maldição da dimensionalidade" associada aos termos de aumento.

4. Otimização Penalizada: Para evitar soluções de fronteira (que podem ser numericamente instáveis), o parâmetro da política ótima $\theta$ é encontrado maximizando uma função de valor penalizada $V_n(\theta) = \psi_n(\theta) - P(\theta)$, onde $P(\theta)$ é uma penalidade de ridge ponderada por distância inversa que afasta o otimizador da fronteira do espaço de parâmetros $\Theta$.

Principais Contribuições

1. Estimador Nãoparametricamente Eficiente: Desenvolvimento de um estimador UIPW para a curva de resposta da regência (desfecho distal esperado sob uma política estocástica) que atinge o limite de eficiência nãoparamétrica sem estimar o conjunto completo de regressões de desfecho indexadas por tempo e política.
2. Estabilização Adaptativa aos Dados: Introdução de um procedimento de inclinação que estabiliza a estimativa em configurações de alto $T$ ao contrair os pesos iniciais, com garantias teóricas de que o viés introduzido pela inclinação é assintoticamente negligenciável se $\alpha_n \to 0$ suficientemente rápido.
3. Teoria Assintótica para Inferência:
   • Prova de que a curva de resposta da regência estimada converge fracamente para um processo Gaussiano, permitindo a construção de bandas de confiança simultâneas sobre o espaço de parâmetros da política.
   • Derivação da distribuição assintótica do otimizador $\theta^*_n$, permitindo inferência válida para a política estocástica aprendida e ótima.
4. Implementação Prática: Propostas para seletores adaptativos aos dados para o nível de sub-suavização (baseados em normas DCAR ou resíduos de escore) e para o parâmetro de inclinação $\alpha$.

Resultos
Os autores avaliam seu método através de simulações numéricas que mimetizam ensaios de saúde móvel (ex: cessação do tabagismo) com variando tamanhos de amostra ($n$) e pontos de decisão ($T$) e mecanismos de atribuição de tratamento (MRT vs. observacional).

• Controle de Viés: Em configurações observacionais onde o mecanismo de tratamento deve ser aprendido, os estimadores HAL com validação cruzada padrão exibiram viés significativo conforme $T$ aumentava. Os estimadores UIPW com sub-suavização controlaram com sucesso esse viés.
• Estabilidade e MSE: A inclinação adaptativa reduziu o Erro Quadrático Médio (MSE) para quase todos os estimadores, particularmente em configurações com grande $T$, onde o acúmulo de pesos causa instabilidade.
• Otimização de Política: A abordagem de inclinação adaptativa geralmente melhorou o Erro Quadrático Médio (RMSE) da política ótima estimada em comparação com os estimadores sem inclinação.
• Cobertura: Enquanto os estimadores padrão mostraram subcobertura em regiões onde a política alvo diferia significamente da política observacional (devido a problemas numéricos de positividade), os métodos propostos mantiveram taxas de cobertura mais próximas dos níveis nominais, embora alguma sobrecobertura tenha sido observada em configurações específicas.
• Desempenho do Seletor: Entre os seletores de sub-suavização, o seletor baseado em $L_2$ DCAR geralmente forneceu desempenho mais estável e menor regret do que o seletor baseado em escore, que às vezes suavizou excessivamente de forma agressiva.

Significância e Alegações
O artigo afirma fornecer um framework unificado para a estimativa, inferência e otimização de JITAIs estocásticas especificamente para desfechos distais.

• Preenchendo a Lacuna: O trabalho aborda a lacuna metodológica entre a estrutura dos dados de MRT (muitos pontos de decisão) e os alvos de inferência (desfechos distais) que definem o sucesso a longo prazo em saúde comportamental.
• Viabilidade: Ao evitar a estimativa explícita de regressões de desfecho de alta dimensão, o método torna a estimativa eficiente nãoparamétrica viável em configurações longitudinais intensivas onde métodos anteriores eram estatisticamente ou computacionalmente intratáveis.
• Robustez: A combinação de políticas estocásticas, inclinação e sub-suavização oferece uma solução robusta para os problemas de instabilidade e positividade inerentes à tomada de decisão de alta frequência.
• Inferência: A derivação das propriedades assintóticas tanto para a curva quanto para o otimizador permite que pesquisadores não apenas encontrem uma política ótima, mas também quantifiquem a incerteza através de bandas de confiança simultâneas e inferência específica da política, uma capacidade frequentemente ausente nas abordagens atuais de RL ou aprendizado de política.

Os autores permanecem modestos, observando que, embora a sub-suavização seja teoricamente necessária para a eficiência, seu desempenho em amostras finitas depende fortemente da seleção de parâmetros de ajuste. Eles também reconhecem que os ganhos de eficiência de métodos nãoparamétricos podem ser menores em configurações estocásticas em comparação com as determinísticas devido à estabilidade inerente dos pesos probabilísticos.