Resumo Técnico: Estimativa de Efeitos de Tratamento sob Não Estacionariedade via Estimador de Gradiente de Política Truncado

1. Definição do Problema

Experimentos randomizados (testes A/B) são ferramentas padrão para avaliar intervenções em sistemas dinâmicos, como plataformas de recomendação, marketplaces e saúde digital. No entanto, nesses ambientes, as intervenções frequentemente induzem efeitos de carryover (ou interferência temporal), onde uma ação no tempo $t$ influencia estados do sistema e resultados em tempos futuros $t' > t$. Isso viola o pressuposto padrão de independência ao nível da unidade.

O desafio é exacerbado pela não estacionariedade: a dinâmica do sistema (kernels de transição e distribuições de recompensa) varia ao longo do tempo devido a fatores como evolução das preferências dos usuários, tendências sazonais ou choques externos. Em tais configurações markovianas não estacionárias, as abordagens de estimação existentes enfrentam limitações significativas:

• Estimadores ingênuos (ex: Diferença de Médias) ignoram dependências temporais, levando a um viés substancial.
• Métodos de Avaliação Off-Policy (OPE) estacionários (ex: Diferença de Q's ou estimadores DQ) assumem um ambiente estacionário. Quando aplicados a dados não estacionários, sofrem de alto viés e variância porque dependem de pressupostos (ex: observabilidade estacionária, múltiplas trajetórias independentes) que não se sustentam.
• Designs experimentais complexos (ex: experimentos de switchback) podem mitigar a interferência, mas são difíceis de implementar e exigem um ajuste cuidadoso dos comprimentos dos intervalos.

O problema central abordado é a estimação do Efeito Médio Global de Tratamento (GATE) a partir de uma única trajetória de um sistema não estacionário sob uma política de randomização de Bernoulli, sem exigir conhecimento do espaço de estados ou múltiplas execuções independentes.

2. Metodologia: O Estimador de Gradiente de Política Truncado (TPG)

Os autores propõem o estimador de Gradiente de Política Truncado (TPG), que modifica a abordagem padrão de Diferença de Médias (DM) agregando resultados sobre um horizonte curto e fixo $k$, em vez de usar recompensas instantâneas.

2.1 Estrutura Formal

O sistema é modelado como um Processo de Decisão de Markov (MDP) não estacionário com um horizonte finito $T$.

• Estado/Ação: $X_t \in \mathcal{X}$ (estado), $Z_t \in \{0, 1\}$ (controle/tratamento).
• Dinâmica: As transições são regidas por kernels dependentes do tempo $P^t_z$. O sistema satisfaz um pressuposto de tempo de mistura (Assunção 1), onde a influência de ações passadas decai exponencialmente a uma taxa $\gamma \in (0, 1)$.
• Alvo: O GATE $\tau = \frac{1}{T} \sum_{t=1}^T (\mathbb{E}[Y_t | \pi_1] - \mathbb{E}[Y_t | \pi_0])$, onde $\pi_1$ e $\pi_0$ são as políticas de sempre-tratamento e sempre-controle.
• Dados: Uma única trajetória gerada sob uma política de randomização de Bernoulli $\pi_{1/2}$.

2.2 O Estimador

O estimador TPG $\hat{\tau}_k$ é definido como:
$$\hat{\tau}_k := \frac{1}{T} \sum_{u=1}^T \left( \frac{\mathbb{I}\{Z_u = 1\}}{1/2} - \frac{\mathbb{I}\{Z_u = 0\}}{1/2} \right) \sum_{t=u}^{\min(u+k, T)} Y_t$$
Quando $k=0$, isso reduz ao estimador DM ingênuo. Para $k \ge 1$, ele soma as recompensas sobre uma janela de tamanho $k$.

2.3 Interpretação Teórica

O artigo estabelece que $\hat{\tau}_k$ é um estimador não viesado de um gradiente de política truncado $\nabla J_k(1/2)$.

• Visão de Gradiente de Política: O gradiente de política padrão $\nabla J(1/2)$ é uma aproximação de Taylor de primeira ordem do GATE. Em configurações não estacionárias, o estimador de gradiente completo (onde $k=T$) sofre de um viés que escala quadraticamente com $T$ ($O(T^2)$).
• Truncamento: Ao truncar o horizonte para $k$, o estimador aproxima o gradiente de uma política hipotética que muda para tratamento ou controle apenas nos últimos $k$ passos.
• Decomposição do Viés: O viés de $\hat{\tau}_k$ em relação ao verdadeiro GATE decompõe-se em:
  1. Erro de Taylor: O erro da aproximação do GATE pelo gradiente. Ele escala como $O(k^2)$ (muito melhor que $O(T^2)$).
  2. Viés de Mistura (Mixing Bias): O erro decorrente da diferença entre o valor da política truncada e o verdadeiro GATE. Este decai geometricamente com $k$ devido ao pressuposto de tempo de mistura.

2.4 Estimativa de Variância e Inferência

O artigo deriva um Teorema de Limite Central (CLT) para o estimador TPG sob não estacionariedade. Para suportar a inferência estatística, os autores desenvolvem um estimador de variância HAC (Consistente em Heterocedasticidade e Autocorrelação) não estacionário consistente. Este estimador permite a construção de intervalos de confiança usando dados de trajetória única, superando a "maldição do horizonte" que assola os métodos OPE padrão em ambientes não estacionários.

3. Principais Contribuições

1. Novo Estimador: Introdução do estimador TPG, que equilibra viés e variância ao truncar o horizonte de recompensa. Ele não requer observabilidade de estado e funciona com uma única trajetória.
2. Garantias Teóricas:
   • Compromisso Viés-Variância (Bias-Variance Trade-off): O Teorema 1 fornece limites mostrando que, para $k \ge 1$, o estimador TPG alcança um compromisso favorável. O viés é controlado pela taxa de mistura $\gamma$ e pelo desvio do kernel $\delta$, enquanto a variância é limitada e não explode com $T$ (ao contrário do estimador não truncado).
   • Normalidade Assintótica: O Teorema 2 estabelece o CLT para o $\hat{\tau}_k$ e prova a consistência do proposto estimador de variância HAC sob condições de regularidade brandas (estabilidade de média Cesàro-$L^2$).
3. Heurística Prática: Um algoritmo baseado em dados (Apêndice B) é proposto para selecionar o tamanho do truncamento $k$ pós-experimento, monitorando a estabilidade do estimador em relação à sua variância.
4. Validação Empírica: O método é validado em dois estudos de caso realistas:
   • Um simulador de filas baseado em dados não estacionários de chegada de pacientes.
   • Um simulador de ride-sharing de NYC em larga escala usando dados reais de táxi.

4. Resultados

• MDP de Dois Estados: Em simulações, o estimador DM ingênuo ($k=0$) exibiu ~50% de Erro Médio Absoluto (MAE). O gradiente de política não truncado ($k=T$) apresentou sinais incorretos e variância massiva. O estimador TPG com pequeno $k$ (ex: $k=1$ a $5$) reduziu significativamente o viés mantendo baixa variância.
• Estudo de Caso de Filas: Comparado ao DQ estacionário, LSTD-OPE e estimadores de switchback com correção de viés, o estimador TPG (com $k=4$ ou $5$) aproximou-se de perto do GATE real. O proposto estimador de variância HAC alcançou cobertura de 95% quase nominal.
• Estudo de Caso de Ride-Sharing: Em um ambiente complexo e não estacionário com dados reais de NYC, o estimador TPG reduziu consistentemente o viés através de vários intervalos de switchback (10 a 60 minutos). Superou os estimadores de switchback de última geração (que eram sensíveis à escolha do intervalo) e os métodos OPE estacionários (que falharam em aprender valores Q confiáveis). O estimador TPG com $k=2$ ou $3$ produziu estimativas muito próximas do verdadeiro GATE.

5. Significância e Alegações

O artigo afirma que o estimador TPG oferece uma solução simples, prática e teoricamente fundamentada para inferência causal em sistemas dinâmicos não estacionários. Sua principal significância reside na:

• Robustez: Alcança um compromisso favorável entre viés e variância em configurações onde métodos existentes (DM ingênuo, OPE estacionário) falham.
• Viabilidade: Opera em dados de trajetória única sem exigir conhecimento do espaço de estados, tornando-o aplicável a plataformas do mundo real onde a observabilidade total do estado é frequentemente impossível.
• Inferência: Fornece o primeiro estimador de variância consistente e CLT para estimativa de efeito de tratamento em configurações markovianas não estacionárias de trajetória única, permitindo inferência estatística válida.
• Flexibilidade: Pode ser aplicado como uma ferramenta de pós-processamento para melhorar estimativas de testes A/B de Bernoulli padrão ou designs mais complexos como switchbacks.

Os autores concluem que a perspectiva de gradiente de política, especificamente através do truncamento, fornece um framework poderoso para projetar estimadores eficazes sob dinâmicas não estacionárias complexas.