Designing Time Series Experiments in A/B Testing with Transformer Reinforcement Learning

Resumo Técnico: Projetando Experimentos de Séries Temporais em Testes A/B com Aprendizado por Reforço Baseado em Transformer

Definição do Problema
O artigo aborda o desafio de projetar testes A/B para dados de séries temporais, um cenário comum em plataformas tecnológicas modernas (ex: transporte por aplicativo, e-commerce) onde as políticas são atribuídas sequencialmente ao longo do tempo. Diferente dos testes A/B padrão, onde as unidades são independentes, experimentos de séries temporais sofrem de efeitos de carryover (transbordamento): uma política implementada no tempo $t$ influencia os resultados não apenas em $t$, mas também em passos de tempo futuros, violando a Suposição de Valor de Tratamento de Unidade Estável (SUTVA).

Os designs experimentais existentes para tais cenários enfrentam duas limitações primárias:

1. Utilização Incompleta do Histórico: A maioria das estratégias atuais (ex: designs de Markov, designs estáticos, designs de memória curta ou designs de switchback) condiciona a alocação de tratamento apenas à observação atual, à ação inicial, a um histórico limitado ou ao índice de tempo. Elas falham em aproveitar o contexto histórico completo.
2. Premissas Restritivas: Para otimizar o design (especificamente para minimizar o Erro Quadrático Médio, ou MSE, do estimador do Efeito Médio de Tratamento, ATE), os métodos existentes frequentemente dependem de suposições fortes sobre o processo gerador de dados, como dinâmicas Markovianas, modelos específicos de séries temporais paramétricos (ex: ARMA) ou restrições sobre a duração dos efeitos de carryover.

O artigo argumenta que a falha em condicionar ao histórico completo leva a designs subótimos devido às dependências dinâmicas inerentes aos experimentos de séries temporais.

Metodologia
Os autores propõem um framework de Aprendizado por Reforço com Transformer (TRL - Transformer Reinforcement Learning) para abordar simultaneamente as limitações de utilização de histórico e de suposições de modelagem. A metodologia consiste em dois componentes principais:

1. Fundamentação Teórica (Teorema da Impossibilidade):
   O artigo estabelece um teorema de impossibilidade provando que, para a classe de estimadores duplamente robustos, qualquer estratégia de alocação de tratamento que não dependa de todo o histórico passado (observações, ações e resultados) não pode ser ótima. Isso justifica teoricamente a necessidade de um modelo que processe a sequência completa de dados.

2. Algoritmo de Aprendizado por Reforço com Transformer:

   • Definição de Estado: O estado $S_t$ no tempo $t$ é definido pelo histórico completo $\{O_1, A_1, Y_1, \dots, O_t\}$, capturando todas as dependências temporais.
   • Ação: A ação $A_t \in \{-1, 1\}$ determina se a política de controle ou de tratamento será implementada.
   • Recompensa: A recompensa $R_t$ é projetada para minimizar diretamente o MSE do estimador do ATE. Ela é definida como o desvio quadrático negativo entre o estimador atual do ATE (calculado a partir dos dados até o tempo $t$) e um estimador de Monte Carlo de "verdade fundamental" ($\widehat{ATE}_{mc}$), descontado por um fator $\alpha^{T-t}$.
   • Arquitetura: Os autores utilizam um codificador Transformer para resumir o contexto histórico completo em representações de estado. Esses estados são alimentados em um agente Double Deep Q-Network (DDQN). O Transformer é escolhido especificamente por sua capacidade de lidar com entradas de comprimento variável e capturar dependências de longo prazo, algo com o qual as redes neurais recorrentes (RNNs) podem ter dificuldade.
   • Otimização: O agente de RL aprende a política ótima $\pi$ que minimiza a recompensa cumulativa esperada (que corresponde à minimização do MSE) interagindo com um ambiente de simulação. Esta abordagem não requer que os dados satisfaçam suposições de Markov ou estruturas paramétricas específicas.

Principais Contribuições

1. Resultado de Impossibilidade Teórica: O artigo fornece uma prova formal de que a alocação de tratamento ótima em experimentos de séries temporais (sob estimativa duplamente robusta) exige o condicionamento ao histórico completo, tornando os designs existentes que dependem de histórico parcial teoricamente subótimos.
2. Novo Algoritmo (TRL): Os autores introduzem uma abordagem de RL baseada em Transformer que:
   • Condiciona a alocação ao histórico completo de dados.
   • Otimiza diretamente o MSE do estimador do ATE sem depender de suposições de modelagem restritivas (ex: MDPs ou modelos ARMA).
3. Validação Empírica: A proposta é avaliada em três ambientes distintos:
   • Dados sintéticos com variâncias e estruturas de transição variadas.
   • Um simulador baseado em dados reais construído a partir de um conjunto de dados A/A de uma empresa de transporte por aplicativo usando wild bootstrap.
   • Um simulador de despacho físico de transporte por aplicativo disponível publicamente.

Resultos
As avaliações empíricas em 400 replicações de simulação demonstram que o design TRL proposto supera consistentemente os baselines existentes, incluindo:

• Designs de Markov/Não-Markov (TMDP/NMDP): Designs que alternam tratamentos diariamente.
• Designs de Switchback: Variantes propostas por Hu & Wager (HW), Bojinov et al. (BSZ), Xiong et al. (XCT) e Wen et al. (WSY).

Principais descobertas incluem:

• O TRL alcança o menor Erro Quadrático Médio (MSE) e os intervalos de confiança mais curtos na maioria das configurações.
• Em ambientes com correlação positiva nos resultados (simulador de dados reais), designs que alternam diariamente (TMDP/NMDP) performam significativamente pior, enquanto o TRL se adapta efetivamente.
• Embora os designs de switchback reduzam o viés em comparação com a alternância diária, o TRL ainda obtém MSEs menores ao aproveitar melhor as informações históricas para otimizar a estratégia de alocação.

Significância e Alegações
O artigo afirma que sua proposta representa um avanço significativo no design experimental para dados de séries temporais ao:

• Lidar com Efeitos de Carryover: Gerenciar efetivamente dependências temporais e efeitos retardados sem assumir que eles desaparecem após um período fixo.
• Minimizar Suposições: Remover a necessidade de suposições específicas do processo gerador de dados (como Markovianidade ou linearidade) exigidas por métodos de otimização anteriores.
• Ganhos Empíricos: Alcançar melhorias substanciais na precisão da estimativa (MSE) para o ATE, o que é crítico para detectar pequenos efeitos de tratamento (frequentemente de 0,5% a 2% em setores como o de transporte por aplicativo) dentro de durações experimentais limitadas.

Os autores posicionam este trabalho como uma ponte entre arquiteturas modernas de aprendizado profundo (Transformers) e inferência causal, utilizando o poder computacional para resolver problemas complexos de design que eram anteriormente intratáveis sob suposições estatísticas restritivas.