Resumo Técnico: Sintetizando Evidências: Agrupamento de Dados como Ferramenta para Seleção de Tratamento em Experimentos Online

1. Declaração do Problema

Ensaios controlados randomizados (RCTs) são o padrão ouro para inferência causal em aplicações de negócios, particularmente dentro de plataformas online. No entanto, a escala crescente de experimentação — onde empresas como Microsoft, Google e Booking executam milhares de experimentos simultâneos — criou um problema de "escassez de dados". Embora a base total de usuários seja grande, o tráfego alocado para qualquer experimento individual é frequentemente limitado por restrições operacionais ou gestão de risco.

Essa escassez leva a uma alta variância nas estimativas do Efeito Médio do Tratamento (ATE), tornando difícil distinguir políticas eficazes de políticas ineficazes. Os métodos tradicionais de "Implementação de Tratamento Individual" (ITR), que analisam cada experimento de forma isolada usando diferença de médias ou Mínimos Quadrados Ordinários (OLS), sofrem de baixo poder estatístico quando os tamanhos das amostras são pequenos. Este problema é exacerbado na experimentação direcionada (análise de subgrupos) e em designs ortogonais onde combinações específicas de tratamentos podem estar sub-representadas. A questão central de pesquisa é: Como as plataformas podem melhorar a seleção de tratamento e as decisões de implementação de políticas ao enfrentar um grande número de experimentos com dados limitados por experimento?

2. Metodologia: O Framework DPTR

Os autores propõem o framework de Implementação de Tratamento via Agrupamento de Dados (DPTR). Diferente do ITR, que trata os experimentos de forma independente, o DPTR agrega informações através de múltiplos experimentos para melhorar a tomada de decisão.

Mecanismo Central

O DPTR emprega um estimador de contração (shrinkage estimator) que combina o estimador de um experimento individual ($\hat{\tau}_k$) com um estimador "âncora" ($\hat{\tau}_0$), definido como a média de todos os estimadores individuais. O novo estimador $\bar{\tau}_k$ é uma média ponderada:
$$\bar{\tau}_k = \frac{N}{N + \beta} \hat{\tau}_k + \frac{\beta}{N + \beta} \hat{\tau}_0$$
onde $N$ é o tamanho da amostra e $\beta \geq 0$ é um parâmetro de escala baseado em dados.

Design Consciente da Decisão

Uma distinção crítica do DPTR é que ele é consciente da decisão (decision-aware). A contração tradicional geralmente visa minimizar o Erro Quadrático Médio (MSE). Em contraste, o DPTR otimiza a recompensa de implementação (roll-out reward - o benefício esperado da implementação de políticas). O parâmetro de escala $\beta$ é explicitamente derivado para maximizar a recompensa esperada da decisão de implementação, incorporando o nível de significância ($\alpha$) e o limiar para implementação da política. Isso resulta em "limites de contração encolhidos" em vez de intervalos de confiança padrão.

Cenários de Implementação

O framework é projetado para ser flexível em quatro distintos cenários de experimentação:

1. Experimentos não sobrepostos com especificações lineares: Utiliza Diferença de Médias (DM) ou OLS. O parâmetro de escala $\hat{\beta}$ é derivado com base na razão entre a variância dentro do experimento e a heterogeneidade entre experimentos.
2. Experimentos não sobrepostos com especificações não lineares: Utiliza Aprendizado de Máquina Duplo (DML) e cross-fitting para lidar com modelos lineares parciais.
3. Experimentos sobrepostos com especificações lineares: Lida com casos em que usuários são expostos simultaneamente a múltiplos tratamentos usando OLS no vetor de tratamento conjunto.
4. Experimentos sobrepostos com especificações não lineares: Estende a abordagem DML para estruturas de tráfego sobrepostas.

Em todos os casos, o framework fornece fórmulas para um parâmetro de escala baseado em dados ($\hat{\beta}$) que pode ser compartilhado entre experimentos ou personalizado ($\hat{\beta}_k$) com base em informações de covariáveis.

3. Principais Contribuições

O artigo apresenta três contribuições primárias:

1. Um Framework Geral de Agrupamento de Dados: Os autores introduzem um novo framework que integra dados entre múltiplos experimentos para melhorar a seleção de tratamento. Ele é explicitamente consciente da decisão, alinhando a estimação com as decisões de implementação subsequentes ao incorporar níveis de significância no procedimento de contração. O framework é aplicável tanto a cenários de tráfego não sobreposto quanto sobreposto, bem como a especificações de modelos lineares e não lineares.
2. Garantias Teóricas: Sob experimentos não sobrepostos com especificações lineares, os autores fornecem provas teóricas formais mostrando que o DPTR melhora fracamente o método ITR e o melhora estritamente no "regime de âncora positiva" (onde o ATE esperado entre os experimentos é positivo). Eles derivam o parâmetro de escala ótimo $\beta^*$ que maximiza a recompensa esperada e demonstram que existe um estimador consistente para $\beta$ baseado em dados.
3. Validação Empírica: O framework é validado através de:
   • Simulações Sintéticas: Demonstrando robustez em relação a variações no tamanho da amostra, número de experimentos, níveis de ruído e erros de especificação de modelo (linear vs. não linear).
   • Aplicações no Mundo Real: Aplicação a dois conjuntos de dados: (a) dados de segmentação de anúncios da Criteo (não sobrepostos) e (b) dados de plataforma de vídeos curtos de Ye et al. (2025) (sobrepostos).

4. Resultados

Experimentos Sintéticos

• Métricas de Desempenho: O DPTR supera consistentemente o ITR e os benchmarks Bayesianos em termos de Razão de Otimalidade (OR) e Valor do Agrupamento de Dados (VDP).
• Compromissos (Trade-offs): O DPTR melhora significativamente o Recall (identificação de ATEs positivos) em comparação ao ITR, muitas vezes ao custo de uma Especificidade e Precisão ligeiramente menores. Esse compromisso é intencional, pois o framework prioriza a maximização da recompensa total em vez da minimização do erro de classificação.
• Sensibilidade: Os benefícios do DPTR são mais pronunciados quando:
  • O número de experimentos ($K$) é grande.
  • O tamanho da amostra por experimento ($N$) é pequeno.
  • O ATE esperado ($\tau_0$) é pequeno.
• Robustez: O DPTR permanece eficaz mesmo sob erro de especificação de modelo (ex: usando DM quando o modelo real é não linear), enquanto o desempenho do ITR degrada drasticamente nesses cenários.

Aplicações no Mundo Real

• Conjunto de Dados Criteo (Não sobreposto): O DPTR superou significativamente o ITR e os métodos Bayesianos na seleção de recomendações personalizadas para subgrupos de usuários, particularmente quando os tamanhos das amostras eram pequenos. O método Bayesiano teve desempenho semelhante ao ITR neste contexto porque as variâncias individuais dos grupos eram pequenas, levando a uma contração negligenciável, enquanto o uso da variância agregada pelo DPTR permitiu um agrupamento eficaz.
• Plataforma de Vídeos Curtos (Sobreposto): Em um cenário de três experimentos sobrepostos, o DPTR apresentou consistentemente valores de OR mais altos que o ITR em vários métodos de estimação (DM, OLS, DML) e tamanhos de amostra. Notavelmente, o DPTR melhorou o desempenho do DML, que tipicamente sofre de alta variância em amostras pequenas, reduzindo efetivamente essa variância através do agrupamento.

5. Significância e Alegações

O artigo alega que o DPTR fornece uma solução escalável e prática para plataformas online melhorarem o aproveitamento de dados experimentais em ambientes de negócios complexos. Sua significância reside em:

• Abordar a Escassez de Dados: Oferece uma maneira fundamentada de melhorar a tomada de decisão quando a alocação de tráfego é limitada, uma restrição comum em testes A/B modernos.
• Otimização Centrada na Decisão: Ao mudar o objetivo da pura precisão de estimação (MSE) para a qualidade da decisão (recompensa), o DPTR alinha a inferência estatística com os objetivos de negócio.
• Robustez: O framework mostra-se robusto contra erro de especificação de modelo e designs experimentais sobrepostos, que são prevalentes em plataformas reais, mas difíceis de lidar com métodos tradicionais.

Os autores observam modestamente que o método é desenhado para configurações com múltiplos experimentos paralelos sem restrições de capacidade. Eles reconhecem que em ambientes com restrições de capacidade rigorosas (limitando o número de implementações) ou interações de reversão de sinal fortes entre tratamentos, a regra de implementação não restrita estudada pode não ser a ótima. No entanto, para a vasta maioria dos cenários de experimentação online caracterizados por escassez de dados e espaços de tratamento de alta dimensão, o DPTR oferece uma melhoria teoricamente fundamentada e empiricamente validada sobre a análise isolada tradicional.