Resumo Técnico: Em Direção a Estimadores Ótimos para Ensaios Controlados Aleatorizados

Definição do Problema

Os Ensaios Controlados Aleatorizados (RCTs) são o padrão ouro para a inferência causal, mas o estimador padrão de Diferença de Médias (DM), embora não enviesado, frequentemente carece de precisão, particularmente quando os efeitos de tratamento são heterogêneos ou os resultados exibem distribuições de cauda pesada. Embora existam inúmeros métodos de aumento de precisão (ex: ajuste de covariáveis, redução de variância, meta-aprendizes baseados em aprendizado de máquina), não existe um estimador "ótimo" universal que tenha o melhor desempenho em todos os conjuntos de dados.

Um desafio crítico surge na seleção de estimadores para famílias de RCTs relacionados. Selecionar um estimador caso a caso corre o risco de comprometer a validade científica, pois os pesquisadores podem inadvertidamente selecionar métodos que apoiem narrativas preferidas em vez de fornecerem inferências confiáveis. Além disso, as abordagens de validação existentes, como a geração de dados sintéticos, sofrem com limitações onde os rankings de desempenho em dados sintéticos divergem significativamente das aplicações no mundo real, e carecem de garantias teóricas quanto à relação entre o desempenho sintético e o real. O artigo aborda a lacuna no fornecimento de orientação fundamentada para a seleção de estimadores que considere contextos de pesquisa específicos, características do resultado e objetivos analíticos (inferência vs. tomada de decisão).

Metodologia

Os autores propõem um framework geral para identificar estimadores ótimos dentro de famílias de RCTs relacionados, aproveitando a coleção de experimentos do mundo real em vez de dados sintéticos.

1. Configuração do Framework

O framework considera uma coleção de $N$ estudos extraídos de uma superpopulação. Cada estudo envolve a comparação de pares de tratamento dentro de uma população específica. As principais premissas incluem:

• Aleatorização: A atribuição de tratamento é aleatorizada dentro de cada estudo.
• Independência de Estudo: Condicional às covariáveis, os resultados potenciais são independentes da participação no estudo (os estudos diferem apenas nas distribuições de covariáveis, não nos mecanismos causais).
• Amostras Não Sobrepostas: As unidades participam de, no máximo, um estudo.

2. Métricas de Desempenho

O framework distingue entre dois objetivos analíticos primários, definindo métricas específicas para cada um:

• Focado em Inferência (Estimativa de Parâmetros): Utiliza o Erro Quadrático Médio (MSE) para quantificar a discrepância entre o efeito de tratamento estimado e o efeito verdadeiro, capturando tanto o viés quanto a variância.
• Focado em Tomada de Decisão (Decisões de Rollout): Utiliza o Regret (Arrependimento), definido como o custo de oportunidade econômico de decisões subótimas. O Regret quantifica o custo de falsos negativos (falha em implementar tratamentos benéficos) e falsos positivos (implementação de tratamentos ineficazes) com base em uma regra de decisão que envolve um limiar crítico $c$.

3. Comparação de Estimadores via Divisão de Amostra

Como os verdadeiros efeitos de tratamento são desconhecidos, os autores empregam um procedimento de cross-fitting (divisão de amostra) para estimar as métricas de desempenho sem sobreajuste (overfitting):

• Para cada estudo $s$, a amostra é particionada em $K$ dobras (folds).
• Uma dobra é usada para computar uma estimativa de "verdade fundamental" usando o estimador DM não enviesado ($\hat{\tau}_{DM}$).
• As dobras restantes são usadas para computar o estimador de interesse ($\hat{\tau}_{\alpha}$).
• As métricas de desempenho ($\Delta$) são calculadas entre o estimador de cross-fitting e a estimativa DM.
• O desempenho geral é agregado através da família de estudos.

Resultados teóricos (Teoremas 4.1–4.3) estabelecem que a estatística de MSE de cross-fitting é não enviesada, e a estatística baseada em regret é assintoticamente não enviesada sob condições de regularidade.

4. Inferência Estatística

Para comparar estimadores, os autores utilizam Testes de Permutação em vez de depender apenas da normalidade assintótica, que é complicada pelas descontinuidades nas métricas de regret e pela heterogeneidade dos estudos. Sob a hipótese nula de igual desempenho, os rótulos dos estimadores são permutados entre os estudos para gerar uma distribuição nula para a estatística de teste, garantindo validade estatística robusta.

5. Robustez via Métricas Ponderadas

Para abordar a sensibilidade a estudos discrepantes (outliers) com alta variância, o framework incorpora a ponderação pelo inverso da variância. Isso atribui maior peso a estudos com estimativas mais precisas (maiores tamanhos de amostra, menor variância do resultado), equilibrando a influência de outliers de alta variância enquanto mantém o uso de todos os dados disponíveis.

Principais Contribuições

1. Framework Fundamentado para Seleção de Estimadores: O artigo desloca o foco de encontrar um único melhor estimador para RCTs individuais para identificar abordagens superiores para famílias inteiras de testes relacionados. Fornece um método sistemático para comparar estimadores preservando a integridade científica.
2. Alinhamento de Métricas com Objetivos: O trabalho distingue explicitamente entre objetivos de inferência (minimizar MSE) e de tomada de decisão (minimizar regret), demonstrando que o estimador ótimo depende criticamente do uso pretendido das estimativas.
3. Validação no Mundo Real: Ao contrário das abordagens de dados sintéticos, o framework avalia estimadores em coleções de RCTs reais que compartilham medidas de resultados comuns, proporcionando maior garantia de generalização entre contextos.
4. Implementação Prática: Os autores fornecem um framework prático e implementável que os profissionais podem aplicar em diversos contextos experimentais, incluindo ambientes de negócios e ciências sociais.

Resultados Empíricos

O framework foi aplicado a dois conjuntos de dados distintos:

1. Amazon Supply Chain Optimization Technology (SCOT)

• Dados: 556 RCTs focados em resultados financeiros com distribuições de cauda pesada.
• Estimadores Avaliados: DM, OLS, Linear T-learner e Weighted Least Squares (WLS), combinados com vários níveis de winsorização.
• Descobertas:
  • Inferência (MSE): O Linear T-learner com winsorização de 0,5% alcançou o MSE mínimo. No entanto, para níveis de winsorização mais baixos, o OLS foi o ótimo.
  • Tomada de Decisão (Regret): O padrão Difference-in-Means (DM) sem winsorização alcançou o melhor desempenho (mínimo regret). O estimador com o menor MSE (Linear T-learner) teve desempenho subótimo para a tomada de decisão.
  • Implicação: Estimadores que minimizam o erro de estimativa não necessariamente minimizam os custos de decisão. Para decisões de lançamento, o DM simples é preferível; para medição de uplift, métodos de ajuste de covariáveis são superiores.

2. Strengthening Democracy Challenge (SDC)

• Dados: 25 intervenções visando atitudes e comportamentos políticos (ex: apoio à violência partidária, animosidade partidária).
• Descobertas:
  • Inferência (MSE): Os estimadores ótimos variaram conforme o resultado. Para resultados com relações de covariáveis fracas e caudas pesadas (ex: Apoio à Violência Partidária), a winsorização agressiva (10%) com OLS foi a ótima. Para resultados com fortes associações de covariáveis (ex: Animosidade Partidária), o ajuste de covariáveis sem winsorização pesada foi superior.
  • Tomada de Decisão (Regret): Em todos os resultados, os estimadores performaram de forma quase idêntica, com o $DM_0$ alcançando o mínimo de regret normalizado.
  • Implicação: A divergência entre os rankings de MSE e regret reforça que as estratégias ótimas são dependentes do contexto. Para decisões de implementação (rollout), métodos simples costumam ser suficientes, enquanto a inferência exige ajustes e cortes personalizados.

Significância e Alegações

O artigo afirma oferecer uma "alternativa fundamentada à seleção de estimadores ad hoc" que preserva a integridade científica ao mesmo tempo em que acomoda a flexibilidade metodológica. Sua principal significância reside em demonstrar que:

• Não Existe um Estimador Ótimo Universal: O "melhor" estimador é contingente ao objetivo analítico (inferência vs. decisão) e às propriedades distributivas específicas dos dados de resultado.
• A Seleção de Métricas é Crítica: O foco apenas em p-valores ou MSE pode não se traduzir em um desempenho ideal de tomada de decisão. Organizações devem priorizar explicitamente seus objetivos (compreensão científica vs. implementação operacional) para selecionar os métodos apropriados.
• Melhores Práticas Específicas de Domínio: Em vez de depender de recomendações de uso geral, as comunidades de pesquisa e organizações devem desenvolver frameworks de validação específicos de domínio usando dados experimentais acumulados para guiar a seleção de métodos.

Os autores concluem que, embora seu framework enderece as limitações atuais, trabalhos futuros são necessários para estender esses métodos para tratamentos variantes no tempo, desenhos fatoriais e configurações com interferência ou não conformidade. Eles enfatizam que o objetivo não é encontrar um único método "melhor", mas sim desenvolver abordagens fundamentadas para selecionar métodos bem adequados a contextos de pesquisa específicos.