AI-Assisted Variance Reduction in Randomized Experiments

Resumo Técnico: Redução de Variância Assistida por IA em Experimentos Aleatórios

Definição do Problema
O artigo aborda o desafio de melhorar a precisão das estimativas do Efeito Médio do Tratamento (ATE) em experimentos aleatórios. Embora a literatura recente explore o uso de Grandes Modelos de Linguagem (LLMs) e "gêmeos digitais" para simular respostas humanas, essas previsões sintéticas frequentemente sofrem de viés e são substitutos ruins para dados humanos reais quando utilizadas isoladamente. Métodos híbridos de estimação existentes, como a Inferência com Poder de Predição (PPI) e estimadores semiparamétricos eficientes, visam combinar previsões de IA com dados humanos, mas muitas vezes carecem de garantias de robustez em configurações aleatórias. Especificamente, abordagens não calibradas podem inflar a variância se as previsões da IA não forem suficientemente precisas, e alguns métodos introduzem viés se o modelo for mal especificado. Os autores argumentam que os pesquisadores precisam de um método que utilize as previsões da IA para redução de variância sem comprometer a imparcialidade do estimador, mesmo quando a qualidade da previsão é modesta ou desconhecida.

Metodologia
Os autores propõem uma estrutura onde as previsões geradas por IA são utilizadas estritamente como covariáveis auxiliares dentro de um ajuste de regressão padrão, em vez de serem substitutas diretas para os resultados (outcomes).

• Estimador Central: O artigo defende a inclusão das previsões da IA ($\hat{Y}_i$) como covariáveis em uma regressão linear do resultado observado ($Y^{obs}_i$) sobre o indicador de tratamento ($Z_i$). Especificamente, eles recomendam a especificação de regressão com interação:
  $$Y \sim 1 + Z + \hat{Y}(Z) + Z \times \hat{Y}(Z)$$
  onde $\hat{Y}(Z)$ representa a previsão da IA para o braço de tratamento atribuído. Isso é análogo ao ajuste por um escore prognóstico.
• Justificativa Teórica: Os autores demonstram que este estimador ajustado por regressão é uma versão "calibrada" do estimador assistido por modelo. Diferente dos estimadores assistidos por modelo não calibrados (que exigem que a correlação entre previsões e resultados exceda 0,5 para reduzir a variância), o estimador ajustado por regressão possui uma propriedade de "não causar dano" (do no harm). Ele é assintoticamente imparcial e garante que a variância nunca seja maior do que a do estimador de diferença de médias não ajustado ($Deff \leq 1$). Se as previsões forem não informativas, os coeficientes ajustados diminuem em direção a zero, e o estimador retorna à diferença de médias padrão.
• Tratamento de Resultados Discretos: Para resultados binários ou de contagem, os autores argumentam contra o uso de previsões de IA discretizadas (por exemplo, classificar a saída de um LLM como 0 ou 1). Em vez disso, recomendam o ajuste por probabilidades ou escores contínuos previstos. Eles fornecem estratégias de implementação para obter esses escores contínuos de LLMs, como a extração de log-probabilidades de tokens específicos ou a média sobre múltiplas amostragens estocásticas.
• Fontes de Dados: A estrutura acomoda previsões de várias fontes, incluindo LLMs zero-shot, modelos de fundação tabulares (ex: TabPFN) e modelos de aprendizado supervisionado padrão (ex: XGBoost, Ridge). Os autores observam que, para modelos treinados nos próprios dados do experimento, o cross-fitting é necessário para manter a validade, enquanto as previsões zero-shot de LLMs podem ser tratadas como covariáveis fixas pré-tratamento.

Principais Contribuições

1. Simplicidade e Robustez: O artigo estabelece que não são necessários novos estimadores; o ajuste de regressão padrão com covariáveis de IA é suficiente. Esta abordagem herda a robustez da propriedade de "não causar dano", garantindo ganhos de eficiência quando as previsões são informativas e nenhum prejuízo quando não são.
2. Comparação de Estimadores: Os autores comparam sistematicamente o ajuste de regressão contra estimadores assistidos por modelo não calibrados e estimadores de "gêmeo digital" (imputação). Eles mostram que métodos não calibrados podem inflar a variância se a qualidade da previsão for baixa ($\rho < 0,5$), e que estimadores de gêmeos digitais podem introduzir viés significativo, a menos que o modelo de IA seja perfeitamente especificado.
3. Featurização de Dados Não Estruturados: O artigo destaca a capacidade única dos LLMs de transformar entradas não estruturadas (ex: texto, perfis de usuários complexos) em covariáveis auxiliares. Isso permite a redução de variância em cenários onde métodos tabulares tradicionais têm dificuldade em extrair sinal de textos brutos.
4. Orientação de Implementação: Os autores fornecem conselhos práticos sobre a extração de escores contínuos a partir de saídas discretas de LLM e o tratamento de resultados binários para maximizar a redução de variância.

Resultos
O artigo valida suas afirmações através de experimentos sintéticos e três aplicações empíricas: um megaestudo de pesquisa, um teste A/B de marketing de e-mail e um experimento de plataforma tecnológica de larga escala.

• Experimentos Sintéticos: Simulações confirmam que o ajuste de regressão mantém um efeito de design $\leq 1$ através de vários níveis de qualidade de previsão ($R^2_{\hat{Y}}$) e previsibilidade do resultado ($R^2_m$). Em contraste, estimadores assistidos por modelo não calibrados frequentemente inflam a variância quando a qualidade da previsão é baixa. As simulações também demonstram que o uso de previsões de IA contínuas para resultados binários produz maiores ganhos de eficiência do que o uso de previsões discretizadas.
• Aplicações Empíricas:
  • No megaestudo de pesquisa (envolvendo gêmeos digitais), o ajuste de regressão proporcionou ganhos de eficiência modestos, porém reais.
  • No teste A/B de marketing de e-mail, o ajuste pelas previsões de IA junto com covariáveis tabulares melhorou a precisão.
  • No experimento de plataforma tecnológica, a abordagem foi aplicada a dados sequenciais de usuários.
  • Em todos os cenários, os ganhos foram descritos como "reais, embora modestos", sendo os benefícios mais significativos observados em estudos que contêm dados de texto não estruturado substanciais. A propriedade de "não causar dano" foi confirmada empiricamente; os estimadores ajustados nunca tiveram desempenho inferior ao da diferença de médias não ajustada.

Significância e Alegações
O artigo alega que o ajuste para previsões geradas por IA deve se tornar uma prática empírica regular em experimentos aleatórios. A significância reside na capacidade de aproveitar o poder preditivo da IA generativa — particularmente para dados não estruturados — sem os riscos associados a estimadores híbridos mais complexos. Os autores enfatizam que, embora os ganhos de eficiência possam ser modestos em muitos cenários estruturados, a abordagem é de baixo custo, robusta e particularmente valiosa para estudos ricos em texto ou entradas complexas onde a engenharia de atributos tradicional é difícil. Eles concluem que a combinação de robustez garantida ("não causar dano") e o potencial de melhoria de eficiência torna esta uma estratégia superior em comparação com alternativas não calibradas ou ignorar as previsões de IA completamente.