Resumo Técnico: Reavaliação de Métodos de Estimativa Causal com Dados de um Lançamento de Produto

Declaração do Problema

A confiabilidade dos métodos de inferência causal observacional permanece uma questão aberta crítica em econometria e ciência de dados. Diferentemente de tarefas de previsão, onde os modelos podem ser validados contra resultados realizados, as estimativas de efeito causal tipicamente carecem de uma "verdade fundamental" para comparação. Embora avanços recentes em aprendizado de máquina causal (por exemplo, estimadores duplamente robustos, meta-aprendizes) ofereçam maneiras flexíveis de modelar relações entre confundidores, tratamentos e resultados, não está claro o sucesso com que esses métodos recuperam efeitos causais verdadeiros em cenários do mundo real, de alta dimensão. Esforços anteriores de validação, notadamente iniciados por LaLonde (1986), produziram resultados mistos, frequentemente impedidos por sobreposição limitada de covariáveis entre amostras observacionais e experimentais ou por similaridade insuficiente entre as duas populações.

Este artigo aborda a lacuna avaliando métodos de inferência causal observacional contra um novo conjunto de dados de referência de alta qualidade derivado de um lançamento de produto em uma grande empresa de tecnologia. O estudo visa determinar sob quais condições os métodos observacionais podem recuperar a verdade fundamental experimental, identificar melhores práticas para o desenho de estimação e avaliar os limites desses métodos quando há confundimento não observado.

Metodologia e Dados

Os autores utilizam um conjunto de dados emparelhado único envolvendo a implementação de um novo recurso de produto em dispositivos Windows:

1. Amostra Experimental: Um ensaio controlado randomizado (RCT) no qual um subconjunto de dispositivos foi exogenamente designado para o novo recurso.
2. Amostra Observacional: Uma amostra simultânea de dispositivos onde os usuários optaram endogenamente pelo recurso.
3. Resultados: Duas métricas de desempenho do dispositivo são analisadas: um resultado contínuo e um resultado binário.
4. Covariáveis: Um rico conjunto de características de usuário e dispositivo (por exemplo, especificações técnicas, padrões de uso) está disponível, embora alguns recursos estejam mascarados para lançamento público.

O estudo emprega uma suite abrangente de estimadores, incluindo:

• Modelagem de Resultado: Regressão linear e estimadores de Oaxaca-Blinder.
• Métodos de Pontuação de Propensão: Emparelhamento por Pontuação de Propensão (PSM) e Ponderação Inversa por Pontuação de Propensão (IPW).
• Métodos Duplamente Robustos (DR): Ponderação Inversa de Probabilidade Aumentada (AIPW).
• Estimadores de Efeito Médio de Tratamento Condicional (CATE): Meta-aprendizes (aprendizes S-, T-, X-, R- e DR-) e ensembles de agregação Q.

Detalhes Chave de Implementação:

• Corte (Trimming): Os autores aplicam a regra de corte ótima (Crump et al., 2009) para garantir suporte comum, removendo unidades com pontuações de propensão extremas para mitigar viés de extrapolação.
• Modelagem de Funções de Incômodo (Nuisance): Eles utilizam AutoML (especificamente FLAML e Optuna) para ajustar hiperparâmetros de modelos flexíveis de aprendizado de máquina (por exemplo, Light Gradient Boosted Machines, Random Forests) usados para estimar funções de incômodo (pontuações de propensão e regressões de resultado).
• Ensemble: Para reduzir a incerteza do modelo, os autores fazem ensemble de 50 modelos ajustados para cada função de incômodo, em vez de depender de execuções únicas.
• Ajuste Cruzado (Cross-Fitting): A divisão da amostra é usada para construir intervalos de confiança válidos e evitar overfitting nas etapas de estimação de funções de incômodo.

Resultados Chave

1. Recuperação da Verdade Fundamental (Resultado Contínuo)

Para o resultado de desempenho contínuo, o estudo demonstra que métodos observacionais podem recuperar com sucesso a verdade fundamental experimental, mas apenas quando as melhores práticas rigorosas são seguidas.

• Condições de Sucesso: Ao utilizar corte de amostra, modelos flexíveis de aprendizado de máquina ajustados por AutoML para funções de incômodo e ensemble de modelos, os estimadores duplamente robustos (AIPW) produzem estimativas indistinguíveis da referência experimental.
• Modos de Falha: Desviar-se dessas práticas leva a viés significativo.
  • Sem Corte: As estimativas permanecem viesadas para cima.
  • Ajuste Pobre de Funções de Incômodo: O uso de modelos não ajustados ou de baixo desempenho (por exemplo, hiperparâmetros padrão) resulta em estimativas tão viesadas quanto a diferença simples de médias ingênua. O estudo encontra uma relação quase monotônica entre a qualidade preditiva ($R^2$, AUC) dos modelos de incômodo e a precisão da estimativa causal.
  • Instabilidade do Modelo: Execuções únicas de ajuste cruzado introduzem variação; o ensemble em múltiplas execuções é necessário para estabilizar as estimativas, embora essa variação seja menor que o erro amostral padrão.

2. Falha em Recuperar a Verdade Fundamental (Resultado Binário)

Para o resultado de desempenho binário, nenhum método observacional recupera com sucesso a referência experimental, mesmo com as melhores práticas aplicadas.

• Viés: Todos os métodos superestimam o efeito do tratamento (estimando um declínio de 54% versus o verdadeiro declínio de 43%).
• Causa: Os confundidores observados disponíveis falham em prever o resultado binário (AUC $\approx$ 0,54), sugerindo a presença de confundidores não observados específicos para este resultado.
• Paradoxo da Análise de Sensibilidade: A análise de sensibilidade (Chernozhukov et al., 2022) sugere que a estimativa do resultado binário é "robusta" a confundimento não observado (exigindo um confundidor para explicar ~75% da variação residual para anular o efeito). No entanto, isso é um artefato da grande magnitude do verdadeiro efeito do tratamento. Por outro lado, o resultado contínuo, que de fato corresponde à verdade fundamental, parece altamente sensível a confundimento não observado em testes de sensibilidade porque o tamanho do efeito verdadeiro é pequeno. Isso destaca que a análise de sensibilidade sozinha não pode validar a suposição de não confundimento ou garantir precisão.

3. Efeitos de Tratamento Heterogêneos (CATE)

O estudo avalia a capacidade dos estimadores CATE de detectar e classificar a heterogeneidade do efeito do tratamento.

• Detecção: O teste DR-score identifica corretamente a heterogeneidade para o resultado binário, mas não para o resultado contínuo, em ambas as amostras experimental e observacional.
• Classificação vs. Magnitude: Embora a amostra observacional falhe em recuperar a magnitude do CATE (devido ao viés sistêmico notado acima), ela recupera com sucesso a ordenação dos efeitos do tratamento entre subgrupos. Ensembles de agregação Q na amostra observacional identificam corretamente os mesmos recursos de usuário/dispositivo que impulsionam a heterogeneidade (por exemplo, alta frequência de uso correlaciona-se com declínios maiores no resultado binário) como a referência experimental.

4. Reanálise dos Dados de LaLonde

Aplicar o fluxo de trabalho proposto (corte, ajuste por AutoML, ensemble) aos clássicos conjuntos de dados LaLonde (1986) (LDW-CPS e LDW-PSID) produz resultados consistentes com reanálises recentes (Imbens e Xu, 2025). As melhores práticas modernas melhoram o alinhamento das estimativas observacionais com as referências experimentais, particularmente na amostra LDW-CPS, reforçando a generalizabilidade das descobertas.

Significado e Afirmações

O artigo afirma ser a primeira aplicação no mundo real a quantificar a importância crítica da estimativa precisa de funções de incômodo (os efeitos dos confundidores sobre o tratamento e o resultado) em estudos observacionais, suplementando ilustrações simuladas anteriores.

Contribuições Principais:

1. Validação de Melhores Práticas: O estudo fornece evidência empírica de que a inferência causal observacional pode ser credível, mas é altamente sensível a escolhas de desenho. Especificamente, a escolha da forma funcional (via ML flexível e ajustado) é tão quantitativamente importante quanto a seleção de confundidores.
2. Orientação Prática: Oferece etapas concretas e verificáveis para praticantes:
   • Cortar amostras para garantir sobreposição.
   • Usar divisão de amostra e ajuste cruzado.
   • Ajustar hiperparâmetros usando AutoML para maximizar o desempenho preditivo do modelo de incômodo.
   • Fazer ensemble de múltiplos modelos para reduzir a variância.
3. Limites da Análise de Sensibilidade: O artigo alerta que métricas de análise de sensibilidade (como valores de robustez) podem ser enganosas. Uma estimativa "robusta" pode ainda ser viesada se o efeito verdadeiro for grande, enquanto uma estimativa "sensível" pode ser precisa se o efeito verdadeiro for pequeno e alinhar-se com uma referência experimental.
4. Utilidade do CATE: Embora os estimadores CATE possam falhar em recuperar magnitudes absolutas de efeito na presença de confundimento não observado, eles ainda podem identificar de forma confiável a classificação de subgrupos, o que é valioso para intervenções de políticas direcionadas.

Em última análise, o artigo conclui que, embora um desenho cuidadoso e técnicas estatísticas modernas possam aumentar significativamente a credibilidade da inferência causal observacional, eles não eliminam a dependência fundamental de pressupostos substantivos e da suposição de não confundimento não testável.