Bias-Variance Tradeoff of Matching Prior to Difference-in-Differences When Parallel Trends is Violated

Resumo Técnico: Compromisso Viés-Variância ao Alinhar o Prior com Diferenças-em-Diferenças

Declaração do Problema
Na gestão de operações empírica e em campos relacionados, o estimador de Diferenças-em-Diferenças (DiD) é uma ferramenta padrão para inferência causal, dependendo da suposição de "tendências paralelas" (PT). Para fortalecer a plausibilidade dessa suposição, pesquisadores frequentemente empregam uma estratégia de "DiD com Emparelhamento" (M-DiD), emparelhando unidades tratadas e de controle em covariáveis observadas antes da estimação. Embora a literatura existente (por exemplo, Chabé-Ferret, 2015; Ham e Miratrix, 2024) tenha analisado extensivamente as propriedades de viés desses estimadores, ela negligenciou em grande parte as implicações de variância e Erro Quadrático Médio (EQM). Isso cria uma lacuna na compreensão do desempenho geral dos estimadores M-DiD, particularmente no que diz respeito ao compromisso entre reduzir o viés por meio do emparelhamento e potencialmente aumentar a variância devido à redução do tamanho da amostra. Além disso, estudos anteriores frequentemente dependem de expectativas limitantes ao nível da população em vez de propriedades de amostra finita, e alguns dependem de fortes suposições de normalidade.

Metodologia
Os autores desenvolvem um quadro teórico baseado em um modelo de equação estrutural linear com confundidores não observados que variam no tempo. O modelo permite:

1. Efeitos que variam no tempo: Os coeficientes de covariáveis observadas ($X$) e variáveis latentes ($\theta$) podem mudar ao longo do tempo, levando a potenciais violações das tendências paralelas.
2. Análise de amostra finita: Diferentemente de trabalhos anteriores focados apenas em limites assintóticos, os autores definem análogos de amostra finita para três estimadores:
   • DiD clássico sem emparelhamento ($\hat{\tau}_{DiD}$).
   • DiD após emparelhamento em covariáveis observadas ($\hat{\tau}^X_{DiD}$).
   • DiD após emparelhamento em covariáveis observadas e resultados pré-tratamento ($\hat{\tau}^{X,Y_0}_{DiD}$).
3. Suposições Relaxadas: O quadro substitui as suposições de normalidade da literatura anterior (por exemplo, Ham e Miratrix, 2024) por condições de continuidade de Lipschitz em momentos condicionais, acomodando covariáveis discretas e estruturas distribucionais mais amplas.
4. Generalização: A análise é estendida de um cenário univariado de dois períodos para um cenário multivariado geral com múltiplos períodos pré-tratamento ($T > 1$), utilizando uma equivalência de regressão com efeitos fixos bidirecionais.

Principais Contribuições

1. Caracterização de Amostra Finita: O artigo introduz e prova a consistência dos estimadores DiD e DiD com emparelhamento de amostra finita, preenchendo a lacuna entre valores limitantes teóricos e aplicação prática.
2. Análise de Variância e EQM: Os autores fornecem caracterizações matemáticas exatas da variância e do EQM para esses estimadores. Eles demonstram que os compromissos observados no viés não se aplicam necessariamente à variância.
3. Descobertas Novas sobre Compromissos:
   • Emparelhamento em Covariáveis ($X$): Ao contrário dos resultados de viés que sugerem que o emparelhamento em $X$ é sempre benéfico, os autores mostram que o emparelhamento em $X$ envolve um compromisso de tamanho de amostra. Quando as tendências paralelas são violadas, o emparelhamento em $X$ reduz a variância ao eliminar a variação de $X$, mas esse benefício é compensado pela redução no tamanho efetivo da amostra (aumentando a variação amostral). Assim, o emparelhamento em $X$ não é sempre recomendado ao considerar a variância.
   • Emparelhamento em Resultados Pré-Tratamento ($Y_0$): Em contraste, emparelhar adicionalmente em resultados pré-tratamento sempre reduz a variância em relação ao emparelhamento apenas em $X$. Isso ocorre porque o tamanho efetivo da amostra permanece o mesmo (já que o emparelhamento já foi realizado), e o emparelhamento em $Y_0$ reduz o termo de erro irredutível e melhora a confiabilidade do emparelhamento da variável latente.
4. Diretrizes Práticas: O artigo oferece estratégias de estimação passo a passo e diretrizes para pesquisadores aplicados decidirem se devem emparelhar e em quais variáveis, com base em seus tamanhos de amostra específicos e se priorizam viés, variância ou EQM.

Principais Resultados

• Divergência Viés-Variância: O artigo estabelece um claro compromisso viés-variância. Embora o emparelhamento em $X$ geralmente reduza o viés, ele pode aumentar a variância se o custo da redução do tamanho da amostra superar o benefício de remover o desequilíbrio de covariáveis.
• O Termo "Confiabilidade": A variância do estimador que emparelha em resultados pré-tratamento depende de um termo de "confiabilidade" ($r_{\theta|x}$), que mede o quão bem os resultados pré-tratamento preveem o confundidor latente $\theta$ após controlar por $X$. À medida que o número de períodos pré-tratamento aumenta, essa confiabilidade aproxima-se de 1, levando a variância do estimador emparelhado ao limite de erro irredutível.
• Implicações de EQM: Como viés e variância se movem em direções diferentes dependendo da estratégia de emparelhamento, o estimador ótimo para minimizar o EQM é dependente do contexto. Os autores fornecem estimadores para reduções relativas em viés, variância e EQM (sob condições de sinal específicas) para orientar a tomada de decisão.
• Aplicação Empírica: Reanalisando Wang et al. (2022) sobre incentivos monetários na plataforma Zhihu, os autores descobrem que a decisão original de emparelhar em covariáveis e resultados pré-tratamento foi estatisticamente justificada. A análise mostrou redução significativa de viés com custo de variância negligenciável, apoiando o uso da estratégia completa M-DiD nesse contexto específico.

Significado e Alegações
O artigo afirma preencher uma lacuna crítica na literatura ao ir além da análise apenas de viés para um quadro abrangente de viés-variância-EQM. Seu significado reside em:

• Corrigir Intuição: Desafia a intuição de que o emparelhamento é sempre superior, mostrando que, sob considerações de variância, o DiD clássico sem emparelhamento pode às vezes ser preferível devido à eficiência do tamanho da amostra.
• Relevância Gerencial: Ao fornecer métricas (EQM) e diretrizes relevantes para minimizar as larguras de intervalos de confiança e riscos de tomada de decisão, o trabalho oferece ferramentas práticas para pesquisadores de gestão de operações.
• Rigor Teórico: Generaliza resultados anteriores ao relaxar suposições de normalidade e fornecer provas de consistência de amostra finita, tornando as descobertas mais robustas para configurações aplicadas com dados discretos.

Os autores permanecem modestos, reconhecendo limitações como a dependência de um modelo estrutural linear e a suposição de covariáveis invariantes no tempo (embora argumentem que isso pode ser reparametrizado para aproximar contextos que variam no tempo). Eles não afirmam eliminar o viés inteiramente, mas sim fornecer um quadro para selecionar o estimador que minimiza o erro geral (EQM) dadas as restrições específicas dos dados.