Valid Inference when Testing Violations of Parallel Trends for Difference-in-Differences

Resumo Técnico: Inferência Válida ao Testar Violações de Tendências Paralelas para Diferenças-em-Diferenças

Declaração do Problema
O desenho de Diferenças-em-Diferenças (DID) é uma estratégia primária para estimar efeitos causais na presença de confusão não medida, dependendo criticamente da suposição de tendências paralelas. Embora essa suposição seja contrafactual e não testável para o período pós-tratamento, os pesquisadores examinam rotineiramente períodos pré-tratamento para verificar violações de tendências. No entanto, a literatura recente (por exemplo, Freyaldenhoven, Hansen e Shapiro, 2019; Roth, 2022) demonstrou que o uso de testes preliminares convencionais para validar tendências paralelas induz deficiências estatísticas severas na inferência subsequente, incluindo viés, baixa potência e subcobertura de intervalos de confiança. Pesquisadores aplicados enfrentam um dilema: testes preliminares são intuitivamente necessários para avaliar a plausibilidade do desenho da pesquisa, mas os métodos estatísticos padrão falham quando condicionados aos resultados desses testes.

Metodologia
Os autores propõem um quadro que formaliza a lógica implícita dos testes preliminares através de uma nova suposição e deriva procedimentos de inferência correspondentes.

1. A Suposição de Extrapolação Condicional:
   A contribuição teórica central é a "Suposição de Extrapolação Condicional". Diferentemente da suposição clássica de tendências paralelas (que postula zero violações) ou de suposições de identificação parcial (que assumem que violações pré-tratamento limitam incondicionalmente violações pós-tratamento), esta suposição postula uma relação condicional:

   • Se a severidade das violações de tendências paralelas pré-tratamento ($S_{pre}$) estiver abaixo de um limiar aceitável pré-especificado ($M$), então a severidade das violações pós-tratamento ($S_{post}$) é limitada por $S_{pre}$ (isto é, $S_{post} \leq S_{pre}$).
   • Se $S_{pre} > M$, nenhuma limitação sobre $S_{post}$ é justificada, e o desenho DID é considerado inadequado.
     Aqui, a severidade é medida como uma norma $L_p$ de violações iteradas de tendências paralelas ($R(t)$).

2. Teste Preliminar:
   Os autores propõem um teste preliminar simples para determinar se a condição de extrapolagem se mantém ($S_{pre} \leq M$). A estatística de teste é a severidade estimada das violações pré-tratamento ($\hat{S}_{pre}$). O teste rejeita a condição de extrapolagem se $\hat{S}_{pre} \geq M$.

   • Consistência Assintótica: O teste é mostrado como assintoticamente consistente sob uma "condição de separação". Especificamente, se a verdadeira $S_{pre}$ estiver separada do limiar $M$ por uma sequência $s_n$ onde $s_n = \omega(n^{-1/2})$, tanto os erros Tipo I quanto Tipo II desaparecem conforme o tamanho da amostra $n \to \infty$. Isso difere dos testes de hipóteses convencionais, que buscam minimizar o erro Tipo II em um nível fixo de erro Tipo I; em vez disso, este teste prioriza a consistência em regimes bem separados.

3. Intervalos de Confiança Validamente Condicionais:
   Se o teste preliminar passar (isto é, a condição de extrapolagem for declarada verdadeira), os autores constroem intervalos de confiança para o Efeito Médio do Tratamento nos Tratados (ATT).

   • Estrutura: O intervalo é centrado no estimador padrão de DID ($\hat{\tau}_{DD}$), mas inflado para contabilizar o viés potencial. A largura inclui dois componentes:
     1. Um termo de viés: $\kappa \cdot \hat{S}_{pre}$, onde $\kappa$ é uma constante derivada do comprimento do período pós-tratamento e da escolha da norma $p$. Este termo representa o limite superior afiado do viés derivado da Proposição 3.1.
     2. Um termo de flutuação estatística: $f(\alpha, \hat{\Sigma}) / \sqrt{n}$, contabilizando a incerteza conjunta do estimador DID e da estimativa de severidade.
   • Validade: O Teorema 5.1 estabelece que esses intervalos alcançam cobertura nominal ($1-\alpha$) condicional ao evento de o teste preliminar passar, desde que o processo gerador de dados satisfaça a condição de separação.

Resultados Principais

• Consistência: O teste preliminar proposto é assintoticamente consistente para separar hipóteses onde a severidade da violação pré-tratamento está suficientemente distante do limiar $M$.
• Cobertura Condicional: Os intervalos de confiança propostos fornecem cobertura válida condicionada à aprovação do teste. Isso resolve os problemas de subcobertura associados a métodos convencionais que condicionam na aprovação de testes pré-convencionais.
• Comportamento da Largura do Intervalo: A largura dos intervalos de confiança escala como $\max(S_{pre}, n^{-1/2})$.
  • Se as violações pré-tratamento estiverem "presentes, mas negligenciáveis" (ordem $n^{-1/2}$), a largura do intervalo converge na taxa paramétrica padrão ($n^{-1/2}$).
  • Se as violações forem não negligenciáveis (ordem $O(1)$), a largura do intervalo permanece constante, refletindo o limite de viés persistente.
• Probabilidade de Relato Válido: O Teorema 5.2 mostra que a probabilidade conjunta de passar no teste e o intervalo conter o efeito verdadeiro (relato válido) também converge para o nível nominal sob o nulo bem separado.

Ilustrações Empíricas
Os autores validam seus métodos usando:

1. Simulações Sintéticas: Demonstrando que a cobertura condicional de seus intervalos se mantém no nível nominal quando a condição de extrapolagem é verdadeira, ao passo que intervalos convencionais subcobrem. As simulações também mostram como a largura do intervalo escala com o número de períodos pré-tratamento ($T_{pre}$) e o parâmetro de severidade ($p$).
2. Dados de Recentralização do Vietnã: Reanalisando Malesky, Nguyen e Tran (2014). O teste preliminar rejeita corretamente a condição de extrapolagem para resultados com violações graves de tendências pré-tratamento (centros agrícolas), prevenindo inferência inválida, enquanto fornece intervalos mais amplos e válidos para resultados com violações menores.
3. Leis de Direito de Portar Armas (Virgínia/Maryland): Uma ilustração semi-sintética comparando violações iteradas versus gerais. Os resultados destacam que a escolha da métrica de violação (iterada $R(t)$ versus geral $\Delta(t)$) e o limiar $M$ impactam significativamente se a condição de extrapolagem é aceita e a largura resultante do intervalo.

Significado e Alegações
O artigo alega fornecer a primeira suposição formal (Extrapolação Condicional) que necessita de testes preliminares, oferecendo assim uma justificação teórica para uma prática empírica comum que anteriormente havia sido mostrada como quebrando a inferência padrão.

• Formalização: Formaliza a suposição implícita que os pesquisadores fazem quando decidem prosseguir com a análise DID apenas após observar tendências pré-tratamento "aceitáveis".
• Remédio: Oferece uma solução prática para o "paradoxo do pré-teste" fornecendo procedimentos de inferência que permanecem válidos após condicionar no resultado do teste, desde que a condição de separação seja satisfeita.
• Modéstia: Os autores reconhecem que a Suposição de Extrapolagem Condicional é contrafactual e não testável, semelhante à própria suposição de tendências paralelas. Eles não alegam verificar a suposição, mas sim fornecer um quadro onde, se a suposição valer e as violações pré-tratamento forem suficientemente pequenas (separadas do limiar), a inferência válida é possível. Eles notam que seus resultados dependem da condição de separação, significando que a inferência não é garantida para casos onde as violações estão arbitrariamente próximas do limiar $M$.

O artigo conclui sugerindo que trabalhos futuros poderiam estender esses procedimentos para desenhos de adoção escalonada e estratégias alternativas de identificação, mas enfatiza que a contribuição atual é uma formalização da lógica subjacente aos testes preliminares em desenhos DID de adoção em blocos.