Design-Based Variance Estimation for Modern Heterogeneity-Robust Difference-in-Differences Estimators

Este artigo demonstra que a aplicação de fórmulas padrão de variância para clusters estratificados a estimadores modernos de diferenças-em-diferenças robustos à heterogeneidade produz erros-padrão consistentes com o desenho e inferência válida para dados de pesquisas complexas, ao passo que ignorar o desenho da pesquisa leva a uma subcobertura severa e potencialmente a conclusões errôneas sobre significância.

O essencial

Imagine que você está tentando medir o quanto uma nova política de saúde ajuda jovens adultos a obterem seguro. Você tem uma pesquisa massiva e complexa sobre pessoas (como a NHANES) que representa todo o país. Mas essa pesquisa não é apenas uma lista simples de pessoas aleatórias; ela foi construída como um quebra-cabeça gigante e multicamadas.

O Problema: O Mito da "Amostra Aleatória"
A maioria das ferramentas estatísticas modernas (especificamente os estimadores de "Diferença-em-Diferenças" ou DiD) age como se estivesse olhando para um saco de bolinhas de gude onde cada bolinha é independente e idêntica. Elas assumem que, se você escolher uma bolinha, isso não diz nada sobre a próxima que você escolher.

Mas as pesquisas do mundo real são mais como uma cesta de frutas.

• A Agrupação (Clustering): Se você puxar uma maçã do topo da cesta, é provável que puxe outra maçã logo ao lado. Pessoas no mesmo "agrupamento" da pesquisa (como vizinhos no mesmo quarteirão) tendem a ser semelhantes. Se uma está doente, a outra também pode estar.
• A Estratificação: Os designers da pesquisa não pegaram frutas aleatoriamente; eles selecionaram cuidadosamente quantidades específicas de maçãs, laranjas e bananas de diferentes seções da loja para garantir que a cesta representasse todo o país.

Quando os pesquisadores usam ferramentas padrão nesses dados de "cesta de frutas", eles fingem que as maçãs são independentes. Isso é como contar as maçãs na sua cesta e assumir que você tem uma grande variedade, quando, na realidade, você pode ter 20 maçãs da mesma árvore. Isso faz com que os pesquisadores se sintam excessivamente confiantes. Eles acham que seus resultados são muito precisos, mas na verdade são muito mais "nebulosos" do que pensam.

A Descoberta do Artigo: A Ponte da "Função de Influência"
O autor, Isaac Gerber, encontrou uma maneira de corrigir isso. Ele analisou as ferramentas mais avançadas e modernas usadas por economistas para medir os efeitos de políticas. Essas ferramentas são ótimas para lidar com situações complexas e do mundo real, onde diferentes grupos reagem de maneira diferente a uma política.

No entanto, essas ferramentas foram construídas para o mundo do "saco de bolinhas de gude", não para o mundo da "cesta de frutas".

A ideia central de Gerber é uma ponte matemática. Ele mostrou que essas ferramentas modernas possuem uma "função de influência" oculta — uma maneira de calcular o quanto cada pessoa individual na pesquisa empurra o resultado final. Ele provou que, se você pegar esses "empurrões" e alimentá-los nas fórmulas padrão de estatística de pesquisas (que sabem lidar com a estrutura da cesta de frutas), a matemática funciona perfeitamente.

A Analogia: A Heurística do "Agrupamento"
O artigo testou isso com uma simulação massiva (66.000 execuções!). Eis o que eles descobriram:

1. O Jeito Antigo (Ignorando a Cesta): Se você ignorar o desenho da pesquisa e usar apenas ferramentas padrão, sua confiança nos resultados é uma mentira. Em alguns casos, você pode achar que tem 95% de certeza sobre sua resposta, mas na verdade tem apenas 34% de certeza. É como dirigir um carro com um velocímetro que diz que você está indo a 100 km/h quando, na verdade, está indo a 200 km/h. Você pode bater (tomar uma decisão de política errada).
2. A Correção "Bastante Boa": O artigo descobriu que, se você fizer duas coisas, obterá resultados quase perfeitos:
   • Pese as pessoas: Garanta que as pessoas que são raras na pesquisa (mas comuns na vida real) contem mais.
   • Agrupe os vizinhos: Diga ao computador: "Ei, essas pessoas moram no mesmo bairro (PSU); trate-as como um grupo."
   • Resultado: Essa correção simples (chamada de "cluster=psu") salva o dia. Impede que os intervalos de confiança colapsem.
3. A Correção "Perfeita": Se você adicionar ainda mais detalhes — como saber exatamente de qual seção da loja a fruta veio (estratos) e quantas frutas restaram na loja (correção de população finita) — você obtém números ligeiramente mais nítidos e precisos. Mas a correção "Bastante Boa" já era segura e válida.

O Teste do Mundo Real: O Exemplo da ACA
O autor testou isso em um estudo real sobre a Lei de Cuidados Acessíveis (ACA) usando dados da NHANES.

• Sem a correção: O estudo disse que a política teve um efeito pequeno e o resultado foi "estatisticamente insignificante" (não podemos ter certeza de que funcionou).
• Com a correção: Assim que levaram em conta o desenho da pesquisa, o efeito estimado cresceu 48%, e de repente, o resultado tornou-se "estatisticamente significativo" (temos certeza de que funcionou).
• A Lição: Ignorar o desenho da pesquisa não apenas tornou os números ligeiramente errados; inverteu toda a conclusão do estudo.

A Solução: Uma Nova Ferramenta
Para ajudar as pessoas a usarem isso, o autor lançou um pacote de software gratuito chamado diff-diff. Pense nele como um novo par de óculos. Antes, os pesquisadores olhavam para dados complexos de pesquisas através de lentes embaçadas (ferramentas padrão). Agora, eles têm uma ferramenta que ajusta automaticamente para a estrutura da "cesta de frutas", garantindo que, quando dizem que uma política funciona, eles estejam realmente certos.

Em Resumo
Este artigo diz: "Pare de fingir que seus dados complexos de pesquisa são uma lista simples e aleatória. Use essas ferramentas modernas e robustas, mas alimente-as com a matemática correta 'consciente da pesquisa'. Se você fizer isso, sua confiança nos seus resultados será real, não uma ilusão."

Resumo técnico

Resumo Técnico: Estimativa de Variância Baseada no Desenho para Estimadores Modernos de Diferenças-em-Diferenças Robustos à Heterogeneidade

Declaração do Problema
Os estimadores modernos de diferenças-em-diferenças (DiD) robustos à heterogeneidade (por exemplo, Callaway e Sant'Anna, 2021; Sun e Abraham, 2021; Borusyak et al., 2024) são amplamente utilizados na avaliação de políticas. No entanto, suas propriedades assintóticas são tipicamente derivadas sob frameworks de independentes e identicamente distribuídos (iid), agrupamento (cluster) ou desenho fixo que abstraem a amostragem complexa de pesquisas. Na prática, pesquisadores frequentemente aplicam esses estimadores a pesquisas representativas nacionais (por exemplo, NHANES, ACS, CPS) que utilizam desenhos de agrupamento em estágios múltiplos estratificados.

A literatura existente e as implementações de software (por exemplo, did em R, csdid em Stata) geralmente suportam pesos de pesquisa para estimação pontual, mas carecem de mecanismos para estimação completa de variância baseada no desenho da pesquisa (levando em conta estratos, agrupamento de Unidades Primárias de Amostragem (PSU) e correções de população finita). Consequentemente, os praticantes frequentemente recorrem a erros-padrão robustos à heterocedasticidade (HC1) ou heurísticas de agrupamento ad hoc. Essa incompatibilidade leva a inferências inválidas: ignorar o desenho da pesquisa resulta em erros-padrão severamente subestimados e taxas de cobertura de intervalos de confiança muito abaixo dos níveis nominais (por exemplo, caindo para 34% ou menos em simulações).

Metodologia
O artigo preenche a lacuna entre a teoria moderna de DiD e a teoria de amostragem de pesquisas aplicando a linearização por série de Taylor às representações de função de influência (IF) dos estimadores modernos de DiD.

1. Ponte Teórica: Os autores verificam que as funções de influência estabelecidas nos artigos originais para vários estimadores modernos de DiD satisfazem as condições de suavidade exigidas por Binder (1983). O teorema de Binder afirma que, para qualquer funcional suave de uma distribuição, a variância pode ser estimada consistentemente aplicando a fórmula de variância de agrupamento estratificado às variáveis linearizadas (funções de influência ponderadas).
2. Estimação de Variância:
   • Estimadores Baseados em Função de Influência (IF): Para estimadores como Callaway-Sant'Anna (DR) e DiD de Imputação, a variância é computada agregando valores de IF ponderados no nível da PSU e aplicando a fórmula de agrupamento estratificado.
   • Estimadores Baseados em Regressão: Para estimadores como Sun-Abraham e TWFE, a variância é computada usando um estimador "sanduíche" de agrupamento estratificado (TSL), onde o "miolo" do sanduíche é construído a partir de totais de escores ponderados no nível da PSU.
   • Pesos de Réplica: O framework também acomoda métodos de pesos de réplica (BRR, Jackknife, SDR) para pesquisas onde os identificadores de estratos/PSU estão mascarados.
3. Desenho de Simulação: Um estudo de Monte Carlo com 66.000 replicações avalia quatro cenários:
   • Tendências paralelas incondicionais com desenho complexo de pesquisa.
   • Amostragem informativa (pesos correlacionados com resultados) com efeitos de tratamento heterogêneos.
   • Seções transversais repetidas.
   • Tendências paralelas condicionais (requerendo ajuste de covariáveis).
     O estudo compara três abordagens de inferência: (i) HC1 (sem pesos, sem agrupamento), (ii) "Apenas Agrupamento" (estimação pontual ponderada + agrupamento PSU, sem estratos/FPC) e (iii) Baseada no Desenho Completo (ponderada + estratos + PSU + FPC).

Resultados Principais

• Falha do HC1: Sob desenhos complexos de pesquisa, os erros-padrão HC1 produzem coberturas dramaticamente baixas. No cenário de base, a cobertura cai para 34,2% em $n=8.000$. Sob amostragem informativa, a cobertura cai abaixo de 11%. Os efeitos de desenho (DEFF) variam de 2 a 17 nos cenários de base e excedem 100 sob amostragem informativa.
• Validade da Heurística "Agrupamento=PSU": Combinar a estimação pontual ponderada pela pesquisa com agrupamento no nível da PSU (ignorando estratos e FPC) recupera coberturas próximas ao nominal (93–97%) em todos os cenários, incluindo amostragem informativa. Isso valida a heurística comum dos praticantes de agrupar no nível da PSU.
• Papel dos Estratos e FPC: Adicionar estratos e correções de população finita (FPC) fornece precisão incremental (estreitando intervalos de confiança), mas não é estritamente necessária para cobertura válida nos desenhos simulados. Os principais impulsionadores da inferência válida são a estimação pontual ponderada pela pesquisa (para corrigir o viés de amostragem informativa) e o agrupamento no nível da PSU (para corrigir a correlação dentro do agrupamento).
• Estimação Duplamente Robusta: Em cenários onde as tendências paralelas valem apenas condicionalmente, a estimação duplamente robusta (DR) ponderada pela pesquisa com ajuste de covariáveis produz inferência bem calibrada (cobertura ~94%), enquanto estimadores não ajustados permanecem viesados com 0% de cobertura.
• Ilustração Empírica (NHANES/ACA): Uma análise da disposição de cobertura dependente do ACA usando dados do NHANES demonstra que ignorar o desenho da pesquisa altera tanto a estimação pontual (um aumento de 48% de 6,5% para 9,6% quando ponderada) quanto a conclusão de significância. A abordagem HC1 não ponderada produz um resultado não significativo ($p > 0,05$), enquanto a abordagem baseada no desenho produz um resultado significativo ($p < 0,05$), impulsionado principalmente pela correção na estimação pontual.

Significado e Contribuições
A principal contribuição do artigo é a identificação e verificação explícitas de que os estimadores modernos de DiD robustos à heterogeneidade se enquadram no escopo da teoria de variância baseada no desenho de Binder (1983). Embora a proposição de que funcionais suaves admitam variância consistente com o desenho seja um corolário direto da teoria de pesquisas existente, o artigo fornece a verificação necessária de que estimadores específicos de DiD (que envolvem estruturas complexas de ponderação, imputação e regressão) satisfazem as condições de suavidade exigidas.

Os autores fornecem a primeira implementação de código aberto (pacote Python diff-diff) que suporta conjuntamente estratos, agrupamento PSU, FPC e métodos de pesos de réplica para 15 estimadores modernos de DiD. O trabalho resolve uma lacuna crítica na econometria aplicada, oferecendo um caminho teoricamente fundamentado e empiricamente validado para que pesquisadores realizem inferência válida em dados de pesquisas complexas sem abandonar os métodos modernos robustos à heterogeneidade.

Limitações e Direções Futuras
Os autores observam que a linearização por série de Taylor (TSL) requer pelo menos duas PSUs por estrato ($n_h \ge 2$); desenhos com estratos únicos exigem tratamento especial. A aproximação pela distribuição $t$ pode ser anti-conservadora com muito poucas PSUs totais. O framework assume que as tendências paralelas valem na população finita; a ponderação corrige o viés de amostragem, mas não valida a própria suposição de identificação. Sugere-se trabalho futuro para estimadores não suaves (por exemplo, Controle Sintético), desenhos de tratamento multinível e a interação de pesos de calibração com estimação de variância.