Small Samples and Short Panels: Evaluating Policy Evaluation Methods with Realistic Data

Resumo Técnico: Amostras Pequenas e Painéis Curtos: Avaliando Métodos de Avaliação de Políticas com Dados Realistas

Definição do Problema
Pesquisadores em economia, saúde pública e ciência política utilizam frequentemente desenhos quase-experimentais longitudinais, como Diferença-em-Diferenças (DiD) e o Método de Controle Sintético (SCM), para avaliar intervenções de políticas ao nível geográfico (ex: estados, condados, cidades). No entanto, essas avaliações frequentemente enfrentam severas restrições de dados: número limitado de unidades geográficas e comprimentos de painel curtos (poucos períodos pré e pós-tratamento). Enquanto o DiD depende da suposição de tendências paralelas, que pode ser implausível sem o condicionamento em extensas covariáveis (uma tarefa difícil em amostras pequenas), métodos mais recentes como o Synthetic Difference-in-Differences (SDiD) e o Augmented Synthetic Control Method (ASCM) oferecem alternativas.

O problema central abordado é que as garantias de desempenho teórico para SDiD e ASCM — especificamente em relação ao viés e à cobertura de intervalos de confiança — são derivadas sob suposições assintóticas que exigem um grande número de unidades e períodos de tempo. Essas suposições frequentemente falham em avaliações de políticas de saúde realistas onde os tamanhos de amostra são pequenos (ex: menos de 10 unidades de controle) e os painéis são curtos (ex: menos de 20 períodos pré-tratamento). Há uma falta de evidência sistemática sobre se esses métodos produzem estimativas confiáveis e inferências válidas sob tais severas limitações de dados.

Metodologia
Para avaliar o desempenho do SDiD e do ASCM nesses cenários realistas de amostras pequenas, os autores empregam uma estratégia de simulação calibrada. Em vez de depender de geração de dados puramente teóricos, eles injetam efeitos de tratamento conhecidos (especificamente definindo o efeito verdadeiro como zero para testar propriedades nulas) em conjuntos de dados simulados derivados de distribuições empíricas do mundo real.

• Calibração de Dados: Os parâmetros de simulação são estimados a partir de dois conjuntos de dados do mundo real:
  1. Youth Risk Behavior Surveillance System (YRBSS): Dados de consumo de refrigerante de jovens em nível de cidade ($N=7$ cidades, $T=6$ períodos), representando painéis curtos com poucas unidades.
  2. Current Population Survey (CPS): Dados de log de salários em nível de estado ($N=50$ estados, $T=40$ anos), permitindo a investigação de painéis mais longos.
• Processo Gerador de Dados (DGP): Os dados são gerados sob um modelo de fatores latentes ($Y = \Gamma\Psi' + W \cdot \tau + E$), um cenário onde tanto o SDiD quanto o ASCM possuem propriedades teóricas favoráveis. As cargas fatoriais ($\Gamma$) e os fatores temporais ($\Psi$) são estimados usando efeitos fixos interativos a partir dos conjuntos de dados de calibração.
• Design de Simulação: Os autores variam o número de unidades tratadas ($N_{tr}$), unidades de controle ($N_{co}$), períodos pré-tratamento ($T_{pre}$) e períodos pós-tratamento ($T_{post}$). Os cenários incluem limitações extremas (ex: $N_{co}=6, T_{pre}=5$).
• Métodos Avaliados:
  • SDiD: Implementado via pacote synthdid do R, utilizando estimativa de variância de placebo.
  • ASCM: Implementado via pacote augsynth do R com regressão ridge como o modelo de resultado, utilizando inferência conformal para testes de hipóteses.
  • DiD: Incluído como um benchmark em cenários onde as tendências paralelas se mantêm exatamente, para quantificar perdas de eficiência.
• Métricas: O desempenho é avaliado via viés, erro padrão empírico e taxas de cobertura de intervalo de confiança (calculadas como a proporção de simulações onde a nulidade verdadeira $\tau=0$ não é rejeitada).

Principais Resultados
Os resultados da simulação revelam características de desempenho distintas para SDiD e ASCM dependendo do tamanho da amostra e do comprimento do painel:

1. Viés e Precisão:

   • Ambos os métodos exibem viés moderado (tipicamente $<0,1$ desvios padrões empíricos) na maioria dos cenários.
   • O ASCM geralmente produz menor viés que o SDiD, particularmente quando mais unidades estão disponíveis. No entanto, em cenários com mais períodos de tempo e menos unidades tratadas, o ASCM pode exibir maior viés.
   • O SDiD geralmente alcança erros padrões empíricos mais baixos (maior precisão) do que o ASCM, particularmente em cenários com períodos pré-tratamento longos e poucas unidades tratadas (ex: nos dados do CPS com $N_{tr}=1, N_{co}=10, T_{pre}=30$, a variância do ASCM foi 2,26 vezes maior que a do SDiD).

2. Cobertura de Intervalo de Confiança:

   • ASCM: O procedimento de inferência conformal consistentemente supercobertura (cobertura $>95\%$) quando o número de períodos pré-tratamento é pequeno ($T < 20$), levando a uma perda substancial de poder estatístico. A supercobertura pode persistir mesmo com painéis mais longos (ex: $T=30$) quando o número de unidades tratadas é muito pequeno ($N_{tr}=1$). A cobertura nominal é geralmente alcançada quando há pelo menos 20 períodos pré-tratamento disponíveis, desde que haja unidades tratadas suficientes.
   • SDiD: A cobertura é altamente dependente do número de unidades de controle. Com uma única unidade tratada, a cobertura nominal só é alcançada com pelo menos 25 unidades de controle. Com múltiplas unidades tratadas, a cobertura nominal é alcançável com apenas 10 unidades de controle.
   • DiD: Alcança cobertura nominal independentemente do tamanho da amostra quando a suposição de tendências paralelas se mantém, embora o SDiD e o ASCM sacrifiquem a precisão (a faixa de eficiência relativa varia de 1,09 a 2,25) para ganhar robustez contra violações de tendências paralelas.

3. Desempenho em Amostras Pequenas:

   • Nos cenários mais restritos (ex: $N_{co}=6, T_{pre}=5$), ambos os métodos mostram desvios da cobertura nominal, embora o viés permaneça relativamente baixo.
   • Os autores observam que, embora as suposições teóricas para normalidade assintótica frequentemente falhem nesses pequenos grupos, os métodos ainda performam "razoavelmente bem" em termos de estimativa pontual, embora a inferência (intervalos) exija cautela.

Significância e Orientação Prática
O artigo fornece orientação prática para pesquisadores que avaliam intervenções de políticas em cenários com poucas unidades e painéis curtos, particularmente onde a suposição de tendências paralelas é suspeita:

• Seleção de Método: SDiD e ASCM são recomendados como análises primárias apenas quando o conhecimento do tema sugere que as tendências paralelas são implausíveis (ex: devido a choques pré-intervenção). Caso contrário, devem ser usados como análises de sensibilidade ao DiD.
• Restrições de Inferência:
  • O ASCM deve ser usado com cautela em painéis curtos ($T < 20$) devido aos intervalos de confiança conservadores que reduzem o poder; mesmo com painéis mais longos, a cobertura pode ser ruim se o número de unidades tratadas for muito pequeno.
  • O SDiD requer um número suficiente de unidades de controle (aprox. 25 para uma única unidade tratada, 10 para múltiplas) para alcançar inferência válida.
• Compromissos (Trade-offs): O estudo destaca que a robustez do SDiD e do ASCM contra violações de tendências paralelas vem ao custo da precisão em comparação ao DiD quando as tendências paralelas de fato se mantêm.
• Limitações: Os autores reconhecem que suas simulações são calibradas para apenas dois conjuntos de dados e assumem um modelo de fator latente com adoção simultânea. Eles não pretendem fornecer orientação prescritiva para ajustes específicos de covariáveis ou estimadores de variância alternativos, observando que seus resultados refletem as implementações de software padrão.

Conclusão
O estudo conclui que, embora o SDiD e o ASCM ofereçam ferramentas valiosas para a avaliação de políticas em ambientes de escassez de dados, suas propriedades inferenciais são sensíveis ao tamanho da amostra e ao comprimento do painel. Os pesquisadores devem considerar cuidadosamente o número de unidades de controle e períodos de tempo disponíveis antes de confiar nesses métodos para testes de hipóteses, uma vez que as garantias assintóticas padrão podem não se sustentar nos cenários de amostras pequenas comuns à pesquisa de políticas de saúde.