State policy heterogeneity analyses: considerations and proposals

Resumo Técnico: Análises de Heterogeneidade de Políticas Estaduais: Considerações e Propostas

Problema
Estudos de políticas em nível estadual frequentemente empregam análises de heterogeneidade para quantificar como os efeitos do tratamento variam de acordo com as características estaduais, visando informar decisões políticas específicas ao contexto. No entanto, os autores argumentam que, em cenários caracterizados por contextos variados, múltiplas versões de políticas e implementação diferencial, as quantidades causais implicitamente visadas pelas análises padrão frequentemente não se alinham com os objetivos inferenciais.

Três problemas principais complicam essas análises:

1. Desalinhamento de Estimandos: As análises de heterogeneidade padrão tipicamente estimam Efeitos Médios Condicionais do Tratamento (CATEs) ou suas projeções lineares. Essas quantidades revelam associações entre efeitos causais e características estaduais, mas não respondem necessariamente a perguntas relevantes para políticas, tais como "Qual é o efeito causal da adoção desta política neste estado específico?" ou "Esta política funcionaria melhor se combinada com outra?".
2. Agrupamento de Tratamento (Coarsening): Analistas frequentemente colapsam distintas versões ou implementações de políticas (por exemplo, Programas de Monitoramento de Medicamentos Controlados obrigatórios vs. voluntários) em um único indicador binário de tratamento. Esse "agrupamento" obscurece a ligação entre as análises de heterogeneidade e quantidades causais bem definidas, podendo fabricar uma heterogeneidade aparente mesmo quando os efeitos subjacentes são constantes.
3. Limitações de Dados: Com um máximo de 50 estados, o poder estatístico é frequentemente insuficiente para estimar estimandos complexos e identificados (como CATEs ou Efeitos Diretos Controlados) com precisão. Isso força os analistas em direção a modelos paramétricos provavelmente mal especificados e estimandos alvo menos interpretáveis.

Metodologia
O artigo propõe mudar o foco inferencial da identificação pontual de efeitos médios para a identificação parcial de Efeitos de Tratamento Específicos de cada Estado (ITEs), utilizando uma abordagem de limites (bounding) dentro de um framework de Diferença-em-Diferenças (DiD).

• Estrutura Causal: Os autores distinguem entre o ITE (o efeito para um estado específico), o CATE (efeito médio condicional sobre covariáveis) e o Efeito Direto Controlado (CDE). Eles demonstram que o agrupamento de tratamento complica a definição dessas quantidades, muitas vezes tornando o CATE uma média ponderada de distintos efeitos causais com implicações políticas incertas.
• Abordagem de Limites (Bounding): Em vez de assumir que as tendências paralelas se sustentam exatamente, os autores assumem que o erro entre a estimativa contrafactual e o resultado não observado verdadeiro é limitado.
  • Eles definem um parâmetro de sensibilidade, $\hat{\tau}^m_i$, que representa o desvio máximo da suposição de tendências paralelas.
  • Este parâmetro é informado por dados pré-tratamento (por exemplo, a magnitude dos erros de previsão pré-tratamento ou violações de tendências paralelas).
  • Os limites resultantes para o ITE são calculados como: $\hat{\psi}^{DiD}_{i,m} \pm \hat{\tau}^m_i$.
• Lidando com Agrupamento e Covariáveis: O método estende-se para lidar com o agrupamento de tratamento (onde a versão específica da política adotada é desconhecida para estados não tratados) seja usando parâmetros de sensibilidade conservadores, assumindo o conhecimento da provável versão da política, ou tomando a união de limites através das possíveis versões de política. As covariáveis são incorporadas através do ajuste das estimativas de tendência contrafactual, embora o parâmetro de sensibilidade seja, em última análise, usado para contabilizar a incerteza nesses ajustes.
• Simulação e Aplicação: Os autores validam o método através de simulações comparando os limites de ITE contra intervalos de confiança convencionais de CATE. Eles também aplicam o método a um estudo de caso do mundo real: o efeito da expansão do Medicaid pelo Affordable Care Act (ACA) na prescrição de buprenorfina de alto volume em 2014, examinando a heterogeneidade baseada em leis de PDMP obrigatórias e composição de provedores rurais.

Principais Contribuições

1. Clarificação Conceitual: O artigo organiza sistematicamente as fontes de heterogeneidade de efeito (composição da população, fatores contextuais, clima de política, agrupamento de política e implementação) e esclarece por que os estimandos padrão (CATE, CDE, ITE) diferem, particularmente sob o agrupamento de tratamento.
2. Objetivo Inferencial Alternativo: Propõe a delimitação de limites para efeitos específicos de cada estado como uma alternativa viável quando a identificação pontual de CATE é inviável ou quando o CATE não é relevante para políticas. Esta abordagem produz intervalos para o efeito de cada estado sob suposições explícitas.
3. Implementação Prática: Os autores desenvolvem uma implementação específica dentro de um framework de DiD que utiliza dados pré-tratamento para informar os parâmetros de sensibilidade, permitindo que pesquisadores avaliem a robustez de seus achados frente a desvios das condições ideais de identificação.
4. Ilustração Empírica: A aplicação à expansão do Medicaid demonstra que, enquanto as análises de heterogeneidade convencionais frequentemente carecem de poder ou produzem resultados inconclusivos devido aos pequenos tamanhos de amostra e má especificação de modelos, a abordagem de limites consegue identificar efeitos com sinal conclusivo (por exemplo, efeitos negativos em Illinois, positivos em Novo México).

Resultos

• Simulações: Em um cenário de simulação com $N \in \{15, 25, 50\}$ estados, os limites de ITE propostos alcançaram maior cobertura do verdadeiro ITE e recuperaram de forma mais confiável o sinal correto do efeito em comparação com os intervalos de confiança baseados em CATE convencional. Os intervalos de CATE frequentemente falharam em capturar o efeito específico do estado porque visam uma média projetada em vez do efeito específico da unidade.
• Aplicação: Na análise da expansão do Medicaid e prescrição de buprenorfina, modelos convencionais de efeitos fixos de duas vias não encontraram efeitos médios estatisticamente significativos. Em contraste, a abordagem de limites identificou que o efeito era estritamente negativo em Illinois e estritamente positivo em Novo México através de múltiplas especificações de sensibilidade e testes de robustez. Outros estados apresentaram limites contendo o zero, comunicando a incerteza de forma transparente.

Significância e Alegações
Os autores alegam que, em muitos contextos de políticas estaduais, o CATE é um alvo de inferência ruim porque não consegue revelar as causas verdadeiras da heterogeneidade e oferece interpretações primariamente associacionais. Eles argumentam que os efeitos específicos de cada estado, que são mais relevantes para políticas, raramente são identificados pontualmente sem suposições implausíveis.

Consequentemente, o artigo defende a identificação parcial de efeitos específicos de cada estado como uma alternativa principada e transparente. A significância desta abordagem reside na sua capacidade de:

• Fornecer informações relevantes para políticas (o que aconteceu ou aconteceria em um estado específico), mesmo quando os dados são insuficientes para uma estimativa pontual precisa.
• Quantificar explicitamente a incerteza através de limites que são diretamente interpretáveis como "o quão grande o efeito poderia plausivelmente ser".
• Evitar as armadilhas de modelos paramétricos mal especificados e a natureza enganosa dos estimandos agrupados (coarsened).

Os autores concluem que os pesquisadores não devem abandonar as análises de heterogeneidade, mas sim escolher cuidadosamente seus objetivos inferenciais. Quando a identificação pontual não é viável, a delimitação de limites para efeitos específicos de cada estado oferece um método que alinha a inferência causal mais de perto com as perguntas que os formuladores de políticas buscam responder, mantendo a transparência sobre as suposições necessárias para garantir limites válidos.