On the Impossibility of Specification Testing of Interference Models Based on Exposure Mappings

Resumo Técnico: Sobre a Impossibilidade de Testes de Especificação de Modelos de Interferência Baseados em Mapeamentos de Exposição

Declaração do Problema
Em experimentos aleatórios onde se suspeita de transbordamentos (interferência), os analistas devem postular um modelo de interferência para estimar efeitos causais. A abordagem dominante na prática empírica utiliza mapeamentos de exposição (Aronow & Samii, 2017), que reduzem o vetor de tratamento de alta dimensão a um resumo de baixa dimensão para cada unidade. Um desafio crítico surge porque a natureza verdadeira dos transbordamentos raramente é conhecida, levando os pesquisadores a empregar testes de especificação para determinar se um modelo de interferência escolhido está corretamente especificado.

Embora a literatura existente tenha desenvolvido testes de especificação (frequentemente baseados em testes de randomização estilo Fisher) que controlam o erro do Tipo I (rejeitar um modelo correto), o erro do Tipo II (aceitar um modelo incorreto) desses testes permanece pouco compreendido. A questão central abordada por este artigo é se é possível construir um teste de especificação que possa distinguir de forma confiável entre um modelo de mapeamento de exposição corretamente especificado e um mal especificado, particularmente quando a má especificação está "bem separada" da hipótese nula.

Metodologia e Estrutura
Os autores adotam uma estrutura baseada em desenho para experimentos aleatórios. Eles formalizam o problema utilizando os seguintes componentes:

• Modelos: O modelo nulo ($M_0$) e o modelo alternativo ($M_1$) são conjuntos de funções de resultados potenciais. Ambos são restritos por um limite uniforme de momento ($\|y\|_\infty \le 1$) para garantir resultados bem comportados.
• Modelos de Exposição: O artigo foca em modelos onde o resultado potencial da unidade $i$ depende apenas de um mapeamento de exposição $h_i(z)$. Um modelo está corretamente especificado se o resultado for invariante a mudanças no vetor de tratamento $z$ que não alteram a exposição $h_i(z)$.
• Separação: Para avaliar o poder, os autores definem um funcional de separação $g(y)$ que mede o desvio de uma função de resultado potencial do modelo nulo. Uma alternativa é $\delta$-separada se $g(y) \ge \delta$.
• Métrica de Desempenho: O artigo avalia testes usando o erro de teste global $R(D, \phi, \delta)$, definido como a soma do erro do Tipo I no pior caso e do erro do Tipo II no pior caso para alternativas $\delta$-separadas.
• Critério de Impossibilidade: Um problema de teste é considerado impossível se o erro de teste minimax $R^*(\delta) = 1$. Isso implica que nenhum procedimento de teste performa melhor do que um procedimento ingênuo que descarta todos os dados e rejeita a nula aleatoriamente.

Principais Contribuições e Resultados

1. Teorema de Impossibilidade para Mapeamentos de Exposição:
   O resultado primário do artigo (Teorema 3.1) estabelece um forte resultado de impossibilidade: O teste de especificação de modelos de mapeamento de exposição é impossível.

   • Especificamente, para qualquer modelo de exposição nulo $M_0$ e qualquer modelo de exposição alternativo $M_1$ (onde $M_0 \subseteq M_1$), o erro de teste minimax é exatamente 1 para todos os valores de separação não triviais $\delta$.
   • Este resultado vale para todos os tamanhos de amostra ($n$), para resultados uniformemente limitados e para alternativas que estão maximamente separadas da nula.
   • Esboço da Prova: Os autores constroem distribuições de mistura explícitas $\Pi_0$ (suportadas em $M_0$) e $\Pi_1$ (suportadas na $M_1$ $\delta$-separada) tais que a distância de variação total entre as distribuições de resultados observados é zero ($d_{TV}(Q_0(z), Q_1(z)) = 0$) para qualquer atribuição de tratamento $z$. Como as distribuições de dados observados são indistinguíveis sob qualquer desenho experimental, nenhum teste pode alcançar poder melhor do que um chute aleatório.

2. Corolário sobre Nulas Agudas:
   A impossibilidade se estende a casos comuns específicos, como distinguir entre "nenhum efeito de tratamento" e "nenhuma interferência" (SUTVA). Mesmo que o efeito do tratamento seja maximamente grande (separado pelo limite de momento), as distribuições de dados sob as misturas nula e alternativa são idênticas, tornando os modelos empiricamente indistinguíveis.

3. Teste Consistente para Alternativas Não de Exposição:
   Os autores demonstram que o resultado de impossibilidade é específico para a classe de modelos de mapeamento de exposição. Ao restringir o modelo alternativo a uma estrutura que não é um mapeamento de exposição, o teste informativo torna-se possível.

   • Eles constroem um teste uniformemente consistente para a hipótese nula de nenhuma interferência (SUTVA) contra a alternativa de um modelo linear em médias de rede (onde os resultados são lineares na fração de vizinhos tratados).
   • Este teste utiliza um estimador consistente de um funcional quadrático dos resultados potenciais sob um desenho Bernoulli.
   • O teste é consistente desde que o grau máximo da rede ($d_{max}$) satisfaça $d_{max} = o(n^{1/5})$.

Significado e Alegações
O artigo alega que a incapacidade de validar modelos de mapeamento de exposição usando apenas dados experimentais é uma limitação fundamental, e não uma falta de sofisticação metodológica.

• Implicação Epistemológica: O problema da especificação do modelo não pode ser resolvido apenas através de dados experimentais. Os autores argumentam que os pesquisadores não podem confiar nos dados para descartar todas as potenciais má especificações de modelos de exposição.
• Orientação Prática: Os autores afirmam que os testes de especificação são úteis apenas se os pesquisadores imporem restrições a priori ao modelo alternativo que vão além das restrições estruturais dos mapeamentos de exposição. Se um experimentador não estiver disposto a descartar qualquer desvio da nula a priori, a única conclusão válida é que a nula pode estar mal especificada.
• Mudança de Foco: O artigo sugere que o campo deve afastar-se da tentativa de validar se um modelo de exposição específico está "correto" (uma tarefa mostrada ser impossível) e avançar para a construção de testes que visem tipos específicos e pré-especificados de desvios (como ilustrado pelo exemplo do modelo linear em médias).
• Papel de Dados Externos: Os autores notam que resolver a especificação do modelo pode requerer a incorporação de dados externos ou métodos qualitativos, embora isso introduza novas, e potencialmente não testáveis, suposições.

Em resumo, o artigo fornece uma prova formal de que nenhum teste de especificação pode distinguir uniformemente entre modelos de mapeamento de exposição aninhados, independentemente do tamanho da amostra ou da magnitude da separação. Consequentemente, o teste de especificação informativo requer estreitar o escopo da hipótese alternativa além da classe dos mapeamentos de exposição.