Is Inference Conditional on Not Rejecting a Pre-test Less Reliable than Unconditional Inference?

O artigo demonstra que a inferência condicional à não rejeição de um teste prévio permanece válida e conservadora quando as condições testadas são verdadeiras, independentemente da dependência assintótica entre o estimador e o teste, e pode até apresentar maior cobertura condicional do que a incondicional caso as condições não se mantenham.

O essencial

Imagine que você é um cozinheiro tentando fazer o prato perfeito (o seu resultado estatístico). Antes de servir o prato aos seus convidados (os leitores da sua pesquisa), você decide fazer um teste de qualidade: você prova o molho para ver se está salgado demais (o "pré-teste").

Se o molho estiver bom, você serve o prato. Se estiver ruim, você joga fora e tenta outra coisa.

A grande pergunta que este artigo responde é: Se você só servir o prato quando o molho estiver bom, o prato que você serviu será, na verdade, mais confiável ou mais arriscado do que se você tivesse servido qualquer prato, independentemente do teste?

Muitos economistas e estatísticos temiam que esse "filtro" (fazer o teste antes de publicar) pudesse distorcer os resultados, tornando-os menos confiáveis. Os autores, Clément de Chaisemartin e Xavier D'Haultfœuille, dizem: "Calma, a situação é melhor do que parece."

Aqui está a explicação simplificada, usando analogias do dia a dia:

1. O Cenário: O Filtro de Segurança

Na pesquisa científica, os cientistas usam modelos matemáticos para estimar coisas (como o efeito de um remédio ou de uma política). Esses modelos dependem de suposições (ex: "o grupo de controle e o grupo tratado evoluíram da mesma forma antes do tratamento").

Para ter certeza de que a suposição está correta, eles fazem um teste estatístico (o "pré-teste").

• Se o teste passa: Eles publicam o resultado.
• Se o teste falha: Eles geralmente não publicam aquele resultado específico.

O medo era que, ao filtrar apenas os casos onde o teste passou, os cientistas estivessem criando uma "bolha" de dados que parecia boa, mas que na verdade escondia erros, tornando as conclusões falsas.

2. A Descoberta Principal: O "Efeito Guarda-Chuva"

Os autores provaram matematicamente que, se a suposição inicial for verdadeira (ou seja, se o prato realmente estiver bom), fazer esse teste não torna o resultado pior. Na verdade, ele pode até torná-lo mais conservador (mais seguro).

A Analogia do Guarda-Chuva:
Imagine que você está andando na chuva (os dados). Você quer saber se vai se molhar (se o resultado é falso).

• Se você não fizer o teste, você pode sair e se molhar sem perceber.
• Se você fizer o teste e só sair se o céu estiver limpo, você garante que, quando sair, estará seco.

O artigo diz que, mesmo que o teste e o resultado principal estejam "conectados" (como se o teste de chuva e o resultado de estar seco fossem influenciados pelo mesmo vento), se o céu estiver realmente limpo (a suposição for verdadeira), a chance de você se molhar (errou a estimativa) continua sendo baixa ou até menor do que antes.

Em termos técnicos: O intervalo de confiança (a margem de erro que você anuncia) continua sendo válido, e muitas vezes é até mais "gordo" (conservador), o que significa que você tem mais certeza de que acertou, mesmo que pareça menos preciso.

3. E se o Prato Estiver Estragado? (O Cenário Realista)

E se a suposição for falsa? E se o molho estiver realmente salgado, mas o teste não percebeu?

Aqui a situação é mais complexa, mas os autores trazem uma boa notícia:

• Mesmo quando a suposição é falsa, o fato de ter feito o teste nem sempre piora a situação em comparação com não ter feito o teste de jeito nenhum.
• Em muitos casos comuns (como em experimentos aleatórios ou estudos com instrumentos), o teste atua como um "filtro duplo". Se o teste não rejeitou, é porque o erro não foi grande o suficiente para ser detectado, e o resultado final ainda é "menos errado" do que se você tivesse ignorado o teste e publicado tudo.

A Analogia do Filtro de Café:
Pense no teste como um filtro de café. Se o grão estiver podre (modelo errado), o filtro pode não pegar tudo. Mas, se você não usar o filtro, você serve café com terra. O artigo mostra que, em muitos casos, o café que passa pelo filtro (mesmo que não seja perfeito) ainda é melhor do que o café sem filtro, especialmente se o grão estiver apenas "um pouco" podre.

4. Quando isso funciona e quando não funciona?

Os autores mostram que isso depende de como o teste e o resultado estão relacionados:

• Em Experimentos Aleatórios (RCTs) e IV: O teste e o resultado geralmente estão "desconectados" de formas perigosas. O filtro funciona muito bem. É como se o teste de qualidade do molho não tivesse nada a ver com o tempero final.
• Em Estudos de Diferença-em-Diferenças (DID): Aqui é mais complicado. O teste (tendências pré-tratamento) e o resultado (efeito do tratamento) estão fortemente ligados. Se houver uma tendência diferente antes do tratamento, o teste pode não pegar, e o resultado pode ficar enviesado.
  • Mas a boa notícia: Mesmo nesses casos "difíceis", os autores mostram, através de simulações com dados reais, que o teste raramente piora muito a situação. A diferença entre "com teste" e "sem teste" é pequena. O teste ainda vale a pena.

5. A Conclusão para o Pesquisador Comum

O artigo quebra o mito de que "fazer testes de especificação é perigoso para a inferência".

• O Mito: "Se eu fizer um teste e só publicar se passar, vou distorcer meus resultados e enganar o mundo."
• A Realidade: "Se eu fizer o teste, e a minha suposição for verdadeira, meus resultados continuam válidos e seguros. Se a suposição for falsa, o teste ainda me ajuda a não ser tão desonesto quanto se eu não tivesse testado nada."

Resumo da Ópera:
Fazer o teste de qualidade antes de publicar não é um "truque sujo" que estraga a ciência. Pelo contrário, é uma prática que, na maioria das vezes, protege o pesquisador de se enganar e protege o leitor de receber resultados enganosos. O "custo" de fazer o teste (talvez ficar um pouco mais conservador) é muito menor do que o benefício de ter certeza de que o modelo faz sentido.

Em uma frase: Fazer o teste de segurança antes de dirigir não torna o carro mais perigoso; pelo contrário, garante que, se você sair dirigindo, as chances de chegar ao destino são as melhores possíveis.

Resumo técnico

Resumo Técnico: Inferência Condicional em Testes Pré-Testes

1. O Problema

Na pesquisa aplicada econométrica, é prática comum realizar testes de especificação (ou "pre-tests") antes de estimar parâmetros de interesse. Exemplos incluem:

• Diferenças-em-Diferenças (DID): Testar a hipótese de tendências paralelas antes de estimar o efeito do tratamento.
• Ensaios Controlados Randomizados (RCTs): Realizar testes de equilíbrio (balancing tests) para verificar se covariáveis são balanceadas entre tratamento e controle.
• Variáveis Instrumentais (IV) e GMM: Testar a validade de instrumentos ou restrições de momento (J-test).

O dilema central é: Se um pesquisador relata um intervalo de confiança (IC) apenas quando o teste prévio não é rejeitado, essa inferência condicional é válida?
A literatura anterior sugere que essa prática pode distorcer a inferência (viés de seleção), tornando os intervalos de confiança menos confiáveis do que o nominal (ex: um IC de 95% pode ter uma cobertura real muito menor). O objetivo deste artigo é investigar rigorosamente se a cobertura condicional (CC) é inferior à cobertura incondicional (UC) e sob quais condições a inferência condicional permanece válida.

2. Metodologia e Estrutura Teórica

Os autores desenvolvem um quadro teórico geral que abrange estimadores assintoticamente normais e testes de especificação.

Configuração do Modelo:

• Seja $\hat{\beta}$ um estimador para um parâmetro alvo $\beta_0$.
• Seja $\hat{\theta}$ um estimador para um parâmetro de teste $\theta_0$ (onde $\theta_0 = 0$ representa a hipótese nula de especificação válida, ex: tendências paralelas).
• O pesquisador calcula o IC para $\beta_0$ apenas se o teste de $\hat{\theta}$ não for rejeitado (ou seja, se $T_n \leq q_n$).

Hipóteses Principais (Assunção 1):

1. Sob a hipótese nula ($\theta_0 = 0, \eta_0 = 0$), o vetor $(\hat{\beta}, \hat{\theta})$ converge para uma distribuição normal conjunta.
2. Os estatísticos de teste ($T_{j,n}$) são baseados em funções convexas e simétricas em torno de zero (ex: testes F, testes Sup-t, estatísticas de Wald).
3. Não há restrições sobre a dependência assintótica entre o estimador de interesse ($\hat{\beta}$) e o estimador do teste ($\hat{\theta}$).

Ferramenta Matemática Chave:
O resultado central do artigo baseia-se na Desigualdade de Correlação Gaussiana (Royen, 2014). Esta desigualdade estabelece que, para um vetor normal centrado $(Y, X)$, a probabilidade de $Y$ estar em um conjunto convexo simétrico, dado que $X$ está em outro conjunto convexo simétrico, é maior ou igual à probabilidade incondicional de $Y$ estar no primeiro conjunto.

3. Principais Contribuições e Resultados

O artigo divide os resultados em dois cenários: sob a hipótese nula (especificação correta) e sob a alternativa (especificação incorreta).

A. Sob a Hipótese Nula (Especificação Válida)

• Validade Conservadora: O Teorema 1 e o Corolário 1 provam que, sob a hipótese nula, a Cobertura Condicional (CC) do intervalo de confiança é sempre maior ou igual à sua taxa de cobertura nominal (NC).
  • Formalmente: $\lim P(\beta_0 \in CI | \text{Teste não rejeitado}) \geq 1 - \alpha$.
• Interpretação: O pré-teste não leva a uma sub-cobertura (o IC não fica "muito estreito" a ponto de perder o parâmetro com frequência maior que o nominal). Pelo contrário, a inferência torna-se conservadora (a cobertura real é maior que a nominal).
• Condição para Exatidão: A cobertura condicional é exatamente igual à nominal se e somente se $\hat{\beta}$ e $\hat{\theta}$ forem assintoticamente independentes (covariância zero). Se houver dependência, a inferência é estritamente conservadora.
• Generalização: Os resultados estendem-se a testes de dimensão infinita (ex: testes de Kolmogorov-Smirnov) e testes unilaterais.

B. Sob a Hipótese Alternativa (Especificação Inválida / Viés Local)
Quando a hipótese nula é falsa ($\theta_0 \neq 0$), o estimador $\hat{\beta}$ é viesado. O artigo compara a CC com a Cobertura Incondicional (UC) neste cenário.

• Vizinhança da Nula (Teorema 3): Se os estimadores não são independentes, existe uma vizinhança ao redor da hipótese nula onde a CC é maior que a UC. Ou seja, o pré-teste pode, paradoxalmente, melhorar a cobertura em cenários de desvios pequenos da especificação.
• Resultado "Global" (Teorema 4): Sob condições específicas, a CC é maior que a UC para qualquer desvio da hipótese nula.
  • Condição Chave: A viés padronizado de $\hat{\beta}$ ($\mu_1$) deve ser igual ao viés padronizado de $\hat{\theta}$ ($\mu_2$) multiplicado pela sua correlação ($\Sigma_{12}$). Ou seja, $\mu_1 = \Sigma_{12}\mu_2$.
  • Aplicação: Isso ocorre frequentemente em RCTs e IV (se o tratamento/instrumento for exógeno após controlar as covariáveis do teste de equilíbrio).
  • Exceção (DID): Em estudos DID com tendências diferenciais e erros AR(1), essa condição geralmente falha ($\mu_1 \neq \Sigma_{12}\mu_2$), o que significa que o benefício global não se aplica automaticamente.

C. Resultados Numéricos e Simulações

• Os autores realizam simulações para verificar a robustez da condição $\mu_1 = \Sigma_{12}\mu_2$.
• Resultado Numérico 1: Mesmo quando a condição exata não é satisfeita (ex: $\mu_1 = \Sigma_{12}\mu_2(1+R)$), a CC permanece maior que a UC para uma ampla gama de parâmetros, especialmente se o viés de variáveis omitidas não for excessivo.
• Calibração em Estudos DID Reais: Ao calibrar o modelo com 12 estudos DID reais (meta-análise de Roth, 2022), os autores encontram que, embora a cobertura absoluta (tanto condicional quanto incondicional) seja baixa devido a violações de tendências paralelas, a diferença entre CC e UC é pequena.
  • Em média, a CC foi de 79,2% e a UC de 81,0% (ambas abaixo de 95%, mas próximas entre si).
  • Isso sugere que, mesmo em cenários adversos como DID, o pré-teste raramente degrada drasticamente a cobertura em comparação com não fazer o teste.

4. Significado e Implicações

• Reavaliação do "Custo" dos Pré-Testes: O artigo desafia a visão cética de que testes de especificação sempre prejudicam a inferência. Sob a hipótese nula, o "custo" é apenas a conservadorismo (ICs mais largos ou coberturas maiores que o nominal), não a invalidez.
• Proteção contra Especificação Incorreta: Sob alternativas locais, o pré-teste pode, em muitos casos, oferecer uma proteção adicional, resultando em uma cobertura condicional superior à incondicional.
• Escolha de Estimadores:
  • Em GMM, o uso de estimadores não-ótimos pode ser preferível se o objetivo for proteger contra má especificação, pois estimadores ótimos podem levar à independência assintótica ($\Sigma_{12}=0$), eliminando o efeito de "proteção" conservadora.
  • Em RCTs e IV, os pré-testes de equilíbrio são menos problemáticos do que em DID, onde a relação entre os vieses e a correlação é mais complexa.
• Limitações: O artigo assume que o pesquisador para após um teste. Se houver uma busca sequencial de especificações (testar até não rejeitar), os resultados não se aplicam diretamente.

Conclusão

O artigo demonstra que a inferência condicional baseada em não rejeitar um pré-teste é assintoticamente válida e conservadora sob a hipótese nula. Sob alternativas locais, a inferência condicional pode ser até mais robusta que a incondicional, dependendo da estrutura de viés e correlação. Portanto, a prática comum de relatar resultados apenas após testes de especificação não rejeitados não deve ser descartada como inválida; pelo contrário, pode ser uma estratégia defensável que oferece proteção contra modelos mal especificados, com custos de inferência limitados.