Is Inference Conditional on Not Rejecting a Pre-test Less Reliable than Unconditional Inference?

Il documento dimostra che l'inferenza condizionata al mancato rigetto di un pre-test rimane valida e conservativa se le condizioni verificate sono soddisfatte, indipendentemente dalla dipendenza asintotica tra stimatore e test, mentre in caso di violazione di tali condizioni può offrire una copertura maggiore rispetto all'inferenza incondizionata.

L'essenziale

Immagina di essere un cuoco che sta preparando una torta per una festa importante. La ricetta richiede che gli ingredienti siano perfettamente bilanciati (il "parallel trend" o l'assunzione di validità). Se gli ingredienti sono sbagliati, la torta verrà male.

Prima di servire la torta, il cuoco fa un assaggio di controllo (il "pre-test"). Se l'assaggio sembra buono, serve la torta. Se l'assaggio sembra storto, butta via la ricetta e ne prova un'altra.

La domanda che si pongono gli autori di questo studio (De Chaisemartin e D'Haultfœuille) è: Se il cuoco decide di servire la torta solo dopo aver fatto l'assaggio di controllo, la torta sarà più o meno affidabile di quanto pensiamo?

Molti statistici temevano che questo "assaggio" potesse ingannare il cuoco, rendendo la torta (la stima statistica) meno sicura di quanto sembri. Questo articolo ci dice che, in realtà, non è così spaventoso come pensavamo.

Ecco i punti chiave spiegati con delle metafore:

1. La Regola d'Oro: "Se tutto è a posto, sei al sicuro"

Immagina che la torta sia perfetta (l'assunzione di base è vera).

• Senza assaggio: Se serviamo la torta senza assaggiare, c'è una probabilità del 95% che sia buona (questo è il livello di confidenza standard).
• Con assaggio: Se aspettiamo che l'assaggio confermi che gli ingredienti sono giusti, cosa succede?
  • Gli autori scoprono che, se la ricetta era già corretta, la torta è ancora più sicura di quanto pensiamo!
  • In termini statistici, l'intervallo di confidenza (la "garanzia" che la torta sia buona) diventa conservativo. Significa che se diciamo "siamo sicuri al 95%", in realtà siamo sicuri al 96% o al 97%.
  • L'analogia: È come se, dopo aver controllato che il forno sia acceso, la torta venisse ancora più buona del previsto. Non c'è rischio di "sotto-copertura" (cioè di servire una torta cattiva credendola buona).

2. Quando le cose si complicano: "Il mondo non è perfetto"

Cosa succede se la ricetta era sbagliata fin dall'inizio (l'assunzione è falsa)?

• Anche senza fare l'assaggio, la torta verrebbe male.
• La domanda è: fare l'assaggio peggiora le cose?
• Gli autori dicono: Dipende da come sono collegati l'assaggio e la torta.
  • Se l'assaggio e la torta sono "amici" (correlati in un certo modo), fare l'assaggio può addirittura proteggerti. Anche se la ricetta è sbagliata, il fatto di aver fatto l'assaggio ti dà una garanzia maggiore rispetto a non averlo fatto.
  • In alcuni casi specifici (come negli studi "Difference-in-Differences" usati in economia), questo scudo protettivo potrebbe non funzionare perfettamente, ma anche lì, il danno è spesso minimo.

3. La scoperta sorprendente: "Non serve essere perfetti"

Molti pensavano che per avere risultati affidabili dopo un test, l'assaggio e la torta dovessero essere completamente indipendenti (come due persone che non si parlano).

• Gli autori dimostrano che non è necessario. Anche se l'assaggio e la torta sono strettamente collegati, finché le condizioni di base sono rispettate, la tua stima rimane valida (anzi, è più prudente).
• È come dire: non importa se il tuo assaggio è influenzato dal modo in cui mescoli l'impasto; finché l'impasto è buono, il risultato finale è sicuro.

4. Il caso reale: "Le torte degli economisti"

Gli autori hanno preso 12 studi economici reali (dove si usano questi test per vedere se le politiche funzionano) e hanno simulato cosa sarebbe successo.

• Risultato: Anche quando le condizioni non erano perfette, fare il test di controllo ha ridotto la sicurezza della stima solo di pochissimo.
• In pratica, il "costo" di fare il test (rischio di essere un po' più prudenti del necessario) è molto basso rispetto al vantaggio di evitare di servire una torta chiaramente rovinata.

In sintesi: Cosa dobbiamo pensare?

Per anni, gli economisti e i ricercatori hanno avuto paura di fare i "test di controllo" prima di pubblicare i risultati, temendo di rovinare la statistica.

Questo articolo ci dice: Rilassatevi.
Fare un controllo preliminare (come verificare che le tendenze pre-esistenti siano simili prima di misurare un effetto) è una buona idea.

• Se il modello è corretto, il test ti rende ancora più sicuro (anche se un po' troppo prudente).
• Se il modello è sbagliato, il test spesso non peggiora la situazione, e in molti casi comuni ti protegge anche di più rispetto a non fare nulla.

La morale della favola: Non smettere di assaggiare la torta prima di servirla. Anche se il controllo ti fa essere un po' più cauto del necessario, è meglio essere prudenti che servire una torta bruciata credendola perfetta.

Sommario tecnico

1. Il Problema

Nella ricerca applicata (econometria, scienze sociali), è prassi comune condurre test di pre-specificazione (pre-tests) per valutare la validità delle ipotesi di identificazione prima di stimare un parametro di interesse.

• Esempi classici:
  • DID (Difference-in-Differences): Testare l'assunzione di "parallel trends" (tendenze pre-trattamento parallele) prima di stimare l'effetto del trattamento.
  • RCT (Randomized Controlled Trials): Eseguire test di bilanciamento delle covariate prima di riportare la stima della media del trattamento.
  • IV (Instrumental Variables) e GMM: Utilizzare test di validità degli strumenti o test di sovridentificazione (J-test).
• La preoccupazione: Se un ricercatore esegue un test e riporta l'intervallo di confidenza (CI) o il test statistico solo se il pre-test non viene rifiutato, l'inferenza risultante è valida? La letteratura precedente suggerisce che tale selezione potrebbe distorcere la copertura degli intervalli di confidenza (conditional coverage), rendendoli potenzialmente inaffidabili rispetto alla copertura incondizionata.

2. Metodologia e Impostazione Teorica

Gli autori analizzano il problema in un quadro asintotico generale.

• Setup:
  • $\hat{\beta}$: Stima asintoticamente normale del parametro target $\beta_0$.
  • $\hat{\theta}$: Stima asintoticamente normale di un vettore di parametri $\theta_0$ che rappresentano le condizioni di validità del modello (es. pre-trend, bilanciamento).
  • Ipotesi Nulla ($H_0$): $(\theta_0, \eta_0) = 0$, dove $\theta_0$ è testabile e $\eta_0$ rappresenta la parte non testabile dell'ipotesi di validità.
  • Procedura: Si esegue un test su $\theta_0 = 0$ (statistica $T_n$). Se $T_n \leq q_n$ (non rifiuto), si costruisce l'intervallo di confidenza standard per $\beta_0$.
• Strumenti Matematici:
  • Il cuore della dimostrazione risiede nell'Disuguaglianza di Correlazione Gaussiana (Gaussian Correlation Inequality - GCI, Royen, 2014).
  • Gli autori sfruttano le proprietà di convessità e simmetria delle regioni di non-rifiuto dei test standard (test F, test sup, test basati su norme).
  • Analizzano sia il caso sotto l'ipotesi nulla (specificazione corretta) sia sotto alternative locali (dove le ipotesi sono leggermente violate).

3. Contributi Chiave e Risultati Principali

A. Validità Condizionata sotto l'Ipotesi Nulla (Specificazione Corretta)

Il risultato principale è che, se l'ipotesi di specificazione corretta è vera:

1. Inferenza Conservativa: La copertura condizionata (CC) dell'intervallo di confidenza standard, dato che il pre-test non è stato rifiutato, è sempre maggiore o uguale alla copertura nominale (NC) e alla copertura incondizionata (UC).
   $$\lim_{n\to\infty} P(\beta_0 \in CI | \text{non rifiuto}) \geq 1 - \alpha$$
2. Meccanismo: Questo risultato deriva direttamente dalla GCI. Poiché la regione di non-rifiuto del pre-test è un insieme convesso e simmetrico rispetto all'origine, e la distribuzione congiunta è normale, la probabilità che l'errore di stima cada nell'intervallo di confidenza aumenta quando si condiziona sul fatto che l'errore del pre-test sia "piccolo".
3. Condizione di Uguaglianza: L'inferenza è esattamente corretta (CC = NC) se e solo se lo stimatore $\hat{\beta}$ e il test $\hat{\theta}$ sono asintoticamente indipendenti. Se sono correlati, l'inferenza è conservativa (gli intervalli sono più ampi del necessario in termini di probabilità di copertura).

B. Risultati sotto Alternative Locali (Violazioni dell'Ipotesi)

Quando l'ipotesi nulla è falsa (es. le pre-tendenze non sono parallele), la stima $\hat{\beta}$ è distorta. Gli autori confrontano la copertura condizionata (CC) con la copertura incondizionata (UC) in questo scenario:

1. Nei dintorni della Nulla: Se $\hat{\beta}$ e $\hat{\theta}$ non sono indipendenti, esiste un intorno della null hypothesis dove la CC rimane superiore alla UC.
2. Risultato "Globale": Gli autori identificano una condizione specifica sotto la quale la CC è sempre maggiore della UC, indipendentemente dall'entità della violazione:
   $$\mu_1 = \Sigma_{12} \mu_2$$
   Dove $\mu_1$ è il bias standardizzato di $\hat{\beta}$, $\mu_2$ è il bias standardizzato di $\hat{\theta}$, e $\Sigma_{12}$ è la loro correlazione.
   • Implicazione: Se il bias dello stimatore target è proporzionale al bias del test attraverso la loro correlazione, il pre-test "protegge" l'inferenza, rendendo la copertura condizionata migliore di quella incondizionata.
   • Esempi: Questa condizione è spesso soddisfatta in studi RCT, IV e RDD (se si controlla per le covariate bilanciate), ma spesso fallisce negli studi DID con trend differenziali lineari e errori AR(1).

C. Risultati Numerici e Simulazioni

• Robustezza: Anche quando la condizione $\mu_1 = \Sigma_{12} \mu_2$ non è soddisfatta esattamente, simulazioni mostrano che la CC tende a rimanere superiore alla UC per un'ampia gamma di parametri, specialmente se il bias non testato non è troppo grande rispetto a quello testato.
• Applicazione ai Dati Reali (DID): Gli autori calibrano i loro modelli su 12 studi DID reali (meta-analisi di Roth, 2022).
  • Risultato: In media, la copertura incondizionata (UC) scende al 81% e quella condizionata (CC) al 79% (sotto l'ipotesi di trend differenziali).
  • Conclusione cruciale: Sebbene entrambi i tassi siano inferiori al 95% nominale (a causa della distorsione intrinseca del modello), la CC è molto vicina alla UC. Il pre-test non peggiora drasticamente la situazione; anzi, in molti casi, la CC è leggermente superiore alla UC.

4. Significato e Implicazioni per la Ricerca

1. Rassicurazione sull'Inferenza "Naive": Il paper sfida la visione comune secondo cui l'uso di pre-test invalida automaticamente l'inferenza. Sotto l'ipotesi nulla, l'inferenza standard (che ignora la selezione) è valida e conservativa.
2. Protezione contro la Misspecificazione: In molti contesti (specialmente RCT e IV), il pre-test può agire come un filtro che migliora la qualità dell'inferenza rispetto a un approccio incondizionato, specialmente quando le violazioni dell'ipotesi sono piccole (alternative locali).
3. Scelta degli Stimatori: Il paper suggerisce che, in alcuni casi (es. GMM), potrebbe essere preferibile utilizzare uno stimatore non ottimale (che introduce una correlazione tra stima e test) piuttosto che uno ottimale (che rende gli stimatori indipendenti), proprio perché la correlazione genera un'inferenza conservativa che protegge contro piccole violazioni delle ipotesi.
4. Limiti:
   • Il risultato non si applica a modelli con disuguaglianze di momenti (moment inequalities) in generale, sebbene valga per una singola disuguaglianza.
   • Non si applica a procedure di pre-test sequenziali (es. testare un'ipotesi, rifiutarla, aggiustare il modello e testarne un'altra fino a trovare un risultato non significativo).
   • Nel caso DID con trend differenziali specifici, la protezione globale potrebbe non valere, rendendo il pre-test meno vantaggioso rispetto ad altri disegni.

Conclusione

Il paper fornisce un quadro teorico rigoroso che dimostra che l'uso di pre-test non porta necessariamente a inferenze inaffidabili. Al contrario, sotto l'ipotesi nulla, l'inferenza condizionata è conservativa, e sotto alternative locali in molte configurazioni comuni, il pre-test può addirittura migliorare la copertura rispetto all'inferenza incondizionata. Questo offre una giustificazione teorica più ottimistica per la pratica comune di riportare risultati solo dopo aver superato i test di validazione.