A Bayes-Factor-Guided Approach to Post-Double Selection with Bootstrapped Multiple Imputation

1. Il Problema di Ricerca

Il lavoro affronta la sfida di stimare l'effetto di una variabile di interesse in presenza di un gran numero di potenziali variabili di controllo (setting ad alta dimensionalità), quando i dati presentano valori mancanti e incertezza campionaria.

• Contesto: L'uso di metodi di selezione delle variabili (come LASSO) combinati con procedure di Multiple Imputation (MI) per gestire i dati mancanti e Bootstrap per l'incertezza campionaria introduce una variabilità stocastica significativa.
• La Criticità: Quando la selezione delle variabili viene applicata ripetutamente su dataset perturbati (bootstrap + imputazione), l'insieme delle variabili selezionate varia tra le iterazioni.
  • Le regole di aggregazione standard, come l'Unione di tutte le variabili selezionate, tendono a produrre modelli eccessivamente densi (inclusione di molte variabili irrilevanti).
  • Le regole basate sulla frequenza (es. includere solo se selezionata nel 50% o 75% dei casi) possono essere troppo conservative, scartando variabili con segnali deboli ma persistenti.
• Obiettivo: Sviluppare un metodo di aggregazione che sia sequenziale, basato sull'evidenza, e che permetta di fermare il processo di simulazione non appena è stata accumulata sufficiente evidenza, senza fissare a priori il numero di iterazioni.

2. Metodologia Proposta

Gli autori propongono un procedimento sequenziale di aggregazione dell'evidenza basato su un'interpretazione approssimata del Fattore di Bayes, integrato nel framework di Post-Double Selection (PDS).

A. Framework di Selezione (Within-Iteration)

Per ogni iterazione di perturbazione (bootstrap + imputazione stocastica):

1. Viene applicato il metodo PDS (Belloni et al., 2014):
   • Selezione delle variabili predittive dell'outcome ($Y$) tramite LASSO.
   • Selezione delle variabili predittive della variabile di interesse ($D$) tramite LASSO.
   • Unione dei due insiemi per formare un set candidato $S_t$.
2. Regola di Rilevamento Asimmetrica: Viene definita un'indicatore binario $Z_{jt}$ per ogni variabile $j$:
   • Se la variabile è selezionata nell'equazione ausiliaria per $D$, viene mantenuta incondizionatamente ($Z_{jt}=1$).
   • Se è selezionata solo nell'equazione dell'outcome, deve superare un test di significatività statistica nella regressione finale per essere considerata rilevante ($Z_{jt}=1$).
   • Questo filtro aggiuntivo riduce l'instabilità e l'overfitting rispetto alla semplice unione PDS.

B. Modello di Evidenza Sequenziale (Across-Iterations)

Invece di aggregare con regole fisse, il metodo tratta la sequenza di indicatori di rilevamento $\{Z_{jt}\}_{t=1}^T$ come esiti di un processo stocastico.

• Modello di Lavoro: Si assume un modello Bernoulli dove la probabilità di rilevamento è $\pi_1$ se la variabile è rilevante ($H_1$) e $\pi_0$ se è irrilevante ($H_0$), con $\pi_1 > \pi_0$.
• Accumulazione di Evidenza: Si costruisce un rapporto di verosimiglianza cumulativo (Likelihood Ratio) che funge da Fattore di Bayes approssimato:
  $$\log E_{jt} = \sum_{s=1}^{t} \left[ Z_{js} \log\left(\frac{\pi_1}{\pi_0}\right) + (1-Z_{js}) \log\left(\frac{1-\pi_1}{1-\pi_0}\right) \right]$$
  Ogni iterazione aggiunge un incremento positivo (rilevamento) o negativo (non rilevamento) al log-evidenza.

C. Calibrazione e Regola di Arresto

• Calibrazione Pilot: Una fase iniziale breve (pilot) stima le probabilità di lavoro $\hat{\pi}_0$ e $\hat{\pi}_1$ basandosi sulle frequenze di rilevamento osservate, regolarizzando $\hat{\pi}_0$ per evitare accumuli di evidenza troppo aggressivi.
• Regola di Arresto: Il processo si ferma quando, per ogni variabile, il log-evidenza cumulativo supera una soglia superiore ($c$) per classificarla come rilevante, o scende sotto una soglia inferiore ($-c$) per classificarla come irrilevante.
• Vantaggio: Non è necessario fissare il numero totale di iterazioni ($T$) a priori; il processo si arresta automaticamente quando l'evidenza è sufficiente.

3. Contributi Chiave

1. Formulazione Sequenziale: Trasformazione del problema di aggregazione delle selezioni in un problema di decisione sequenziale, modellando gli esiti come processi stocastici dipendenti dall'ipotesi.
2. Interpretazione Bayesiana Approssimata: Sviluppo di una misura di evidenza basata sul rapporto di verosimiglianza che ammette un'interpretazione di Fattore di Bayes, fornendo criteri di inclusione e una regola di arresto naturale.
3. Calibrazione Empirica: Introduzione di una strategia di calibrazione basata su una fase pilot per stimare i parametri del modello di rilevamento, rendendo il metodo adattivo ai dati specifici.
4. Efficienza Computazionale: Eliminazione della necessità di eseguire un numero fisso e potenzialmente eccessivo di iterazioni di bootstrap/imputazione.

4. Risultati dello Studio Simulativo

Lo studio Monte Carlo (126 scenari) confronta il metodo proposto con la Regola dell'Unione e soglie di frequenza (50% e 75%).

• Accuratezza nella Selezione: Il metodo proposto ottiene la migliore sensibilità (TPR) tra i metodi selettivi, superando la soglia del 50% e avvicinandosi all'unione, ma con un tasso di falsi positivi (FPR) molto più basso rispetto all'unione.
• Stima dell'Effetto: I risultati mostrano che il metodo produce stime del coefficiente di trattamento con bias e RMSE comparabili alle soglie conservative, ma con una copertura degli intervalli di confidenza superiore rispetto alle soglie più stringenti (75%), che tendono a omettere controlli rilevanti.
• Efficienza Computazionale: La regola di arresto sequenziale riduce il numero medio di iterazioni necessarie di circa il 75% rispetto a un budget fisso (es. 200 iterazioni), mantenendo prestazioni statistiche superiori.
• Robustezza: Il metodo dimostra particolare efficacia in scenari difficili (campioni piccoli, dati mancanti non casuali - MNAR, segnali deboli).

5. Illustrazione Empirica

L'applicazione ai dati dell'European Social Survey (ESS) Round 10 conferma i risultati simulati:

• Il metodo seleziona un set di variabili (34 variabili) che rappresenta un compromesso tra l'eccessiva inclusività della Regola dell'Unione (55 variabili) e la parsimonia delle soglie di frequenza (31-41 variabili).
• Le stime dell'effetto del trattamento risultano robuste e simili tra i diversi metodi di aggregazione, suggerendo che la scelta del metodo di selezione influisce sulla parsimonia del modello ma non altera sostanzialmente le conclusioni inferenziali in questo specifico contesto.
• Il processo di classificazione delle variabili è stato completato in sole 10 iterazioni, dimostrando l'efficienza della regola di arresto.

6. Significato e Implicazioni

Questo lavoro offre un contributo significativo alla letteratura econometrica e statistica fornendo un ponte tra:

1. Metodi di Selezione Frequentisti (PDS, LASSO).
2. Gestione dell'Incertezza (Bootstrap, Multiple Imputation).
3. Inferenza Bayesiana (Fattori di Bayes, accumulo sequenziale di evidenza).

Il metodo risolve il dilemma pratico di "quante iterazioni eseguire" quando si combinano imputazione e selezione, offrendo un criterio di arresto oggettivo basato sull'evidenza accumulata. È particolarmente utile per i ricercatori che necessitano di modelli parsimoniosi ma stabili in presenza di dati incompleti, garantendo che le variabili incluse abbiano un supporto empirico solido attraverso le perturbazioni dei dati, senza dover fissare arbitrariamente parametri di stop o rischiare di includere rumore sistematico.