Combined shrinkage of fixed and random effects in linear mixed models using empirical Bayes

Riassunto Tecnico: Shrinkage Combinato di Effetti Fissi e Casuali in Modelli Lineari Misti tramite Bayes Empirico

1. Il Problema: Instabilità in Modelli ad Alta Dimensionalità

I Modelli Lineari Misti (LMM) sono fondamentali per analizzare dati gerarchici o longitudinali, poiché permettono di modellare contemporaneamente la media (effetti fissi $\beta$) e la varianza (effetti casuali $\gamma$ e varianza residua $\sigma^2$). Tuttavia, i ricercatori si scontrano spesso con due criticità strutturali:

• Alta dimensionalità degli effetti fissi: Quando il numero di covariate è elevato rispetto alla dimensione del campione ($p > n$).
• Instabilità degli effetti casuali: Quando il numero di covariate nel modello degli effetti casuali supera il numero di unità statistiche (es. pochi siti/città) o il numero medio di misurazioni ripetute per soggetto.

In questi scenari, i software standard (come lme4 in R) spesso falliscono o producono stime numericamente instabili e inaffidabili. Sebbene la letteratura abbia esplorato ampiamente la regolarizzazione (shrinkage) degli effetti fissi, la regolarizzazione dei parametri di varianza degli effetti casuali è stata finora trascurata.

2. Metodologia Proposta

Il paper introduce un framework Empirical Bayes (EB) per la selezione congiunta e automatizzata dei parametri a priori (iperparametri $\Theta$) sia per gli effetti fissi che per quelli casuali.

A. Specificazione del Modello e Prior:
Il modello viene formulato in forma matriciale per facilitare la derivazione. Per l'approccio Bayesiano, vengono utilizzati prior coniugati condizionali:

• Effetti fissi ($\beta$): Una distribuzione Gaussiana con parametro di regolarizzazione $\lambda$ (equivalente a una penalità Ridge).
• Covarianza effetti casuali ($\Sigma_r$): Una distribuzione Inverse-Wishart con gradi di libertà $\eta_r$ e matrice di scala $\Phi_r$.
• Varianza residua ($\sigma^2$): Una distribuzione Inverse-Gamma non informativa.

B. Stima tramite Laplace Approximation:
L'obiettivo è massimizzare la verosimiglianza marginale $ML(\Theta)$. Poiché l'integrazione della verosimiglianza non ha una soluzione in forma chiusa, gli autori utilizzano un'approssimazione di Laplace. Questo metodo approssima la verosimiglianza marginale utilizzando l'estimatore Maximum A Posteriori (MAP) e la matrice Hessiana, offrendo un eccellente compromesso tra precisione e velocità computazionale rispetto a metodi più onerosi come MCMC o INLA.

C. Algoritmo di Ottimizzazione:
Per calcolare l'estimatore MAP, viene implementata una variante dell'algoritmo Expectation-Maximization (EM), che aggiorna iterativamente i parametri sfruttando la semplicità del modello quando condizionato alle variabili latenti.

3. Contributi Chiave

1. Regolarizzazione Congiunta: Un metodo data-driven che ottimizza simultaneamente la penalizzazione degli effetti fissi e la stabilità delle matrici di covarianza degli effetti casuali.
2. Efficienza Computazionale: L'uso dell'approssimazione di Laplace permette di scalare il metodo verso problemi ad alta dimensionalità.
3. Riparazione dell'Inferenza: Il metodo non si limita a migliorare le stime puntuali, ma corregge l'errore nella stima della varianza degli effetti fissi, rendendo i test di significatività (p-value) più affidabili.

4. Risultati

A. Studi di Simulazione:

• Shrinkage degli effetti casuali: La simulazione mostra che, mentre l'estimatore di Massima Verosimiglianza (ML) è quasi non distorto ma ha un'altissima varianza, l'estimatore EB (MAP) introduce un leggero bias in cambio di una drastica riduzione della varianza, specialmente per le componenti di covarianza meno stabili.
• Precisione Inferenziale: L'errore nella stima della varianza degli effetti fissi è significativamente ridotto con l'approccio EB, migliorando la precisione dei test statistici.
• Accuratezza Predittiva: L'approccio EB supera costantemente il metodo ML in termini di divergenza di Kullback-Leibler (KL), dimostrando una migliore capacità di generalizzazione su nuovi dati.

B. Applicazione al mondo reale (Inquinamento e Salute):
Applicato a un dataset epidemiologico sulla relazione tra inquinamento atmosferico e pressione sanguigna, il metodo ha dimostrato che:

• È possibile utilizzare modelli più complessi (con più livelli di effetti casuali e covariate aggiuntive) senza perdere accuratezza predittiva.
• Il modello regolarizzato "complesso" ha ottenuto prestazioni predittive (RMSE) paragonabili a un modello "semplice" non regolarizzato, validando la capacità del metodo di gestire la complessità strutturale.

5. Significato e Conclusioni

Il lavoro colma una lacuna importante nella statistica dei modelli misti. Dimostra che la regolarizzazione degli effetti casuali non è solo un esercizio teorico, ma una necessità pratica per ottenere inferenze corrette e previsioni accurate in presenza di dati strutturati e complessi. Il framework proposto è versatile e può essere esteso a modelli lineari generalizzati (GLMM) e a contesti con più esiti (multi-outcome).