SEMMS with Random Effects: A Mixed-Model Extension for Variable Selection in Clustered and Longitudinal Data

Titolo

SEMMS con Effetti Casuali: Un'Estensione a Modelli Misti per la Selezione delle Variabili in Dati Clusterizzati e Longitudinali

1. Il Problema

Il metodo SEMMS (Scalable Empirical-Bayes Model for Marker Selection) è una procedura consolidata per la selezione delle variabili nei modelli lineari generalizzati (GLM), basata su un prior di miscela normale a tre componenti sui coefficienti di regressione. Tuttavia, la versione originale di SEMMS assume che tutte le osservazioni siano indipendenti.

Questa assunzione viene violata in molti scenari reali, come:

• Studi longitudinali (misure ripetute sugli stessi soggetti nel tempo).
• Esperimenti con misure ripetute (farmacologia, psicologia).
• Dati osservazionali clusterizzati (pazienti in ospedali, studenti in scuole).
• Studi su gemelli o familiari.

In questi contesti, le osservazioni all'interno dello stesso soggetto o cluster sono correlate. Ignorare questa correlazione porta a:

1. Un'infrazione della varianza residua apparente.
2. Una degradazione severa delle prestazioni di selezione delle variabili (aumento dei falsi positivi o mancato rilevamento dei veri segnali).
3. La confusione tra l'effetto casuale (es. la linea di base specifica del soggetto) e il segnale fisso reale.

2. Metodologia

Gli autori propongono un'estensione di SEMMS per gestire intercette casuali e pendenze casuali (random slopes) attraverso un algoritmo di ascesa coordinata alternata (alternating coordinate-ascent).

Il Modello Esteso

Il modello combina effetti fissi e casuali:
$$Y_{ij} = x_{ij}^\top \beta + z_{ij}^\top \alpha + b_{0i} + b_{1i} t_j + \varepsilon_{ij}$$
Dove:

• $\beta$: Effetti fissi delle covariate.
• $\alpha$: Coefficienti dei predittori candidati (selezionati da SEMMS).
• $b_{0i}, b_{1i}$: Intercetta e pendenza casuali specifiche per il soggetto $i$.
• $\varepsilon_{ij}$: Errore di osservazione.

L'Algoritmo di Ascesa Coordinata

L'algoritmo (Algorithm 1) alterna due passaggi principali fino alla convergenza:

1. Passaggio Effetti Fissi (SEMMS):
   • Si calcola una risposta aggiustata ($Y^* = Y - \hat{u}$), dove $\hat{u}$ sono i predittori lineari non distorti migliori (BLUP) degli effetti casuali stimati nel passaggio precedente.
   • Si esegue la selezione delle variabili standard di SEMMS su $Y^*$, trattando le osservazioni come indipendenti (poiché la correlazione intra-soggetto è stata rimossa).
   • Viene utilizzato un algoritmo GAM (Generalized Alternating Maximization) con prior di miscela.
2. Passaggio Effetti Casuali (RE):
   • Fissati gli effetti fissi selezionati ($\hat{S}$), si stimano i parametri degli effetti casuali (varianze e covarianze) utilizzando lmer (per dati Gaussiani) o glmer (per dati non Gaussiani) tramite massima verosimiglianza (ML).
   • Si aggiornano i BLUP ($\hat{u}$) per il prossimo ciclo.

Adattamento per Famiglie Non Gaussiane (Poisson, Binomiale)

Per dati non Gaussiani, l'algoritmo utilizza un approccio di risposta di lavoro (working response) basato sulla Penalized Quasi-Likelihood (PQL) di Breslow e Clayton [1993]:

• Invece di sottrarre direttamente i BLUP dalla risposta grezza, si costruisce una risposta di lavoro sulla scala del link ($W^*$).
• Questo permette di applicare SEMMS (che assume normalità) alla risposta di lavoro trasformata, mantenendo la struttura IRLS (Iteratively Reweighted Least Squares).

Efficienza Computazionale

L'estensione mantiene la scalabilità originale di SEMMS (complessità $O(NL^2)$) sfruttando l'identità di Woodbury per l'inversione delle matrici di covarianza, evitando la costruzione esplicita di matrici $N \times N$.

3. Contributi Chiave

1. Estensione a Modelli Misti: Integrazione nativa di effetti casuali (intercetta e pendenza) nel framework di selezione delle variabili SEMMS.
2. Algoritmo Alternato: Un approccio decoupled che separa la stima degli effetti casuali dalla selezione degli effetti fissi, garantendo la convergenza verso un ottimo locale della verosimiglianza congiunta.
3. Gestione dei Dati Non Gaussiani: Estensione del framework a distribuzioni Poisson e Binomiale tramite l'uso di risposte di lavoro PQL, permettendo l'applicazione a conteggi e dati binari.
4. Implementazione Software: Integrazione nell'package R SEMMS (v0.4.0), che utilizza lme4 per la parte di effetti misti e mantiene il core C++ originale per la selezione.

4. Risultati

Gli autori hanno valutato le prestazioni attraverso sei studi di simulazione (Gaussiani, Poisson, Binomiali) e un esempio semi-sintetico reale (sleepstudy), confrontando Mixed SEMMS con:

• SEMMS standard (ignora effetti casuali).
• Lasso standard (ignora effetti casuali).
• glmmLasso (modello misto con penalizzazione Lasso).

Risultati Principali:

• Scenario con Effetti Casuali Dominanti e Segnale Debole (Il caso critico):
  • Quando la varianza degli effetti casuali supera quella degli effetti fissi, SEMMS standard fallisce (es. recupero esatto dell'1% vs 93% per Mixed SEMMS nei dati Gaussiani).
  • SEMMS standard seleziona variabili spurie che correlano con la struttura di cluster invece che con il segnale reale.
  • Mixed SEMMS recupera l'insieme esatto dei predittori veri nel 93% dei casi (Gaussiani), 61% (Poisson) e 65% (Binomiale).
• Confronto con glmmLasso:
  • glmmLasso tende a sottostimare la selezione (underfitting) quando la varianza casuale è alta, poiché il criterio BIC penalizza eccessivamente l'aggiunta di predittori fissi.
  • Mixed SEMMS mantiene tassi di falsi positivi quasi nulli (es. 0.02 in media) rispetto a glmmLasso o Lasso standard.
• Dati ad Alta Dimensionalità ($K > N$):
  • In scenari con molti predittori rispetto alle osservazioni (es. genomica), Mixed SEMMS supera SEMMS standard (91% di recupero esatto vs 80%) e Lasso (che produce modelli con ~19 falsi positivi).
• Dati Reali (sleepstudy):
  • In un dataset di tempi di reazione al sonno con effetti casuali reali, Mixed SEMMS ha selezionato esattamente i due predittori veri senza falsi positivi, mentre SEMMS standard ha incluso un falso positivo e Lasso ne ha inclusi 17.

5. Significato

Questo lavoro risolve una lacuna critica nell'analisi dei dati moderni: la selezione delle variabili in presenza di correlazioni complesse (longitudinali o clusterizzate).

• Robustezza: Dimostra che ignorare la struttura degli effetti casuali porta a conclusioni scientifiche errate (falsi positivi o mancate scoperte), specialmente quando il segnale è debole rispetto alla variabilità tra i soggetti.
• Parsimonia: Il metodo offre una selezione estremamente parsimoniosa, eliminando la necessità di post-processing per rimuovere variabili spurie.
• Applicabilità: L'approccio è versatile, funzionando efficacemente su dati continui, di conteggio e binari, rendendolo uno strumento fondamentale per la ricerca biomedica, genetica e psicologica dove i dati sono intrinsecamente gerarchici.

In sintesi, l'estensione "Mixed-Model" di SEMMS trasforma un potente strumento di selezione da un metodo limitato a dati indipendenti in una soluzione scalabile e robusta per la complessità dei dati reali.