Comparing Variable Selection and Model Averaging Methods for Logistic Regression

Questo studio preregistrato confronta 28 metodi per la selezione delle variabili nella regressione logistica, concludendo che l'averaggio bayesiano dei modelli (BMA) con prior g-priors è la scelta migliore in assenza di separazione, mentre gli approcci a verosimiglianza penalizzata come LASSO offrono risultati più stabili in presenza di separazione.

L'essenziale

Immagina di essere un cuoco stellato che deve preparare il piatto perfetto per una cena importante. Hai a disposizione un armadio stracolmo di ingredienti (i predittori): sale, pepe, erbe, spezie, verdure, carne. Il tuo obiettivo è creare una ricetta (il modello) che faccia dire ai tuoi ospiti: "È delizioso!" (prevedere correttamente se un evento accadrà o meno, come una malattia o un acquisto).

Il problema? Non sai quali ingredienti siano davvero necessari. Se ne metti troppi, il piatto diventa un disastro (sovradattamento). Se ne metti pochi, è insipido. E a volte, gli ingredienti si comportano in modo strano: se ne metti due insieme, la fiamma della cucina esplode (questo è il separazione, un problema tecnico dove i dati sono così estremi che il calcolo va in tilt).

Questo studio è come una gara di cucina scientifica dove 28 diversi chef (i metodi statistici) hanno provato a risolvere questo problema usando 11 ricette reali (dataset) diverse. Hanno dovuto decidere quali ingredienti tenere e quali buttare, in condizioni normali e in condizioni di "caos" (quando gli ingredienti esplodono).

Ecco cosa hanno scoperto, spiegato in modo semplice:

1. I due tipi di chef

I partecipanti alla gara si dividevano in due scuole di pensiero:

• I Bayesiani (BMA): Sono come chef che dicono: "Non so quale sia la ricetta perfetta, quindi preparo tutte le combinazioni possibili di ingredienti, ne assaggio un po' di ciascuna e ne creo una 'ricetta media' ponderata in base a quanto è probabile che funzioni". Usano una bilancia molto sofisticata (i priors) per decidere quanto pesare ogni ingrediente.
• I Penalizzati (LASSO, Ridge, ecc.): Sono chef più pratici. Dicono: "Preparo una ricetta con tutti gli ingredienti, ma metto una multa (penalità) a chi ne usa troppi. Se un ingrediente non è essenziale, lo riduco a zero e lo butto via". È un approccio più diretto e veloce.

2. La gara in condizioni normali (Niente esplosioni)

Quando gli ingredienti si comportano bene (nessuna separazione), i vincitori sono stati gli chef Bayesiani, in particolare quelli che usano una bilancia chiamata "Benchmark Prior" (con una formula specifica: $g = max(n, p^2)$).

• L'analogia: È come se avessero la bilancia perfetta. Non esagerano con gli ingredienti, ma trovano il giusto equilibrio. La ricetta risultante è stabile, precisa e affidabile.
• Il consiglio: Se i tuoi dati sono "tranquilli", usa questi metodi Bayesiani. Sono come un coltellino svizzero di precisione.

3. La gara nel caos (C'è la separazione)

Poi, la gara è diventata difficile. Alcuni dataset avevano ingredienti che facevano esplodere la cucina (separazione). In questo scenario, i metodi Bayesiani classici hanno iniziato a vacillare.

• Chi ha vinto? I metodi penalizzati, in particolare il LASSO e il suo cugino più moderno, l'Induced Smoothed LASSO.
• L'analogia: Quando la cucina prende fuoco, non hai tempo di assaggiare tutte le combinazioni possibili. Hai bisogno di qualcuno che agisca velocemente, tagli via gli ingredienti pericolosi e salvi il piatto. Il LASSO è quel chef che, anche se a volte sbaglia un po' la quantità di sale (stima meno precisa), non fa esplodere la cucina e ti dà un piatto commestibile.
• L'eccezione: C'è un metodo Bayesiano, chiamato EB-local, che è stato l'unico a non farsi prendere dal panico. È stato il "cavallo di battaglia": ha funzionato bene sia quando tutto era tranquillo, sia quando c'era il caos. È il metodo più versatile.

4. Chi ha perso?

• I vecchi metodi (Stepwise e p-value): Sono come chef che usano un vecchio libro di ricette del 1980. "Se l'ingrediente ha un numero magico, lo tengo, altrimenti no". Hanno fatto disastri: piatti insipidi, ingredienti sbagliati inclusi, e spesso hanno fatto esplodere la cucina (alti tassi di fallimento).
• Il LASSO classico: In condizioni normali, è stato un po' lento e meno preciso dei Bayesiani, ma nel caos è stato un salvavita.

Le conclusioni per te (il cuoco moderno)

1. Se i tuoi dati sono "normali": Usa i metodi Bayesiani (specialmente quelli con la bilancia "Benchmark" o "Hyper-g"). Sono i più precisi e ti danno una visione d'insieme più sicura.
2. Se i tuoi dati sono "difficili" (pochi dati, molte variabili, o dati estremi): Usa i metodi penalizzati come il LASSO o l'Elastic Net. Sono robusti, veloci e non si rompono quando i dati fanno i capricci.
3. Se non sai cosa aspettarti: Usa il metodo EB-local. È il "tuttofare": non è il migliore in assoluto in nessuna categoria, ma è il più affidabile in tutte le situazioni. Non ti farà mai rimanere a mani vuote.

In sintesi: Non esiste un "coltellino svizzero" perfetto per ogni situazione. Se la tua cucina è tranquilla, usa la bilancia sofisticata (Bayes). Se la cucina è in fiamme, usa il tagliaerba (LASSO). E se vuoi un metodo che funzioni sempre, prendi l'EB-local. La scienza ci dice che non dobbiamo più affidarci a vecchie regole rigide, ma scegliere lo strumento giusto in base al "clima" dei nostri dati.

Sommario tecnico

Ecco una sintesi tecnica dettagliata del paper "Comparing Variable Selection and Model Averaging Methods for Logistic Regression", tradotta e strutturata in italiano.

Titolo

Confronto tra Metodi di Selezione delle Variabili e Mediazione dei Modelli per la Regressione Logistica

1. Il Problema di Ricerca

L'incertezza del modello è una sfida centrale nell'inferenza statistica, specialmente nella regressione logistica, dove non è chiaro a priori quali predittori includere. Esistono numerosi metodi per affrontare questo problema, sia di natura bayesiana che frequentista, ma le loro prestazioni relative in condizioni realistiche non erano state valutate sistematicamente.
Un problema specifico della regressione logistica è la separazione (completa o quasi-completa), che si verifica quando una combinazione lineare di predittori classifica perfettamente l'esito. In questi casi, le stime di massima verosimiglianza (MLE) possono non esistere, portando a instabilità numerica e inferenze invalide. Questo fenomeno è comune in campioni piccoli o in setting ad alta dimensionalità.

L'obiettivo dello studio è colmare questa lacuna fornendo un confronto sistematico e preregistrato di 28 metodi consolidati per la selezione delle variabili e l'inferenza sotto incertezza del modello, valutando le loro prestazioni sia in presenza che in assenza di separazione.

2. Metodologia

Lo studio è un'analisi di simulazione preregistrata (disponibile su OSF) basata su 11 dataset empirici reali provenienti da diversi domini (medicina, scienze sociali, genetica, ecc.), che coprono una vasta gamma di dimensioni del campione ($n$) e numero di predittori ($p$), inclusi casi ad alta dimensionalità ($p > n$).

Design della Simulazione

• Generazione dei Dati (DGP): Per ciascun dataset empirico, sono state generate 100 repliche di variabili di risposta binarie. I predittori sono stati elaborati (standardizzati, codifica dummy) e un processo di selezione preliminare (screening) ha ridotto il numero di variabili candidate prima della generazione dell'esito.
• Gestione della Separazione: È stata implementata una rilevazione automatica della separazione. Se rilevata, sono stati applicati metodi di regolarizzazione per ottenere coefficienti stabili.
• Metodi Confrontati: Sono stati valutati 28 metodi, suddivisi in:
  • Bayesian Model Averaging (BMA): Utilizzando il pacchetto BAS con diverse priors (es. g-priors come $g=\max(n, p^2)$, $g=\sqrt{n}$, hyper-g, EB-local, CCH, Robust, Intrinsic, Spike-and-Slab).
  • Approcci a Verosimiglianza Penalizzata: LASSO, Elastic Net, Ridge, SCAD, MCP, Induced Smoothed LASSO, e la regressione ridotta del bias di Firth.
  • Metodi Classici: Selezione stepwise (avanti, indietro, entrambi) e selezione basata su valori p ($p < 0.05$, $p < 0.005$).
• Metriche di Valutazione:
  • RMSE: Errore quadratico medio dei coefficienti stimati.
  • MIS (Mean Interval Score): Qualità degli intervalli di confidenza/credibilità.
  • Brier Score: Accuratezza delle previsioni probabilistiche.
  • AUPRC: Area sotto la curva Precisione-Recall per la selezione del modello.
  • Metriche Aggiuntive: Tempo CPU e tasso di fallimento (errori di esecuzione).

3. Risultati Chiave

I risultati sono stati analizzati separatamente per dataset senza separazione e con separazione.

A. Dataset Senza Separazione

• Migliori Prestazioni: I metodi BMA basati su g-priors hanno mostrato le prestazioni complessive migliori. In particolare, la prior di riferimento con $g = \max(n, p^2)$ ha ottenuto il punteggio più alto, seguita da BIC.BAS, CCH, hyper-g/n e Beta-prime.
• Altri Metodi BMA: Le priors Hyper-g, Robust, Intrinsic e Spike-and-Slab hanno mostrato prestazioni solide e coerenti. La prior EB-local è stata competitiva, sebbene leggermente inferiore nelle previsioni rispetto alle migliori g-priors.
• Metodi Penalizzati: L'Induced Smoothed LASSO è stato il metodo penalizzato migliore (8° posto), seguito da MCP e SCAD. LASSO standard, Ridge ed Elastic Net hanno performato peggio.
• Metodi Classici: I metodi stepwise e basati su valori p hanno mostrato prestazioni notevolmente inferiori rispetto agli approcci bayesiani e penalizzati, con tempi di calcolo elevati.
• Stabilità: Tutti i metodi bayesiani hanno avuto un tasso di fallimento inferiore all'1%.

B. Dataset Con Separazione

• Cambiamento Drastico: Le prestazioni dei metodi g-prior basati su BMA sono crollate, specialmente nella stima puntuale e negli intervalli (alto RMSE e MIS), sebbene le prestazioni predittive siano rimaste relativamente stabili.
• Migliori Prestazioni: Gli approcci a verosimiglianza penalizzata hanno dominato. L'Induced Smoothed LASSO è risultato il primo, seguito da LASSO, Elastic Net, SCAD e Ridge.
• Eccezioni e Avvertenze: Sebbene Induced Smoothed LASSO e il metodo di Firth abbiano ottenuto i punteggi migliori, hanno mostrato tassi di fallimento elevati (28,5% e 29,7% rispettivamente) su alcuni dataset con separazione, rendendo l'interpretazione dei punteggi complessi.
• Robustezza Bayesiana: Tra i metodi bayesiani, EB-local e Spike-and-Slab si sono distinti per la loro robustezza nella stima e nella calibrazione degli intervalli, mantenendo prestazioni accettabili anche in presenza di separazione.
• Fallimento dei Metodi Classici: I metodi basati su valori p e stepwise hanno fallito massicciamente (tassi di fallimento fino al 71% per $p < 0.005$).

4. Contributi Chiave

1. Confronto Preregistrato e Ampio: È uno dei primi studi a confrontare sistematicamente 28 metodi (inclusi sia BMA che penalizzati) su dataset reali, superando i limiti delle simulazioni puramente sintetiche.
2. Distinzione Critica sulla Separazione: Lo studio evidenzia che la presenza di separazione cambia radicalmente il panorama delle prestazioni. Mentre i metodi BMA adattivi sono superiori in assenza di separazione, i metodi penalizzati sono essenziali quando la separazione è probabile.
3. Validazione delle Priors Adattive: Conferma che le priors adattive (come EB-local e hyper-g) sono superiori alle priors fisse (come $g=4$ o AIC) nella regressione logistica, estendendo le conclusioni di studi precedenti sulla regressione lineare.
4. Guida Pratica: Fornisce raccomandazioni concrete per i ricercatori applicati su quale metodo scegliere in base alle caratteristiche dei dati (presenza di separazione, dimensionalità).

5. Significato e Implicazioni

Questo studio offre una guida pratica fondamentale per la ricerca empirica e il machine learning che utilizza la regressione logistica:

• In assenza di separazione: Si raccomanda l'uso di BMA con priors adattive (in particolare $g = \max(n, p^2)$ o EB-local) per ottenere la migliore combinazione di accuratezza di stima, inferenza e previsione, gestendo correttamente l'incertezza del modello.
• In presenza di separazione: Se la separazione è sospettata o presente, i metodi penalizzati (come LASSO, SCAD, MCP o Firth) sono più stabili e affidabili per la stima dei coefficienti, anche se offrono una quantificazione dell'incertezza del modello meno diretta rispetto al BMA.
• Sconsigliati: I metodi stepwise e basati su valori p fissi sono sconsigliati a causa delle scarse prestazioni, dell'instabilità e dell'incapacità di gestire l'incertezza del modello.

In sintesi, lo studio dimostra che non esiste un metodo "migliore" universale, ma la scelta deve dipendere criticamente dalla diagnosi della separazione nei dati, con l'approccio EB-local che emerge come un compromesso robusto tra accuratezza, stabilità e gestione dell'incertezza in scenari misti.