Objective Model Prior Probabilities in Variable Selection

1. Il Problema: La Scelta delle Priori nei Modelli di Selezione delle Variabili

Il lavoro affronta un problema fondamentale nell'analisi bayesiana dell'incertezza del modello, in particolare nel contesto della selezione delle variabili (dove $k$ variabili candidate possono essere incluse o meno).
Il cuore del problema risiede nella definizione delle probabilità a priori dei modelli ($Pr(M_\gamma)$), dove $\gamma$ è un vettore binario che indica quali variabili sono incluse.

• Approccio Storico (Uniforme): Storicamente, si utilizzava una probabilità uniforme su tutti i $2^k$ modelli ($Pr(M_\gamma) = 2^{-k}$). Questo approccio è stato dimostrato problematico: in spazi di modelli grandi (tipici in genomica con $k$ molto elevato), assegna una massa di probabilità enorme a modelli di dimensione intermedia (circa $k/2$), portando a una mancanza di controllo sulla molteplicità e alla selezione di modelli troppo complessi.
• Approccio di Jeffreys: Una proposta popolare, basata su un suggerimento di Harold Jeffreys, assegna una probabilità totale di $1/(k+1)$ a tutti i modelli di una data dimensione $d$, distribuendola equamente tra i modelli di quella dimensione. Sebbene questo introduca un controllo sulla molteplicità, il paper dimostra che non è sufficientemente parsimonioso. Assegna la stessa probabilità al modello nullo ($d=0$) e al modello completo ($d=k$), portando spesso a selezionare il modello completo anche quando i dati non lo supportano fortemente (come dimostrato nell'esempio sull'obesità infantile).

L'obiettivo del paper è identificare alternative "oggettive" che introducano una parsimonia necessaria (penalizzando i modelli complessi) senza essere eccessivamente punitive, mantenendo un approccio razionale e scientifico.

2. Metodologia

Gli autori confrontano otto diverse specifiche di prior per i modelli, valutandole sia da un punto di vista numerico che teorico.

I Modelli Considerati:

1. Uniforme: $Pr(M_\gamma) = 2^{-k}$.
2. Jeffreys: Basato su una prior uniforme per la probabilità di inclusione $p \sim Un(0,1)$.
3. Harmonic: Assegna probabilità proporzionale a $(1+d)^{-1}$ per la dimensione $d$.
4. CMG (Clyde, Ghosh, Muggeo): Utilizza una prior intrinseca su un parametro di Poisson per la distribuzione della dimensione del modello.
5. Half-p Jeffreys: Utilizza una prior uniforme per $p$ sull'intervallo $[0, 0.5]$.
6. Half-k Jeffreys: Una versione "lisciata" che applica la prior di Jeffreys solo fino alla metà delle dimensioni ($k/2$) e poi assegna probabilità costanti alle dimensioni superiori, per evitare discontinuità.
7. Beta(1,2): Utilizza una prior Beta(1,2) per la probabilità di inclusione $p$.
8. Hierarchical Beta: Una prior gerarchica su $p$, dove il parametro $\alpha$ di una Beta(1, $\alpha$) ha una propria prior piatta su $(1, \infty)$.

Strumenti di Analisi:

• Fattori di Bayes: Utilizzano prior intrinseche per i parametri del modello lineare generale per calcolare i fattori di Bayes ($B_\gamma$).
• Simulazioni Numeriche: Confronto su un dataset reale di obesità infantile ($k=47$ variabili) e analisi di proprietà asintotiche per $k$ grande.
• Metriche di Valutazione:
  • Probabilità a priori della collezione di modelli di una data dimensione ($M(d)$).
  • Probabilità a priori di inclusione di una singola variabile ($Pr(x_j)$).
  • Identificazione del modello a massima probabilità a posteriori (HPM) e del modello a probabilità mediana (MPM).

3. Risultati Chiave

L'analisi numerica e teorica porta alle seguenti conclusioni:

• Rigetto delle Priori Classiche: Le prior Uniforme e di Jeffreys sono scartate. La prima manca di controllo sulla molteplicità (seleziona modelli troppo grandi), la seconda è troppo permissiva verso i modelli complessi (spesso seleziona il modello completo).
• Eccessiva Parsimonia (CMG): La prior CMG è troppo restrittiva, eliminando quasi tutti i modelli con dimensioni superiori a 14 nel caso di $k=47$. Viene considerata non "oggettiva" perché forza una concentrazione eccessiva su modelli piccoli.
• Il Caso dell'Obesità: Nell'esempio con 47 variabili:
  • La prior di Jeffreys e quella Armonica (Harmonic) selezionano erroneamente il modello completo come HPM.
  • La prior Uniforme seleziona un modello di 15 variabili.
  • Le prior Half-p, Half-k, Beta(1,2) e Gerarchica selezionano modelli più piccoli (8-12 variabili), allineandosi meglio con le credenze scientifiche di parsimonia.
• Stabilità del MPM: Il Modello a Probabilità Mediana (MPM) si rivela molto più stabile rispetto all'HPM al variare della scelta della prior (tranne che per CMG), suggerendo che l'MPM sia una scelta più robusta per la selezione delle variabili.
• Probabilità di Inclusione:
  • Le prior Uniforme e Jeffreys implicano una probabilità di inclusione a priori di 0.5 per ogni variabile, il che è irrealistico in contesti di selezione con molte variabili "spazzatura".
  • Le prior Half-p, Hierarchical Beta e Harmonic mostrano una probabilità di inclusione decrescente all'aumentare di $k$, il che è desiderabile se si includono molte variabili non rilevanti.

4. Contributi e Significatività

Il paper offre un contributo significativo alla statistica bayesiana applicata alla selezione delle variabili:

1. Definizione di Oggettività con Parsimonia: Gli autori sfidano la nozione che "oggettivo" significhi "uniforme". Sostengono che un prior oggettivo deve incorporare una parsimonia minima ma necessaria per evitare conclusioni assurde in spazi di modelli vasti.
2. Proposte Alternative Concrete: Introducono e validano diverse alternative (in particolare Half-p, Beta(1,2), Hierarchical Beta e Harmonic) che bilanciano meglio la complessità del modello rispetto alle scelte tradizionali.
3. Analisi Comparativa Completa: Fornisce una tabella di confronto dettagliata che include approssimazioni asintotiche per $k$ grande, permettendo ai ricercatori di scegliere la prior più adatta al proprio contesto scientifico (es. se ci si aspetta che le variabili siano tutte rilevanti o solo una frazione).
4. Raccomandazioni Pratiche:
   • Se si richiede una parsimonia completa e si teme l'inclusione di molte variabili irrilevanti, le prior Half-p o Half-k sono preferibili.
   • Se si cerca un compromesso tra semplicità computazionale e parsimonia moderata, la prior Beta(1,2) è una scelta eccellente.
   • La prior Hierarchical Beta offre un buon peso ai modelli piccoli ed è teoricamente solida, sebbene richieda integrazione numerica.
   • La prior Harmonic è promettente ma potrebbe non essere abbastanza parsimoniosa in alcuni scenari (come dimostrato nel caso dell'obesità).

In conclusione, il lavoro sposta il paradigma dalla ricerca di una "prior universale" alla necessità di selezionare una prior che rifletta realisticamente la scarsità di segnali rilevanti in grandi dataset, fornendo strumenti teorici e pratici per farlo in modo oggettivo.