Bayesian Stability Selection and Inference on Selection Probabilities

Riepilogo Tecnico: Selezione di Stabilità Bayesiana e Inferenza sulle Probabilità di Selezione

Enunciato del Problema
La selezione di stabilità è un framework ampiamente utilizzato, basato sul ricampionamento, per la selezione delle variabili e la stima della struttura in contesti ad alta dimensionalità, proposto originariamente da Meinshausen e B¨uhlmann [2010]. Opera calcolando la frequenza con cui le variabili vengono selezionate attraverso molteplici sottocampioni casuali dei dati. Tuttavia, il framework tradizionale si basa su principi frequentisti, interpretando le frequenze di selezione come proporzioni osservate. Gli autori sostengono che questo approccio trascura la conoscenza specifica del dominio e non riesce a distinguere tra frequenza di selezione (un'osservazione esterna) e probabilità di selezione (una misura di rilevanza fondata sulla conoscenza umana). Inoltre, la dipendenza esclusiva dalle frequenze può portare a instabilità, specialmente in scenari con predittori correlati o valori anomali, dove le frequenze di selezione possono fluttuare significativamente senza fornire una misura robusta dell'incertezza.

Metodologia
Il documento propone un framework di Selezione di Stabilità Bayesiana che integra informazioni a priori per affinare l'inferenza delle probabilità di selezione. La metodologia è strutturata come segue:

1. Concettualizzazione come Esperimento Ripetuto: Il processo di selezione di stabilità è modellato come una serie di $B$ esperimenti indipendenti. Per un dato parametro di regolarizzazione $\lambda$, un algoritmo di selezione (ad esempio Lasso o Elastic Net) viene applicato a $B$ sottocampioni casuali. I risultati sono registrati in una matrice di selezione binaria $M(\lambda)$, dove un valore di 1 indica la selezione.
2. Modellazione Probabilistica: La selezione della $j$-esima variabile in ogni iterazione è modellata come una prova di Bernoulli con una probabilità di selezione sconosciuta $\Pi_j$. Di conseguenza, il numero totale di volte in cui una variabile viene selezionata, $n_j$, segue una distribuzione Binomiale: $n_j \sim \text{Binomial}(B, \Pi_j)$.
3. Specificazione delle Priori: Una distribuzione Beta, $\text{Beta}(\alpha_j, \beta_j)$, è scelta come priori coniugata per $\Pi_j$. I parametri di forma $\alpha_j$ e $\beta_j$ sono derivati dalla conoscenza esperta o da informazioni di contesto.
   • Priori Non Informativa: In assenza di conoscenza a priori, si utilizza $\alpha_j = \beta_j = 1$ (distribuzione Uniforme), replicando efficacemente la frequenza di selezione frequentista.
   • Priori Informativa: Gli autori propongono un processo di elicitazione in due fasi per gli esperti del dominio:
     • Domanda 1: Determinare il peso della conoscenza a priori ($\tilde{\zeta}_j$) rispetto ai dati (limitato al 50%). Questo determina il numero totale di pseudo-osservazioni $\gamma_j$ tramite $\tilde{\zeta}_j = \gamma_j / (\gamma_j + B)$.
     • Domanda 2: Determinare la rilevanza percepita della variabile ($\tilde{\xi}_j$), che rappresenta la proporzione attesa di selezioni basata sull'esperienza.
     • I parametri sono quindi calcolati come $\alpha_j = \lfloor \tilde{\xi}_j \gamma_j \rfloor$ e $\beta_j = \gamma_j - \alpha_j$.
4. Inferenza Posteriore: Grazie alla coniugazione tra le distribuzioni Beta e Binomiale, la distribuzione posteriore per la probabilità di selezione è derivata analiticamente come $\Pi_j | n_j, K \sim \text{Beta}(\alpha_j + n_j, \beta_j + B - n_j)$.
5. Processo Decisionale: Le decisioni si basano sulla media posteriore (o su altre statistiche) e sugli intervalli di credibilità bayesiani, piuttosto che sulle frequenze di selezione grezze.

Contributi Chiave

• Integrazione della Conoscenza Esperta: Il documento introduce un meccanismo per incorporare formalmente l'esperienza del dominio nel framework di selezione di stabilità, permettendo agli esperti di controllare il peso del loro contributo (fino al 50%) sull'inferenza finale.
• Inferenza su Probabilità vs. Frequenze: Sposta l'interpretazione dalle frequenze di selezione (proporzioni osservate) alle probabilità di selezione (rilevanza inferita), fornendo una base statistica più rigorosa per la selezione delle variabili.
• Quantificazione dell'Incertezza: Utilizzando le distribuzioni posteriori, il metodo fornisce intervalli di credibilità bayesiani, offrendo una misura diretta dell'incertezza riguardo allo stato di selezione delle variabili.
• Riduzione della Varianza: L'analisi teorica e le simulazioni dimostrano che l'inclusione di priori informative riduce la varianza delle probabilità di selezione rispetto alle priori non informative, migliorando così la stabilità del processo decisionale.
• Compatibilità: L'approccio è progettato come un passo di post-elaborazione compatibile con gli algoritmi esistenti di selezione di stabilità (ad esempio Meinshausen e B¨uhlmann [2010], Shah e Samworth [2013]) senza alterare il meccanismo di ricampionamento sottostante.

Risultati
La metodologia è stata valutata su dati sintetici e due dataset reali di bioinformatica:

1. Dati Sintetici: In scenari con predittori correlati, la selezione di stabilità standard spesso falliva nel selezionare tutte le variabili rilevanti a causa di basse frequenze di selezione causate dalle strutture di correlazione. L'approccio bayesiano, utilizzando priori informative (ad esempio, peso del 50%, rilevanza percepita del 70%), ha recuperato con successo tutte le variabili rilevanti spostando le medie posteriori al di sopra della soglia decisionale, mentre l'approccio non informativo non lo ha fatto.
2. Dati sulla Riboflavina: Utilizzando un metodo di selezione robusto (RLARS) per gestire i valori anomali, l'approccio bayesiano con priori informative (basato sulla letteratura precedente che ha identificato 41 geni rilevanti) ha identificato tre geni stabili ($YCKE_{at}$, $YOAB_{at}$, $YXLD_{at}$). In modo notevole, ha sostituito un gene identificato da studi precedenti ($LYSC_{at}$) con $YCKE_{at}$, suggerendo che $YCKE_{at}$ è più robusto alle perturbazioni dei dati.
3. Dati sul Genoma del Ratto Affymetrix: L'analisi iniziale con priori non informative non è riuscita a identificare sonde stabili. Tuttavia, quando è stata incorporata la conoscenza a priori riguardante una sonda specifica ($1374106_{at}$) (peso del 50%, rilevanza del 100%), la media posteriore è aumentata sufficientemente da classificarla come variabile stabile, dimostrando la capacità del metodo di sfruttare forti credenze a priori per superare l'instabilità dei dati.

Significato e Affermazioni
Gli autori affermano che questo lavoro fornisce uno strumento completo per il processo decisionale che colma il divario tra intuizioni basate sui dati ed esperienza del dominio. Trattando la selezione di stabilità come un problema di inferenza bayesiana, il metodo offre:

• Migliorata Stabilità: La riduzione della varianza delle probabilità di selezione porta a decisioni più stabili, specialmente in contesti ad alta dimensionalità o quando i dati sono rumorosi.
• Trasparenza: Il processo di elicitazione in due fasi rende esplicito e controllabile l'influsso della conoscenza esperta soggettiva, affrontando la natura "scatola nera" di alcuni metodi di selezione delle variabili.
• Robustezza: Il framework permette l'integrazione di algoritmi di selezione robusti (come RLARS) e la gestione dei valori anomali, come dimostrato nelle applicazioni su dati reali.

Il documento conclude che, sebbene non sostituisca il framework originale di selezione di stabilità, lo potenzia significativamente fornendo un modo principiato per incorporare conoscenze di contesto e quantificare l'incertezza, rendendolo adatto a una vasta gamma di sfide di stima della struttura. Gli autori riconoscono limitazioni, come l'assunzione di indipendenza nella selezione delle variabili, e suggeriscono che lavori futuri potrebbero esplorare le interdipendenze e l'integrazione dei costi decisionali.