Quantifying uncertainty and stability among highly correlated predictors: a subspace perspective

1. Il Problema: Selezione di Variabili in Presenza di Multicollinearità

La selezione delle variabili è un problema fondamentale nell'analisi dei dati, ma diventa estremamente complesso quando le caratteristiche (feature) sono altamente correlate. In tali scenari, i metodi tradizionali di selezione delle variabili affrontano due sfide principali:

1. Definizione della Similarità tra Modelli: La metrica standard per confrontare due modelli (insiemi di feature) è il numero di feature in comune ($|S_1 \cap S_2|$). Tuttavia, in presenza di alta correlazione, due modelli possono non condividere alcuna feature ma essere quasi identici in termini di capacità predittiva (ad esempio, se $X_1$ e $X_3$ sono altamente correlati, un modello con $\{X_1\}$ è sostanzialmente equivalente a uno con $\{X_3\}$). Le metriche discrete falliscono nel catturare questa "intercambiabilità".
2. Valutazione della Stabilità: I metodi di stability selection esistenti valutano la stabilità di una feature contando la frequenza con cui viene selezionata in diversi sottocampioni dei dati. In presenza di alta correlazione, si verifica il fenomeno del "vote splitting" (divisione dei voti): se $X_1$ e $X_3$ sono correlati, un sottocampione potrebbe selezionare $X_1$ e un altro $X_3$. Di conseguenza, nessuna delle due riceve un punteggio di stabilità elevato, portando erroneamente a scartare feature informative. Inoltre, selezionare solo le feature "stabili" porta spesso a modelli troppo piccoli con prestazioni predittive scadenti.

L'articolo sostiene che queste limitazioni derivano dalla natura "discreta" delle attuali nozioni di similarità e stabilità.

2. Metodologia: La Prospettiva dei Sottospazi

Gli autori propongono un nuovo quadro concettuale basato sui sottospazi delle feature invece che sugli insiemi discreti di feature.

• Rappresentazione come Sottospazi: Invece di considerare un modello come un insieme di indici di feature $S$, lo rappresentano come il sottospazio vettoriale $\text{col}(X_S)$ generato dalle colonne della matrice dei dati $X$ corrispondenti a quelle feature.
• Metriche Continue di Similarità: La similarità tra due modelli $S_1$ e $S_2$ è definita in termini di allineamento tra i loro sottospazi. Viene introdotta una metrica basata sulla traccia del prodotto dei proiettori ortogonali:
  $$\tau(S_1, S_2) := \text{trace}(P_{\text{col}(X_{S_1})} P_{\text{col}(X_{S_2})})$$
  Questa metrica è equivalente alla somma dei quadrati dei coseni degli angoli principali tra i due sottospazi. Se le feature sono ortogonali, questa metrica si riduce alla classica sovrapposizione discreta; se sono correlate, fornisce un valore continuo che riflette la similarità predittiva.
• Stabilità dei Sottospazi: La stabilità di un insieme di feature $S$ non è più la frequenza di selezione, ma il grado di allineamento del suo sottospazio $\text{col}(X_S)$ con la matrice di proiezione media $P_{\text{avg}}$ ottenuta dai sottocampioni.
  $$\pi(S) := \sigma_{|S|}(P_{\text{col}(X_S)} P_{\text{avg}} P_{\text{col}(X_S)})$$
  dove $\sigma_{|S|}$ è l'autovalore singolare $|S|$-esimo. Una stabilità alta indica che il sottospazio è robusto rispetto alle perturbazioni dei dati, anche se le singole feature cambiano.
• Falsi Positivi e Veri Positivi: Anche gli errori di selezione sono ridefiniti in modo continuo. Il numero di veri positivi è la proiezione del sottospazio stimato sul sottospazio vero, e i falsi positivi misurano l'allineamento con il sottospazio ortogonale al segnale.

3. Contributi Chiave

1. Framework Teorico dei Sottospazi: Introduzione di una nuova prospettiva per la selezione delle variabili che trasforma problemi discreti in problemi continui, gestendo naturalmente la correlazione e l'intercambiabilità delle feature.
2. Algoritmo FSSS (Feature Subspace Stability Selection): Sviluppo di un algoritmo efficiente per enumerare modelli stabili multipli. A differenza dei metodi precedenti che restituiscono un singolo modello, FSSS identifica una collezione di modelli massimali $\alpha$-stabili. Questo permette di catturare l'incertezza strutturale: se esistono diverse combinazioni di feature correlate che funzionano bene, FSSS le restituisce tutte.
3. Garanzie Teoriche:
   • Controllo dell'Errore di Falsi Positivi: Dimostrazione che l'errore atteso dei falsi positivi per i modelli selezionati da FSSS è limitato, con un bound che dipende dalla qualità della procedura di base e dal livello di correlazione.
   • Consistenza: Sotto assunzioni ragionevoli (es. procedure di base che selezionano almeno una feature per ogni cluster di segnale), FSSS recupera con alta probabilità modelli che appartengono alla classe dei "modelli equivalenti" (che contengono esattamente una feature per ogni cluster di segnale e nessuna feature dai cluster di rumore).
4. Implementazione Software: Rilascio del pacchetto R substab che implementa le metriche di similarità/stabilità e l'algoritmo FSSS.

4. Risultati Sperimentali

Gli autori hanno testato il metodo su dati sintetici e su un dataset reale di espressione genica per la prognosi del cancro al seno (GSE2990).

• Dati Sintetici:

  • FSSS supera significativamente la Stability Selection (SS) e la Cluster Stability Selection (CSS).
  • Mentre SS soffre del "vote splitting" e CSS dipende da cluster pre-definiti (spesso inaccurati), FSSS separa chiaramente il segnale dal rumore.
  • Prestazioni: FSSS produce modelli più grandi (più feature selezionate) con un errore quadratico medio (MSE) di test molto inferiore (es. 0.32 contro 17.38 di SS in un esperimento specifico) e un tasso di falsi positivi contenuto.
  • Output Multipli: FSSS restituisce una collezione di modelli stabili che catturano l'intercambiabilità delle feature, offrendo una visione più completa dell'incertezza rispetto all'output singolo di SS/CSS.

• Dati Reali (Cancro al Seno):

  • FSSS identifica modelli stabili con buona accuratezza predittiva.
  • Analizzando la similarità tra i modelli trovati, gli autori dimostrano che modelli diversi (es. contenenti geni diversi ma altamente correlati) hanno prestazioni predittive quasi identiche, confermando l'ipotesi di "intercambiabilità" biologica.
  • Il metodo riesce a stabilizzare la selezione anche quando la procedura di base (es. regressione $\ell_0$ o Lasso) è instabile a causa della multicollinearità.

5. Significato e Impatto

Questo lavoro rappresenta un cambio di paradigma nella selezione delle variabili per dati correlati:

• Dall'Identico al Simile: Sposta il focus dal trovare "il" modello corretto (che spesso non esiste o non è unico in presenza di correlazione) al trovare "l'insieme" di modelli equivalenti che catturano la struttura sottostante dei dati.
• Robustezza: Fornisce metriche di stabilità che non penalizzano la selezione di feature correlate tra loro, risolvendo il problema del "vote splitting".
• Interpretabilità: Consentendo di visualizzare e analizzare multiple soluzioni stabili, offre agli statistici e ai ricercatori domain-specific una comprensione più ricca delle relazioni tra le variabili, evitando di forzare una scelta arbitraria tra feature intercambiabili.

In sintesi, l'approccio basato sui sottospazi offre un framework matematicamente solido e praticamente efficace per gestire l'incertezza e la multicollinearità, superando i limiti delle approcci discreti tradizionali.