Quantifying uncertainty and stability among highly correlated predictors: a subspace perspective

Titel

Het kwantificeren van onzekerheid en stabiliteit onder sterk gecorreleerde voorspellers: een perspectief vanuit deelruimten.

1. Het Probleem

Variabele selectie is een fundamenteel probleem in data science, maar wordt aanzienlijk bemoeilijkt wanneer voorspellers (features) sterk met elkaar gecorreleerd zijn (multicollineariteit). Bestaande methoden, zoals de Lasso en klassieke stabiliteitsselectie (stability selection), ondervinden hier twee fundamentele uitdagingen:

1. Discrete definitie van gelijkenis: Traditionele maatstaven voor modelgelijkenis tellen het aantal gedeelde features ($|S_1 \cap S_2|$). Dit is misleidend bij hoge correlatie. Twee modellen kunnen geen enkele feature gemeen hebben, maar toch bijna identieke voorspellende vermogens hebben als de features in het ene model sterk gecorreleerd zijn met die in het andere model (bijvoorbeeld $X_1$ en $X_3$ met een correlatie van 0,97).
2. Het "Vote Splitting"-probleem bij stabiliteit: Bij hoge correlatie kan een variabele selectiemethode (zoals Lasso) in verschillende steekproeven wisselen tussen sterk gecorreleerde features. Bijvoorbeeld, in de ene subsample wordt $X_1$ geselecteerd en in de andere $X_3$. Klassieke stabiliteitsmetingen (het percentage keer dat een feature wordt geselecteerd) zullen beide features een lage stabiliteitsscore toekennen, hoewel ze beide sterke signalen zijn. Dit leidt tot het selecteren van te kleine modellen met slechte voorspellende prestaties.

De kern van het probleem is dat bestaande concepten van gelijkenis en stabiliteit "discreet" zijn (aan/uit), terwijl de onderliggende structuur bij hoge correlatie "continu" is.

2. Methodologie: Het Subruimte-Perspectief

De auteurs introduceren een nieuw raamwerk gebaseerd op feature subruimten. In plaats van te kijken naar de verzameling geselecteerde indices, kijken ze naar de deelruimte die wordt opgespannen door de kolommen van de datamatrix $X$ die overeenkomen met die features.

Kernconcepten:

• Subruimte-gelijkenis: Twee modellen $S_1$ en $S_2$ worden vergeleken via hun respectievelijke subruimten $\text{col}(X_{S_1})$ en $\text{col}(X_{S_2})$. De gelijkenis wordt gemeten met de trace van het product van projectiematrices:
  $$\tau(S_1, S_2) := \text{trace}(P_{\text{col}(X_{S_1})} P_{\text{col}(X_{S_2})})$$
  Dit is gelijk aan de som van de kwadraten van de cosinus van de hoofdhoeken tussen de subruimten. Deze maatstaf varieert glad naarmate de correlatie toeneemt en reduceert tot de traditionele telling bij orthogonale features.
• Subruimte-stabiliteit: De stabiliteit van een feature-set $S$ wordt gemeten als de mate waarin de subruimte $\text{col}(X_S)$ uitgelijnd is met de gemiddelde projectiematrix $P_{\text{avg}}$ die wordt gegenereerd door subsampling.
  $$\pi(S) := \sigma_{|S|}(P_{\text{col}(X_S)} P_{\text{avg}} P_{\text{col}(X_S)})$$
  Hierbij is $\sigma_{|S|}$ de $|S|$-de singuliere waarde. Een hoge $\pi(S)$ betekent dat de subruimte stabiel is over verschillende steekproeven, zelfs als de exacte features variëren.
• Vervanging van True/False Positives: Traditionele tellingen van waar- en vals-positieven worden vervangen door continue maatstaven gebaseerd op de uitlijning van de geschatte subruimte met de ware subruimte en de orthogonale complementen daarvan.

Algoritme: Feature Subspace Stability Selection (FSSS)
De auteurs stellen een algoritme voor om meerdere stabiele modellen te vinden:

1. Subsampling: Pas een basisprocedure (bijv. Lasso of $\ell_0$-regressie) toe op $B$ subsamples om sets $\{\hat{S}^{(\ell)}\}$ te krijgen.
2. Gemiddelde Projectie: Bereken $P_{\text{avg}} = \frac{1}{B} \sum P_{\text{col}(X_{\hat{S}^{(\ell)}})}$.
3. Zoekproces: Zoek naar "maximale $\alpha$-stabiele sets". Een set $S$ is $\alpha$-stabiel als $\pi(S) \geq \alpha$.
   • Het algoritme gebruikt een boomstructuur (zoals een greedy search of random walk) om features toe te voegen.
   • Het gebruikt monotoniciteitseigenschappen en een voorselectie-criterium (gebaseerd op de uitlijning van de nieuwe richting met $P_{\text{avg}}$) om de zoekruimte drastisch te verkleinen.
   • Het outputt een collectie van modellen die allemaal voldoen aan de stabiliteitsdrempel, in plaats van slechts één model.

3. Belangrijkste Bijdragen

1. Subruimte-raamwerk: Een theoretisch onderbouwd raamwerk dat continuïteit introduceert in het meten van modelgelijkenis en stabiliteit, specifiek ontworpen voor sterk gecorreleerde data.
2. FSSS Algoritme: Een efficiënt algoritme dat meerdere stabiele modellen kan genereren die de "uitwisselbaarheid" (interchangeability) van gecorreleerde features vastleggen.
3. Theoretische garanties:
   • Bewijzen voor controle van de verwachte False Positive Error (FPE).
   • Bewijzen voor consistentie: FSSS vindt met hoge waarschijnlijkheid modellen die uit de verzameling "even goede modellen" komen (modellen die één feature per signaal-cluster bevatten).
4. Implementatie: De methoden zijn beschikbaar in het R-pakket substab.

4. Resultaten

De auteurs testen hun methode op synthetische data en een reëel gen-expressiedataset voor borstkankerprognose (GSE2990).

• Synthetische Data:

  • FSSS overtreft bestaande methoden (Stability Selection en Cluster Stability Selection) aanzienlijk.
  • Waar traditionele methoden vaak lege modellen selecteren of te kleine modellen produceren door "vote splitting", produceert FSSS grotere modellen met een veel lagere test Mean Squared Error (MSE).
  • In een voorbeeld had FSSS een test MSE van 0,32 met een modelgrootte van 12, terwijl Stability Selection een lege model gaf (MSE 17,38) en Cluster Stability Selection een model van grootte 8 gaf (MSE 9,20).
  • FSSS identificeert correct meerdere stabiele modellen die elkaars substituten zijn.

• Real Data (Borstkanker):

  • FSSS levert modellen met betere voorspellende nauwkeurigheid en een groter aantal geselecteerde features dan de concurrenten.
  • Het onthult biologisch zinvolle substitutiemodellen. Bijvoorbeeld, modellen die verschillen in één gen (bijv. $EIF4G1$ vs $TOP1$) maar sterk gecorreleerd zijn, worden als stabiel en uitwisselbaar erkend.
  • Dit biedt meer inzicht in de onzekerheid van de variabele selectie en de onderliggende biologische structuur.

5. Betekenis en Conclusie

Dit werk is significant omdat het de beperkingen van discrete variabele selectie in de aanwezigheid van multicollineariteit oplost. Door over te schakelen van het tellen van features naar het analyseren van subruimten, biedt het:

• Betere interpretatie: Het erkent dat er vaak geen enkel "beste" model is, maar een verzameling van modellen die vergelijkbare voorspellende kracht hebben (het Rashomon-effect).
• Robuustheid: Het levert modellen die niet gevoelig zijn voor kleine veranderingen in de data of de keuze van de basisprocedure.
• Praktische toepasbaarheid: Het stelt onderzoekers in staat om meerdere, even valide modellen te presenteren, wat essentieel is voor wetenschappelijke interpretatie en besluitvorming in gebieden zoals genetica en geneeskunde.

Samenvattend introduceert deze paper een fundamentele verschuiving in hoe we onzekerheid en stabiliteit meten bij variabele selectie, waarbij subruimte-geometrie wordt gebruikt om de complexiteit van gecorreleerde data te doorgronden.