2D Stability Selection: Design Jittering for Doubly Stable Feature Selection

Technische Samenvatting: 2D Stabiliteitsselectie: Ontwerp-Jittering voor Dubbel Stable Feature Selection

Probleemstelling
Bij regressie met hoge dimensies lijden procedures voor feature selectie vaak onder instabiliteit die wordt veroorzaakt door twee verschillende bronnen: (1) variabiliteit in steekproeven, waarbij verschillende steekproeven uit dezelfde verdeling verschillende sets van geselecteerde features opleveren, en (2) meetfouten (fouten in variabelen), waarbij ruis in de ontwerpmatrix $X$ de effectieve voorspellers verandert. Hoewel bestaande methoden zoals Stability Selection variabiliteit in steekproeven aanpakken via sub-steekproeven en aggregatie, testen ze de robuustheid van geselecteerde features tegenover ruisachtige voorspellers niet expliciet. De auteurs stellen dat onstabiele selecties moeilijk te reproduceren zijn en niet generaliseren, wat een kader vereist dat stabiliteit afdwingt over zowel randomisatie als toenemende niveaus van ontwerpruis.

Methodologie: Dubbel Stable Feature Selection
Het artikel introduceert "dubbel stable feature selection", een perturbatie-en-aggregatiekader dat de stabiliteit van features langs twee assen evalueert:

1. Randomisatiestabiliteit: Stabiliteit over gerandomiseerde realisaties bij een vast ruisniveau.
2. Stabiliteit bij Meetfouten: Stabiliteit naarmate de grootte van de meetfout (perturbatie) toeneemt.

De kernprocedure omvat:

• Ontwerp-Jittering: Het injecteren van gecontroleerde additieve Gaussische ruis $W$ in de ontwerpmatrix $X$, waardoor een verstoord matrix $X(\delta) = X + W$ ontstaat, waarbij de elementen van $W$ i.i.d. $N(0, \delta^2)$ zijn.
• Aggregatie: Voor een vast verstooringsniveau $\delta$ wordt de basisselector (bijvoorbeeld Lasso, Elastic Net, SCAD) $B$ keer aangepast aan verstoord datasets. De selectiefrequentie voor elke feature wordt berekend.
• Ruispad-analyse: Dit proces wordt herhaald over een rooster van toenemende ruisniveaus $\delta \in [0, \infty)$. Dit genereert een "stabiliteitspad" (selectiefrequentie versus $\delta$) in plaats van een traditioneel regularisatiepad (oplossing versus $\lambda$).
• $\delta$-Gemiddelde Selectie: Om de definitieve feature-set te bepalen, aggregeert de methode de selectiefrequenties over het rooster van $\delta$-waarden. Features worden geselecteerd op basis van hun gemiddelde selectiefrequentie ($\bar{f}_j$) over het ruisrooster.
• Drempelwaardebepaling: De ware modelgrootte wordt geschat door de grootste daling in de gesorteerde $\delta$-gemiddelde frequenties te identificeren, wat een datagedreven drempelwaarde mogelijk maakt zonder dat orakelkennis van de ware grootte van het actieve set vereist is.

Theoretische Bijdragen
De auteurs bieden theoretische garanties, voornamelijk voor de Lasso onder de Irrepresentable Condition (IC):

• Robuustheid bij Kleine Perturbaties: Ze bewijzen (Lemma 1) dat als het oorspronkelijke ontwerp aan de IC voldoet, voldoende kleine additieve perturbaties deze voorwaarde behouden, zij het met een verminderde marge.
• Extensie met Hoge Kans: Stelling 1 breidt dit uit naar Gaussische perturbaties, waarbij wordt aangetoond dat de IC met hoge kans geldt voor kleine ruisniveaus.
• Support Recovery: Onder een scheidingss assumptie (Assumptie 1), waarbij de gemiddelde selectiefrequentie van actieve features die van inactieve features met een marge $\gamma$ overtreft, garandeert Stelling 2 dat het drempelen van de $\delta$-gemiddelde empirische frequenties de ware support $S$ met hoge kans herstelt. De foutgrens neemt af naarmate het aantal perturbaties ($B$) en het aantal roosterpunten ($m$) toenemen.

Empirische Resultaten
Experimenten werden uitgevoerd op synthetische data ($n=100, p=1000$) en een real-world Affymetrix Rat Genome microarray dataset ($n=120, p=3083$).

• Synthetische Data: De methode werd vergeleken met standaard Lasso, Elastic Net en Stability Selection (gebaseerd op sub-steekproeven) over verschillende niveaus van meetfouten ($\delta_{obs}$).
  • In ruisvrije of laag-ruis regimes presteerden aggregatie-gebaseerde methoden (inclusief Stability Selection) goed.
  • Naarmate de meetfout toenam ($\delta_{obs} \ge 1$), stortten standaard single-fit methoden in. Stability Selection bleef robuust maar werd gevoelig voor keuzes van drempelwaarden.
  • De voorgestelde "Jitter"-methode behaalde consistent de hoogste of bijna-hoogste F1-scores en stabiliteitsmetrieken in hoog-ruis regimes, wat superieure robuustheid tegenover meetfouten aantoont in vergelijking met sub-steekproeven-benaderingen.
• Real Data: Op de rat gen-expressie dataset selecteerde de datagedreven jitter-procedure vier probes die geassocieerd zijn met het TRIM32-gen. Daarentegen selecteerde sub-steekproeven-gebaseerde Stability Selection met de Lasso geen enkele feature, zelfs niet met permissieve drempelwaarden, wat de capaciteit van de methode benadrukt om signalen te extraheren waar traditionele stabiliteitsselectie faalde.

Betekenis en Claims
Het artikel claimt dat dit kader drie primaire voordelen biedt:

1. Methodonafhankelijk: Het is toepasbaar op elke selectieprocedure die aan milde regulariteitsvoorwaarden voldoet.
2. Volledige Steekproefbenutting: In tegenstelling tot sub-steekproeven-benaderingen (bijvoorbeeld Stability Selection) behoudt het de volledige steekproefgrootte $n$ door het ontwerp te verstoren in plaats van data te verwijderen.
3. Diagnostische Nut: Het biedt een diagnostisch hulpmiddel (het ruispad) dat expliciet onthult hoe feature selectie degradeert onder meetfouten, en het effect van ontwerp-perturbaties isoleert.

De auteurs concluderen dat hoewel de methode verbeterde robuustheid toont, de prestaties in hoog-ruis regimes worden beperkt door de nauwkeurigheid van het schatten van de modelgrootte (de stap van drempelwaardebepaling). Zij identificeren het uitbreiden van de theorie naar niet-Gaussische ruis en het ontwikkelen van robuustere strategieën voor het schatten van modelgrootte als belangrijke richtingen voor toekomstig werk.