Technische Samenvatting: Modelselectie voor SLOPE-modellen: Een Bayesiaans Perspectief

Probleemstelling

Sorted $\ell_1$ Penalized Estimation (SLOPE) modellen, inclusief hun groepgebaseerde uitbreidingen (Group SLOPE of gSLOPE, en Sparse-group SLOPE of SGS), bieden een krachtig kader voor variabele- en groepselectie met theoretische controle over de False Discovery Rate (FDR). Deze theoretische garanties zijn echter strikt beperkt tot orthogonale designmatrices met bekende ruisniveaus. In praktische toepassingen zijn designs zelden orthogonaal en is de ruis onbekend.

Huidige modelselectiestrategieën voor SLOPE vertrouwen sterk op kruisvalidatie (CV) of technieken voor ruischatting. CV optimaliseert voor voorspellende prestaties in plaats van FDR-controle, wat vaak leidt tot overfitting en opgeblazen FDR-niveaus. Andere frequentistische benaderingen, zoals Knockoffs of stabiliteitsselectie, worstelen ermee om FDR-controle te behouden onder algemene correlatiestructuren of brengen hoge computationele kosten met zich mee. Er is een kritiek gat in de methodologie voor het selecteren van afstemparameters in SLOPE-modellen die tegelijkertijd FDR-controle, hoge statistische power en voorspellende nauwkeurigheid garanderen in algemene, niet-orthogonale settings.

Methodologie

De auteurs stellen een Bayesiaans kader voor om deze beperkingen aan te pakken, waarbij ze SLOPE-normen inbedden in een spike-and-slab prior-structuur. Deze benadering maakt de gelijktijdige schatting van regressiecoëfficiënten ($\beta$) en ruis ($\sigma^2$) mogelijk, waardoor zij zich aanpast aan de onderliggende sparsiteitsstructuur zonder dat een expliciete afstemming van de strafparameter $\lambda$ nodig is.

1. Voorgestelde Bayesiaanse Modellen

Het artikel introduceert twee primaire modellen:

• Bayesian Group SLOPE (BGSLOPE): Een hiërarchisch model dat het Adaptive Bayesian SLOPE (ABSLOPE) kader uitbreidt naar groepsstructuren. Het maakt gebruik van een continue spike-and-slab prior waarbij groep-inclusie wordt beheerd door een binaire vector $\gamma$ en een mengverhouding $\theta$. De prior straft actieve groepen minder af dan inactieve groepen via een signaalsterkte-ratio parameter $c$.
• Bayesian Sparse-group SLOPE (BSGS): Een nieuw continu spike-and-slab kader voor sparse-group modellen. Het introduceert een selectiemechanisme op twee niveaus met binaire inclusieve vectoren voor zowel groepen ($\gamma$) als individuele variabelen ($\delta$). Dit maakt bi-level selectie mogelijk waarbij variabelen alleen actief kunnen zijn als hun oudergroep actief is. BSGS is het eerste continue spike-and-slab kader dat specifiek is ontworpen voor sparse-group selectie.

Beide modellen maken gebruik van Stochastic Approximation Expectation-Maximization (SAEM) algoritmen voor inferentie. Het SAEM-algoritme vervangt de onhandelbare Expectation-stap van standaard EM door een simulatiestap (Gibbs sampling van latente variabelen) gevolgd door een stochastic approximation stap. Om de berekening te versnellen, stellen de auteurs ook SLOBE varianten voor (GSLOBE en SGSLOBE), die de distributies van latente variabelen benaderen met behulp van hun conditionele verwachtingen in plaats van sampling.

2. Two-Step Orthogonal (TSO)

Als frequentistisch alternatief stelt het artikel de Two-step Orthogonal (TSO) procedure voor. Deze methode transformeert een algemene setting naar een orthogonale setting om de FDR-eigenschappen van SLOPE te herstellen:

1. Selecteer een initiële set variabelen met behulp van Lasso met kruisvalidatie.
2. Orthogonaliseer de geselecteerde designmatrix met behulp van Gram-Schmidt.
3. Fit een SLOPE-model op de georthogonaliseerde matrix met een specifieke strafsequentie (Gaussische sequentie voor laag-dimensionale settings).

Belangrijkste Bijdragen

1. Nieuwe Bayesiaanse Kaders: De ontwikkeling van BGSLOPE en BSGS, die het spike-and-slab kader uitbreiden naar groepgebaseerde SLOPE-modellen. BSGS biedt specifief de eerste continue spike-and-slab formulering voor sparse-group selectie.
2. FDR-controle in Algemene Settings: Door het ruisniveau gelijktijdig met de coëfficiënten te leren, vermijden de Bayesiaanse modellen de mismatch tussen voorspellende optimalisatie (CV) en FDR-controle, en demonstreren zij robuuste FDR-controle, zelfs onder gecorreleerde designs waar frequentistische methoden falen.
3. Algoritmische Implementatie: De afleiding van SAEM-updates voor deze complexe, niet-separable normen, inclusief specifieke Gibbs sampling stappen voor inclusie-indicatoren en signaalsterkte-ratio's.
4. TSO Voorstel: De introductie van een tweestapsprocedure die orthogonalisatie gebruikt om FDR-controle in algemene settings mogelijk te maken, dienend als een computationeel efficiënt frequentistisch alternatief.
5. Uitgebreide Evaluatie: Een uitgebreide vergelijking van deze methoden met state-of-the-art benaderingen (CV, Knockoffs, Scaled Regression, Stability Selection) over synthetische en real-world datasets.

Experimentele Resultaten

Synthetische Studies

De auteurs voerden uitgebreide simulaties uit waarbij variatie werd aangebracht in sparsiteit, signaalsterkte, dimensionaliteit, ruis en correlatiestructuren.

• FDR-controle: De voorgestelde Bayesiaanse modellen (BGSLOPE en BSGS) controleerden de FDR consistent op het beoogde niveau (0.1) in bijna alle settings, inclus\n bij hoge correlatie. In contrast hiermee overschreden CV en andere frequentistische methoden regelmatig het beoogde FDR-niveau, met name onder matige tot sterke correlatie. TSO behield ook FDR-controle, maar met een lagere power.
• Power en Selectie: Onder de methoden die FDR controleerden, bereikten de Bayesiaanse benaderingen de hoogste statistische power en F1-scores. BSGS demonstreerde een superieure nauwkeurigheid in variabele-niveau selectie.
• Voorspelling: Bayesiaanse modellen bereikten de laagste out-of-sample (OOS) voorspellingsfout en Mean Squared Error (MSE) voor coëfficiënten, waarbij zij CV en Knockoffs overtroffen.
• Ruischatting: Hoewel Bayesiaanse modellen redelijke ruischattingen boden, vertoonden methoden zoals AS-SGS (Adaptively Scaled SGS) een hogere nauwkeurigheid in ruischatting maar faalden zij in het controleren van de FDR, wat wijst op een trade-off tussen schattingsprecisie en selectievaliditeit.

Real-world Data Applicaties

De methoden werden toegepast op zeven real-world datasets (waaronder Cancer, Colitis, BRCA1, en Trust-experts).

• Voorspellende Prestaties: Bayesiaanse modellen leverden consequent de beste voorspellende prestaties (laagste Normalized MSE) over de meeste datasets en modeltypen (SLOPE, gSLOPE, SGS).
• Robuustheid: De Bayesiaanse benadering bleek robuust tegen verschillende datakenmerken, terwijl TSO een matige prestatie liet zien op specifieke datasets (bijv. Colitis) wanneer gecombineerd met bepaalde modeltypen.

Betekenis en Claims

Het artikel concludeert dat onder algemene settings, SLOPE-modellen het best toegepast kunnen worden binnen het voorgestelde Bayesiaanse kader. De auteurs beweren dat deze benadering effectief de theoretische FDR-controle eigenschappen van SLOPE herstelt in praktische, niet-orthogonale scenario's.

Belangrijke beweringen zijn onder meer:

• Superioriteit van Bayesiaanse Selectie: De Bayesiaanse methodologie elimineert de noodzaak voor handmatige afstemming van $\lambda$ door het te leren via de ruisparameter, wat een principieel alternatief biedt voor kruisvalidatie dat de selectiedoelen afstemt op FDR-controle.
• Flexibiliteit: Het kader stelt gebruikers in staat om domeinkennis te integreren via prior hyperparameters om de trade-off tussen power en FDR-controle te regelen.
• Praktische Impact: De empirische resultaten tonen aan dat deze modellen niet alleen foutieve ontdekkingen controleren, maar ook minder bevooroordeelde schattingen en een hogere voorspellende nauwkeurigheid bieden vergeleken met concurrerende frequentistische methoden.

De auteurs hanteren een bescheiden toon met betrekking tot de computationele kosten, waarbij ze erkennen dat Bayesiaanse methoden duurder zijn dan frequentistische tegenhangers, maar goed schalen met dimensionaliteit. Ze benadrukken dat de voorgestelde modellen een robuuste oplossing bieden voor hoog-dimensionale regressie waarbij FDR-controle een primair doel is.