PliableBVS: A flexible Bayesian variable selection method for modeling interactions with mandatory modifying variables

Technische Samenvatting van "PliableBVS: Een flexibele Bayesiaanse variabele selectiemethode voor het modelleren van interacties met verplichte modulerende variabelen"

Probleemstelling
Hoogdimensionale interactiemodellen zijn essentieel voor het analyseren van hoe grote sets variabelen (bijv. omics-kenmerken zoals genexpressie) interageren met kleinere sets modulerende variabelen (bijv. klinische covariaten). Hoewel de "pliable lasso" (Tibshirani en Friedman, 2020) is voorgesteld als een efficiënte frequentistische methode voor het screenen van dergelijke interacties onder een asymmetrische zwakke hiërarchische beperking, opereert deze binnen een frequentistisch kader. Deze beperking verhindert de directe voorziening van onzekerheidskwantificering voor parameterschattingen of variabeleselectie. Bovendien hebben standaard gepenaliseerde regressiemethoden vaak moeite om hiërarchische beperkingen tussen hoofd- en interactie-effecten te handhaven terwijl ze robuuste variabeleselectie bieden in hoogdimensionale settings waar het aantal predictoren het aantal monsters ver overstijgt.

Methodologie
De auteurs stellen PliableBVS voor, een Bayesiaanse variabele selectiemethode die het pliable lasso-raamwerk uitbreidt. De methode is ontworpen voor zowel lineaire als logistische regressie-instellingen.

• Modelstructuur: Het model gaat uit van een regressievergelijking waarbij de respons $y$ afhangt van de hoofdeffecten van hoogdimensionale covariaten $X$, verplichte laagdimensionale modulerende variabelen $Z$, en interactietermen tussen $X$ en $Z$. Het model dwingt een asymmetrische zwakke hiërarchie af: een interactie-effect $\theta_{jk}$ kan alleen niet-nul zijn als het bijbehorende hoofdeffect $\beta_j$ ook niet-nul is.
• Prior Specificatie:
  • Spike-and-Slab Priors: Om spaarzaamheid (sparsity) te induceren, maken de auteurs gebruik van zero-inflated mixture priors (spike-and-slab) voor zowel de hoofdeffecten ($\beta_j$) als de interactie-effecten ($\theta_{jk}$).
  • Hiërarchische Beslissingsvariabelen: Twee latente beslissingsparameters, $\rho$ en $\zeta$, regelen de inclusie van hoofdeffecten en interactie-effecten. Deze worden gemodelleerd als waarschijnlijkheden getrokken uit Beta-verdelingen.
  • Conditionele Inclusie: De inclusiekans van een interactieterm is conditioneel op de inclusie van het bijbehorende hoofdeffect. Dit wordt bereikt door een multivariante zero-inflated mixture prior voor $\theta_{jk}$ aan te nemen die alleen actief is als $\beta_j \neq 0$.
  • Shrinkage: Het continue shrinkage-component van de priors volgt een Laplace-verdeling (equivalent aan de Bayesiaanse lasso-variant), terwijl de spike-component een Dirac-delta functie bij nul is.
• Inferentie:
  • Lineaire Regressie: Er is een Gibbs-sampler afgeleid om te samplen uit de gezamenlijke posterieure verdeling van alle parameters, inclusief coëfficiënten, variantiecomponenten en inclusie-indicatoren.
  • Logistische Regressie: Het model wordt uitgebreid naar binaire uitkomsten met behulp van Pólya-gamma augmentatie (Polson et al., 2013). Deze techniek introduceert latente variabelen om de logistische likelihood te representeren als een mengeling van Gaussische verdelingen, waardoor het mogelijk is om dezelfde hiërarchische priors en Gibbs-sampling structuur te gebruiken als in het lineaire geval.
  • Hyperparameter Schatting: De globale strafparameter $\lambda$ wordt geschat via een empirische Bayes-benadering met behulp van een Monte Carlo EM-algoritme.
• Modelselectie: De auteurs maken gebruik van het Median Probability Model (MPM) (Barbieri en Berger, 2004) om variabelen te selecteren. Een variabele wordt in het definitieve model opgenomen als de marginale posterieure inclusiekans groter is dan 0,5.

Belangrijkste Bijdragen

1. Bayesiaanse Uitbreiding van de Pliable Lasso: Het artikel introduceert een coherent probabilistisch raamwerk dat de pliable lasso weerspiegelt, maar volledige posterieure verdelingen biedt, wat onzekerheidskwantificering mogelijk maakt voor zowel parameterschattingen als variabeleselectie.
2. Gestructureerde Spaarzaamheid: De methode dwingt expliciet asymmetrische zwakke hiërarchische beperkingen af via een twee-laags beslissingsvariabele-structuur, wat zorgt voor biologische en statistische plausibiliteit waarbij interacties niet kunnen bestaan zonder hun respectievelijke hoofdeffecten.
3. Algoritmische Implementatie: De auteurs bieden een Gibbs-sampler voor zowel continue als binaire uitkomsten, samen met een open-source R-package (PliableBVS) en een taal-agnostische API om toepassing te vergemakkelijken.

Resultaten
De prestaties van PliableBVS werden geëvalueerd tegenover de frequentistische pliable lasso door middel van simulatiestudies en toepassingen op echte data.

• Simulatiestudies:
  • In diverse scenario's met verschillende signaal-ruisverhoudingen (SNR) en dimensies (zowel laag als hoog-dimensionaal), behaalde PliableBVS consistent een lagere test Mean Squared Error (MSE) en een lager aantal fout-positieven vergeleken met de pliable lasso.
  • Terwijl beide methoden een hoge sensitiviteit bereikten bij het identificeren van ware niet-nul coëfficiënten, vertoonde PliableBVS een superieure specificiteit, waardoor de inclusie van spurious (spook-) variabelen werd verminderd.
  • In hoogdimensionale settings met een hoge SNR toonde PliableBVS een hogere sensitiviteit dan de pliable lasso.
  • De Bayesiaanse benadering leverde stabiele, unimodale marginale posterieure verdelingen voor coëfficiënten.
• Toepassingen op Echte Data:
  • Labor Onset Study (Studies naar het begin van de bevalling): Toegepast op proteomica- en metabolomica-data om de tijd tot spontane bevalling te voorspellen. PliableBVS identificeerde biologisch betekenisvolle eiwitten (bijv. Angiopoietine-2, Endostatine, SLPI) en interacties, waarbij vaak minder kenmerken werden geselecteerd met een lagere test MSE dan de pliable lasso. Het identificeerde succesvol tijd-afhankelijke interactie-effecten voor specifieke eiwitten.
  • Preeclampsie Studie: Toegepast op een longitudinale proteomica-dataset om biomarkers te identificeren voor laat-ontstane preeclampsie (LOPE). Het model identificeerde bekende biomarkers (bijv. CRLF1, HTRA1, FLT1) en nieuwe kandidaten (bijv. FOXM1, CEACAM20). Cruciaal was dat het de zwangerschapsleeftijd-afhankelijke verschuivingen detecteerde in de associatie van bepaalde eiwitten (bijv. CRLF1) met het LOPE-risico, een dynamisch patroon dat mogelijk gemist zou worden als tijdspunten afzonderlijk worden geanalyseerd.

Betekenis en Claims
Het artikel claimt dat PliableBVS een flexibele, interpreteerbare en computationeel efficiënte tool biedt voor hoogdimensionale regressie met gestructureerde interacties. Door de continue shrinkage van de Bayesiaanse lasso te combineren met de discrete variabeleselectie van spike-and-slab priors, verbetert de methode de voorspellende nauwkeurigheid en vermindert het foutieve ontdekkingen vergeleken met zijn frequentistische tegenhanger.

De auteurs benadrukken dat de methode bijzonder waardevol is voor gepersonaliseerde geneeskunde en biomedisch onderzoek waar heterogene effecten worden gemoduleerd door een klein aantal verplichte variabelen. Zij houden echter een bescheiden standpunt aan met betrekking tot de biologische bevindingen: de geïdentificeerde kenmerken en interacties in de toepassingen op echte data worden gepresenteerd als hypothese-genererend in plaats van causaal. De auteurs merken op dat, net als andere hoogdimensionale ontdekkingsanalyses, deze resultaten validatie in onafhankelijke populaties vereisen voordat de klinische relevantie kan worden vastgesteld. Ze erkennen ook dat, vergelijkbaar met andere lasso-type modellen, PliableBVS de neiging heeft om één variabele te selecteren uit een set sterk gecorreleerde predictoren, wat wijst op mogelijke toekomstige uitbreidingen met elastic-net-type priors.