Bayesian factorization via $L_{1/2}$ shrinkage

Titel: Bayesiaanse factorisatie via $L_{1/2}$-shrinking

Auteurs: Shicheng Liu, Qingping Zhou, Yanan Fan en Xiongwen Ke
Datum: 31 maart 2026

1. Probleemstelling

Factormodellen worden veel gebruikt voor dimensiereductie van hoogdimensionale data door een laag-rang factorisatie van de covariantiematrix uit te voeren. Een centrale uitdaging in de Bayesiaanse factoranalyse is het bepalen van het aantal latente factoren ($K$), dat vaak onbekend is.

• Huidige aanpak: Bestaande Bayesiaanse methoden gebruiken vaak priors met "increasing shrinkage" (toenemende shrinking), zoals de Multiplicative Gamma Process (MGP) prior. Deze priors zorgen ervoor dat de ladingen (loadings) van latente factoren met een hogere index sterker naar nul worden geduwd, waardoor overbodige factoren automatisch worden geselecteerd.
• Nadeel: Deze bestaande priors hebben vaak complexe hiërarchische structuren, wat posterior-inferentie (het schatten van de parameters) computatief zwaar maakt en de implementatie van MCMC-algoritmen (zoals Gibbs sampling) bemoeilijkt.
• Doel: De auteurs willen een eenvoudiger prior ontwikkelen die dezelfde toenemende shrinking-eigenschap behoudt, maar wel een efficiëntere en nauwkeurigere inferentie mogelijk maakt, zowel via exacte methoden (MCMC) als via snelle benaderingen (Variational Inference).

2. Methodologie

De auteurs stellen een nieuwe prior voor gebaseerd op de $L_{1/2}$-shrinking (Ke & Fan, 2025) en ontwikkelen twee inferentie-algoritmen.

A. Het Model en de Prior

Het model is een standaard lineair factormodel:
$$x_i = B\eta_i + \epsilon_i$$
waarbij $B$ de $p \times K$ factorladingsmatrix is.

De kerninnovatie is de specificatie van de prior voor de elementen $B_{jk}$:

• $L_{1/2}$-Shrinkage Prior: In plaats van complexe hiërarchische structuren, gebruiken ze een prior waarbij de globale shrinking-parameter $\lambda_k$ stochastisch toeneemt met de kolomindex $k$.
• Specificatie:
  $$\pi(B_{jk} | \lambda_k) \propto \exp(-\lambda_k |B_{jk}|^{1/2})$$
  De parameter $\lambda_k$ volgt een Gamma-verdeling met parameters die afhangen van $k$ (namelijk $a + k c_1$ en $1/k c_2$).
• Eigenschap: Door de parameters zorgvuldig te kiezen ($a \ge 4, c_1 + c_2 > 1/4$), garanderen de auteurs dat de prior de eigenschap van toenemende shrinking bezit: elementen in latere kolommen van $B$ worden met hogere waarschijnlijkheid dichter bij nul geduwd dan elementen in eerdere kolommen. Dit is sterker dan bij de MGP-prior, waar deze eigenschap alleen in verwachting (expectation) geldt en niet in waarschijnlijkheid.

B. Inferentie Algoritmen

Om de posterior te benaderen, stellen de auteurs twee methoden voor:

1. Gibbs Sampler (Exacte Inferentie):

   • Een MCMC-algoritme dat exacte steekproeven trekt uit de posterior.
   • Dankzij de eenvoudige structuur van de $L_{1/2}$-prior kunnen de conditionele posteriors van de globale en lokale shrinking-parameters onafhankelijk worden gesampled voor verschillende dimensies $k$. Dit is een groot voordeel ten opzichte van MGP en CSP-priors, waar deze afhankelijkheid bestaat.
   • Het algoritme gebruikt een Gaussische mengselrepresentatie om de sampling te faciliteren.

2. Variational Inference (VI) - Gecollabseerde Benadering:

   • Voor grotere datasets is MCMC te traag. De auteurs ontwikkelen een Collapsed Variational Inference methode.
   • Ze marginaliseren (integreren) de globale en lokale shrinking-parameters uit de variational posterior, wat de nauwkeurigheid verbetert.
   • Optimalisatie: Omdat de posterior van $B$ niet tot een standaardverdeling behoort, benaderen ze $q(B)$ met een multivariate t-verdeling.
   • Ze gebruiken Natural Gradient Descent om de variational parameters te updaten, wat zorgt voor snellere convergentie en het behoud van de positief-definite eigenschappen van de precisiematrix.
   • Voor de vormparameter ($\nu$) van de t-verdeling gebruiken ze een Mirror Descent (expontiated gradient) update om de constraint $\nu > 2$ te respecteren.

3. Belangrijkste Bijdragen

1. Nieuwe Prior: Introductie van een $L_{1/2}$-shrinking prior voor factormodellen die een eenvoudige structuur heeft maar wel de wenselijke eigenschap van "toenemende shrinking" in waarschijnlijkheid bezit.
2. Efficiënte Inferentie: Ontwikkeling van een Gibbs sampler die makkelijker te implementeren is dan bestaande methoden vanwege de onafhankelijkheid van conditionele posteriors.
3. Snelle Benadering: Een novel "collapsed variational inference" algoritme dat gebruikmaakt van multivariate t-verdelingen en natural gradients, wat leidt tot snelle schaalbaarheid voor grote datasets.
4. Theoretische Garanties: Bewijzen dat de prior volledige steun heeft op de ruimte van geldige covariantiematrices en dat de posterior consistent is.

4. Resultaten

De methoden werden getest op synthetische data en twee reële genomics-datasets (Longkanker en PBMC).

• Synthetische Data:

  • De $L_{1/2}$-methoden (zowel Gibbs als VI) presteerden over het algemeen beter dan de concurrenten (MGP, CSP) in termen van nauwkeurigheid (Frobenius-norm van de covariantiematrix) en het correct schatten van het aantal factoren.
  • Ze werden soms iets verslagen door de SSL-IBP methode (spike-and-slab), maar SSL-IBP had vaak een veel hogere False Negative Rate (FNR) en faalde bij het schatten van de dimensie in sommige scenario's.
  • Snelheid: De VI-methode was aanzienlijk sneller dan de Gibbs sampler. Op GPU-hardware presteerde de Gibbs sampler voor $L_{1/2}$ zelfs beter dan die voor MGP en CSP, wat wijst op een betere parallelisatie.

• Reële Data (Genomics):

  • Longkanker Dataset: De methode slaagde erin om biologisch betekenisvolle factoren te identificeren die de vier tumorsoorten onderscheiden. De $L_{1/2}$-prior toonde een duidelijke trend van afnemende normen voor latere factoren, wat effectieve dimensiereductie bevestigt.
  • PBMC Dataset (Single-cell RNA-seq): De methode werd gebruikt om cellen te clusteren. De resulterende clusters (gevisualiseerd via UMAP) kwamen overeen met bekende celtypen (zoals B-cellen, Monocyten, NK-cellen). De marker-genen die werden geïdentificeerd waren biologisch valide.
  • De resultaten van de VI en Gibbs sampler waren zeer vergelijkbaar, hoewel de Gibbs sampler iets meer sparsiteit (niet-nul elementen) produceerde, wat bij kleine steekproefgroottes (klein $n$, groot $p$) aanbevolen wordt.

5. Betekenis en Conclusie

Dit artikel biedt een krachtig alternatief voor bestaande Bayesiaanse factoranalysemethoden.

• Voordeel: De combinatie van een mathematisch elegante prior ($L_{1/2}$) met zowel exacte als snelle variational inferentie maakt het model zeer flexibel. Het lost het probleem van complexe hiërarchieën op dat veel bestaande priors (zoals MGP) hebben.
• Schaalbaarheid: De voorgestelde VI-algoritme is uiterst geschikt voor moderne, hoogdimensionale datasets (zoals single-cell RNA-seq), waar traditionele MCMC-methoden vaak te traag zijn.
• Toekomst: De auteurs suggereren dat deze aanpak ook kan worden toegepast op oneindig brede neurale netwerken om de breedte van het netwerk te selecteren, wat een nieuwe onderzoeksrichting opent.

Kortom, de auteurs tonen aan dat een eenvoudige, goed gekozen prior in combinatie met geavanceerde optimisatietechnieken (Natural Gradient, Mirror Descent) leidt tot superieure prestaties in zowel nauwkeurigheid als rekentijd voor Bayesiaanse factormodellen.