Spectral decomposition-assisted multi-study factor analysis

Technische Samenvatting: Spectral Decomposition-assisted Multi-study Factor Analysis (BLAST)

Probleemstelling
Het artikel behandelt de uitdaging van covariante schatting in multi-studie data, met name in hoogdimensionele settings zoals omics, waar aanzienlijke variatie tussen studies de replicatie van bevindingen vaak belemmert. Het doel is om data van meerdere studies ($S$) gezamenlijk te analyseren om onderscheid te maken tussen gemeenschappelijke (gedeelde) en studie-specifieke componenten van variatie. De auteurs richten zich op het factoranalytische model:
$$y_{si} = \Lambda \eta_{si} + \Gamma_s \phi_{si} + e_{si}$$
waarbij $\Lambda$ de gedeelde loadings representeert, $\Gamma_s$ de studie-specifieke loadings representeert, $\eta_{si}$ en $\phi_{si}$ de latente factoren zijn, en $e_{si}$ de residuele ruis is.

Bestaande benaderingen kampen met significante beperkingen:

1. Computationele knelpunten: Maximum Likelihood (EM) en Bayesiaanse (Gibbs sampling) methoden lijden onder trage convergentie en mixing-problemen wanneer het aantal variabelen ($p$) groot is.
2. Variational Inference (VI): Hoewel sneller, missen VI-algoritmen vaak theoretische garanties, onderschatten ze de onzekerheid en leveren ze een onbevredigende schattingsnauwkeurigheid.
3. Identificeerbaarheid en spectrale methoden: Eerdere spectrale benaderingen falen vaak in het bieden van onzekerheidskwantificering of vereisen restrictieve aannames (bijv. orthogonale loadings of extreem grote $p$) om competitief te zijn. Bovendien is het model niet identificeerbaar zonder specifieke restricties, en worden bestaande restricties (bijv. het vereisen van volledige rang van gecombineerde loadings) vaak niet afgedwongen tijdens de schatting, wat leidt tot slechte prestaties.

Methodologie: BLAST
De auteurs stellen BLAST voor (Bayesian Latent Analysis through Spectral Training), een methodologie die spectrale decompositie voor factor-schatting combineert met surrogate Bayesiaanse regressie voor inferentie. De procedure vermijdt dure Markov chain Monte Carlo (MCMC) sampling.

1. Spectrale schatting van latente factoren:

   • Scheiding van Gedeeld versus Specifiek: De methode berekent de singuliere waarde-decompositie (SVD) voor de data-matrix van elke studie om projectiematrices op de dominante subruimten te verkrijgen.
   • Gemiddelde van Projecties: Deze studie-specifieke projecties worden gemiddeld. Het signaal langs gedeelde assen wordt behouden, terwijl studie-specifieke richtingen worden gedempt. De leidende singuliere vectoren van deze gemiddelde matrix schatten de gedeelde subruimte ($\Lambda$).
   • Orthogonale Projectie: De gedeelde subruimte wordt uit geprojecteerd om studie-specifieke variatie te isoleren, waardoor de schatting van studie-specifieke factoren ($\phi_{si}$) mogelijk wordt. Omgekeerd worden studie-specifieke factoren uit geregresseerd om gedeelde variatie te isoleren voor het schatten van de gedeelde factoren ($\eta_{si}$).
   • Dimensiekeuze: Latente dimensies ($k_0$ voor gedeeld, $q_s$ voor specifiek) worden geschat met een combinatie van een Joint Information Criterion (JIC) en een spectrale gap-regel (elbow method) op de gemiddelde projectiematrix.

2. Surrogate Bayesiaanse Regressie:

   • Gegeven de geschatte latente factoren, reduceert het probleem zich tot $p$ afzonderlijke regressieproblemen voor de loading-matrices ($\Lambda$ en $\Gamma_s$).
   • Priors: Conjugeerde normal-inverse gamma priors worden geplaatst op de rijen van de loading-matrices en de residuele varianties.
   • Posterior Berekening: De posterior distributies worden analytisch afgeleid. De posterior mean komt overeen met een ridge regressie oplossing.
   • Parallellisatie: Vanwege de onafhankelijkheid van de rijen in de prior-specificatie, factoriseert de posterior over de uitkomsten, wat massale parallellisatie mogelijk maakt en MCMC omzeilt.

3. Onzekerheidskwantificering en Kalibratie:

   • De auteurs merken op dat standaard betrouwbaarheidsintervallen van de surrogate posterior last hebben van milde onderdekking (under-coverage).
   • Variantie-inflatie: Om asymptotisch valide frequentistische dekking te bereiken, wordt een variantie-inflatiefactor ($\rho$) analytisch afgeleid op basis van de signaal-ruisverhoudingen van de geschatte loadings. Deze factor wordt afgestemd om te garanderen dat de betrouwbaarheidsintervallen de juiste asymptotische dekking hebben.
   • Empirical Bayes: Hyperparameters (prior varianties) worden geschat via Empirical Bayes om dataadaptiviteit te waarborgen.

Belangrijke Theoretische Bijdragen
Het artikel vestigt sterke frequentistische garanties in een dubbele asymptotische regime waarin zowel de steekproefomvang ($n$) als de dimensie ($p$) divergeren:

• Consistentie: De punt-schatters voor de laag-rang componenten ($\Lambda\Lambda^\top$ en $\Gamma_s\Gamma_s^\top$) zijn consistent.
• Contraction Rates: De posterior contraheert rond de ware parameters met snelheden van $O(1/\sqrt{n} + 1/\sqrt{p})$.
• Centrale Limietstelling (CLT): Entry-wise schatters zijn asymptotisch normaal verdeeld.
• Bernstein-von Mises Theorem: De geïnduceerde posterior distributie op de laag-rang componenten convergeert naar een Gaussische distributie gecentreerd rond de ware parameter met een specifieke variantiestructuur, wat het gebruik van de variantie-inflatiefactoren voor valide betrouwbaarheidsintervallen rechtvaardigt.
• Blessing of Dimensionality: De benaderingsfout neemt af naarmate zowel de steekproefomvang als de datadimensie toenemen, wat een "blessing of dimensionality" formaliseert voor deze klasse modellen.

Empirische Resultaten
Numerieke experimenten vergelijken BLAST met Variational Inference (SVI, CAVI), de spectrale estimator van Ando & Bai (2017), en MCMC-gebaseerde benaderingen (in aanvullend materiaal).

• Nauwkeurigheid: BLAST presteert aanzienlijk beter dan variational methoden in het schatten van zowel laag-rang variantiecomponenten als latente factoren. Het is competitief met of superieur aan de Ando & Bai spectrale estimator, vooral wanneer de loadings niet strikt orthogonaal zijn of wanneer $p$ niet extreem groot is.
• Onzekerheidskwantificering: BLAST biedt goed gekalibreerde 95% betrouwbaarheidsintervallen (nabij 95% dekking), terwijl variational methoden lijden onder ernstige onderdekking (vaak onder de 30-50%).
• Computationele Snelheid: BLAST is aanzienlijk sneller dan MCMC en competitief of zelfs sneller dan VI en spectrale methoden, waarbij het efficiënt schaalt naar duizenden variabelen.
• Toepassing op Real-World Data: De methode werd toegepast op de integratie van drie genexpressie-studies (ImmGen project) betreffende immuuncellen. BLAST slaagde erin om te schalen naar duizenden genen (2.846 en 7.870 genen), waarbij het concurrerende methoden overtrof in out-of-sample voorspellingsnauwkeurigheid (MSE) en log-likelihood, terwijl het betrouwbare voorspellingsintervallen bood.

Betekenis en Claims
De auteurs beweren dat BLAST een "snel algoritme biedt om accurate punt- en interval-schattingen te verkrijgen in multi-study factor analyse" zonder de computationele broosheid van MCMC. De betekenis van het werk ligt in:

1. Schaalbaarheid: Het mogelijk maken van de analyse van hoogdimensionele multi-studie data (duizenden genen) die voorheen computationeel onhaalbaar was voor Bayesiaanse methoden.
2. Theoretische Rigor: Het bieden van de eerste set sterke frequentistische garanties (CLT, BvM, contraction rates) voor een Bayesiaans multi-studie factor model met gedeelde en specifieke componenten, waarbij de "blessing of dimensionality" wordt geformaliseerd.
3. Praktisch Nut: Het aantonen dat spectrale decompositie effectief gecombineerd kan worden met Bayesiaanse inferentie om gedeelde en specifieke variatie te ontrafelen, wat een robuust alternatief biedt voor variational inference die de onzekerheid vaak onderschat.

Het artikel concludeert dat de methodologie bijzonder geschikt is voor het integreren van genomische datasets om robuuste schattingen van gen-associaties te verkrijgen en de inferentie op binnen- en tussenstudie covariantie in klinische data te verbeteren.