Bayesian factorization via $L_{1/2}$ shrinkage

Titel: Bayesianische Faktorisierung mittels $L_{1/2}$-Shrinkage

Autoren: Shicheng Liu, Qingping Zhou, Yanan Fan, Xiongwen Ke
Institutionen: Central South University, China; Data61, CSIRO, Australien

---

1. Problemstellung

Faktormodelle sind ein weit verbreitetes Werkzeug zur Dimensionsreduktion in hochdimensionalen Daten (z. B. in Genomik, Ökonomie oder Computer Vision). Ein zentrales Problem bei der Anwendung dieser Modelle ist die Unbekanntheit der wahren Dimensionalität der latenten Faktoren.

• Herausforderung: Herkömmliche Methoden wie die Hauptkomponentenanalyse (PCA) liefern in hochdimensionalen Settings oft inkonsistente Schätzungen.
• Bayesscher Ansatz: Um die Anzahl der Faktoren automatisch zu bestimmen, werden Prior-Verteilungen verwendet, die eine "Gruppen-Sparsamkeit" (Group Sparsity) induzieren. Das Ziel ist ein increasing shrinkage (zunehmende Schrumpfung): Die Ladungen (Loadings) der Faktoren sollten mit steigendem Index (also bei weniger wichtigen Faktoren) stärker gegen Null geschrumpft werden.
• Bestehende Limitationen:
  • Gängige Priors wie der Multiplicative Gamma Process (MGP) oder Spike-and-Slab-Varianten besitzen oft komplexe hierarchische Strukturen, was die posterior Inferenz (z. B. via MCMC) rechenintensiv und schwer zu handhaben macht.
  • Andere Ansätze (z. B. CSP) sind zwar theoretisch stark, aber in der Praxis oft schwer zu implementieren oder rechenineffizient.
  • Es fehlt an einer einfachen Prior-Struktur, die sowohl eine starke, garantierte Zunahme der Schrumpfung bietet als auch effiziente Inferenzalgorithmen (Gibbs-Sampling und Variational Inference) ermöglicht.

2. Methodik

Die Autoren schlagen einen neuen bayesschen Ansatz vor, der auf einer $L_{1/2}$-Shrinkage-Prior-Verteilung basiert.

A. Modell und Prior-Spezifikation

Das latente Faktormodell wird als $x_i = B\eta_i + \epsilon_i$ definiert, wobei $B$ die Ladungsmatrix ist.

• Der $L_{1/2}$-Prior: Die Elemente $B_{jk}$ der Ladungsmatrix erhalten einen Prior, der durch eine globale Schrumpfungsparameter $\lambda_k$ gesteuert wird.
• Steigende Schrumpfung: Der entscheidende Innovationsschritt ist die spezifische Wahl der Hyperparameter für die Gamma-Verteilung des globalen Parameters $\lambda_k$. Durch die Parametrisierung $\lambda_k \sim \text{Gamma}(a + k c_1, 1/(k c_2))$ wird sichergestellt, dass die Schrumpfung mit steigendem Faktorindex $k$ stochastisch zunimmt.
• Theoretische Eigenschaften:
  • Es wird bewiesen, dass der Prior mit Wahrscheinlichkeit 1 auf dem Raum der wohldefinierten Kovarianzmatrizen liegt (unter bestimmten Bedingungen für $a, c_1, c_2$).
  • Im Gegensatz zum MGP-Prior, bei dem die zunehmende Schrumpfung nur im Erwartungswert gilt, gilt sie hier auch in Wahrscheinlichkeit (stochastisch).
  • Der Prior weist positive Wahrscheinlichkeit auf beliebig kleine Umgebungen jeder Kovarianzmatrix auf (schwache Konsistenz der Posterior).

B. Inferenzalgorithmen

Um die Posterior-Verteilung zu approximieren, werden zwei Algorithmen entwickelt:

1. Gibbs-Sampler (Exakte Inferenz):

   • Aufgrund der speziellen Struktur der $L_{1/2}$-Prior-Verteilung (die als Gaußsche Mischung dargestellt werden kann) lassen sich bedingte Posterior-Verteilungen für alle Parameter (Ladungen $B$, latente Faktoren $\eta$, Varianzen $\sigma^2$, lokale und globale Schrumpfungsparameter) in geschlossener Form ableiten.
   • Ein Vorteil gegenüber MGP/CSP ist die Unabhängigkeit der bedingten Posteriors der globalen und lokalen Parameter für verschiedene Faktordimensionen, was das Sampling effizienter macht.

2. Variational Inference (VI) – Collapsed Approach:

   • Für sehr große Datensätze ist MCMC oft zu rechenintensiv. Daher wird ein Collapsed Variational Inference-Algorithmus vorgeschlagen, der globale und lokale Schrumpfungsparameter marginalisiert.
   • Approximation: Die Posterior-Verteilung der Ladungsmatrix $B$ wird durch eine multivariate t-Verteilung angenähert (anstatt einer Gaußverteilung), da dies besser mit den schweren Tails des $L_{1/2}$-Priors umgehen kann.
   • Optimierung:
     • Für die Parameter der Mittelwerte und Kovarianzen wird ein Natural Gradient Descent verwendet, um die geometrische Struktur des Parameterraums (positive Definitheit) zu respektieren und eine schnellere Konvergenz zu erreichen.
     • Für den Freiheitsgrad-Parameter $\nu$ der t-Verteilung wird ein Mirror Descent (exponentieller Gradient) verwendet, um die Nicht-Negativitätsbedingung zu erfüllen.
     • Um die nicht-differenzierbaren Terme im Prior zu handhaben, wird eine lokale quadratische Approximation (Minorize-Maximize) genutzt.

3. Wichtige Beiträge

1. Neuer Prior: Einführung einer einfachen $L_{1/2}$-Shrinkage-Prior-Struktur, die eine stärkere und stochastisch garantierte zunehmende Schrumpfung bietet als der etablierte MGP-Prior.
2. Effiziente Inferenz: Entwicklung eines exakten Gibbs-Samplers, der aufgrund der einfachen Struktur des Priors einfacher zu implementieren ist als bei komplexeren hierarchischen Priors.
3. Skalierbare Approximation: Entwicklung eines neuartigen, kollabierten Variational-Inference-Algorithmus mit Natural Gradient und Mirror Descent, der für hochdimensionale Daten geeignet ist.
4. Theoretische Garantien: Beweise für die Konsistenz des Priors und die Eigenschaft der zunehmenden Schrumpfung in Wahrscheinlichkeit.

4. Ergebnisse

Die Methoden wurden auf simulierten Daten und zwei realen Genomik-Datensätzen (Lungenkrebs und PBMC-Zellen) getestet und mit state-of-the-art Methoden (MGP, CSP, SSL-IBP) verglichen.

• Simulationsstudien:

  • Die vorgeschlagenen Methoden ($L_{1/2}$-GS und VI) liefern genauere Schätzungen der Kovarianzmatrix (niedrigerer Frobenius-Fehler) als MGP und CSP.
  • Sie identifizieren die effektive Anzahl der latenten Faktoren ($\hat{K}$) präzise (oft exakt 5 in den Tests), während andere Methoden zu viele Faktoren beibehalten oder die Sparsamkeit falsch einschätzen.
  • Rechenzeit: Der Gibbs-Sampler für $L_{1/2}$ profitiert stark von GPU-Beschleunigung und ist dort schneller als MGP/CSP. Die VI-Methode ist über alle Plattformen hinweg deutlich schneller als die MCMC-Verfahren.

• Reale Datenanwendungen:

  • Lungenkrebs-Datensatz: Die Methoden trennen erfolgreich vier Tumorarten. Die $L_{1/2}$-Methode zeigt eine klare Tendenz zur Schrumpfung der Ladungen für höhere Faktordimensionen.
  • PBMC-Datensatz (scRNA-seq): Bei der Analyse von 2.700 Zellen und 32.000 Genen ermöglichten die latenten Faktorscores eine erfolgreiche Clustering der Zelltypen (z. B. T-Zellen, B-Zellen, Monozyten). Die identifizierten Marker-Gene stimmen gut mit biologischem Wissen überein.
  • Vergleich: Während MGP und CSP die Ladungen nur auf kleine Werte schrumpfen, bringen die $L_{1/2}$-Methoden die Ladungen für irrelevante Faktoren effektiv auf Null, was zu einer besseren Dimensionsreduktion führt.

5. Bedeutung und Fazit

Das Papier stellt einen bedeutenden Fortschritt in der bayesschen Faktorenanalyse dar. Es adressiert das Dilemma zwischen theoretisch starken, aber rechenintensiven Priors und einfachen, aber weniger effektiven Methoden.

• Praktische Relevanz: Die Kombination aus einfacher Prior-Struktur und effizienten Inferenzalgorithmen (sowohl exakt als auch approximativ) macht das Verfahren für moderne, hochdimensionale Anwendungen (wie Single-Cell-RNA-Sequenzierung) hochgradig skalierbar.
• Leistung: Die Ergebnisse zeigen, dass die $L_{1/2}$-Shrinkage oft genauere Schätzungen liefert als der aktuelle Goldstandard (MGP), bei gleichzeitig guter Rechenleistung, insbesondere durch die Nutzung von GPUs und Variational Inference.
• Zukunftsperspektive: Die Autoren sehen Potenzial in der Anwendung dieses Priors auf unendlich breite neuronale Netze, um dort die Netzbreite automatisch zu selektieren, was jedoch neue Inferenzalgorithmen erfordert.

Zusammenfassend bietet dieser Ansatz eine robuste, theoretisch fundierte und rechnerisch effiziente Alternative für die Dimensionsreduktion in komplexen statistischen Modellen.