Bayesian factorization via $L_{1/2}$ shrinkage

1. Il Problema

I modelli a fattori sono ampiamente utilizzati per la riduzione della dimensionalità in dati ad alta dimensione (es. genomica, scienze sociali, visione artificiale). Tuttavia, l'analisi bayesiana di questi modelli presenta sfide significative:

• Dimensione sconosciuta: Il numero di fattori latenti ($K$) è spesso ignoto.
• Selezione della dimensionalità: È necessario un meccanismo che permetta al modello di includere potenzialmente infiniti fattori, ma che penalizzi progressivamente quelli meno importanti (shrinkage crescente) per selezionare automaticamente la dimensionalità ottimale.
• Complessità inferenziale: I metodi bayesiani esistenti, come il Multiplicative Gamma Process (MGP) o i prior Spike-and-Slab basati su processi di stick-breaking, spesso richiedono strutture gerarchiche complesse. Questo rende l'inferenza posteriore computazionalmente onerosa e difficile da implementare, specialmente con approcci esatti come il campionamento MCMC.
• Limiti delle approssimazioni: Le alternative veloci, come l'inferenza variazionale (VI), faticano spesso a gestire la complessità strutturale di questi prior senza sacrificare l'accuratezza o la stabilità numerica.

2. Metodologia Proposta

Gli autori propongono un nuovo approccio basato su un prior di shrinkage $L_{1/2}$ (introdotti da Ke & Fan, 2025) applicato ai carichi fattoriali (factor loadings).

A. Specifica del Prior

Il modello assume che ogni elemento della matrice di carico $B_{jk}$ segua un prior $L_{1/2}$:
$$\pi(B_{jk} | \lambda_k) = \frac{\lambda_k^2}{4} \exp\left(-\lambda_k |B_{jk}|^{1/2}\right)$$
Il parametro di shrinkage globale $\lambda_k$ per la $k$-esima colonna segue una distribuzione Gamma i cui parametri dipendono dall'indice $k$:
$$\lambda_k \sim \text{Gamma}(a + k c_1, \frac{1}{k c_2})$$
Punto chiave: Impostando opportunamente i parametri iper-priori ($a, c_1, c_2$), si garantisce che la probabilità di shrinkage aumenti con l'indice della colonna ($k$). Questo assicura che i fattori successivi abbiano carichi progressivamente più vicini allo zero, permettendo una selezione automatica della dimensionalità.

B. Proprietà Teoriche

Gli autori dimostrano che questo prior:

1. Garantisce che la matrice di covarianza sia ben definita e positiva semi-definita.
2. Possiede la proprietà di shrinkage crescente in probabilità (non solo in speranza, come nel caso MGP), garantendo che $P(|B_{j, k+1}| \le \epsilon) > P(|B_{j, k}| \le \epsilon)$.
3. Assegna probabilità positiva a qualsiasi intorno di una matrice di covarianza, garantendo la consistenza debole della posterior.

C. Algoritmi di Inferenza

Per l'inferenza, vengono proposti due algoritmi:

1. Gibbs Sampler (Inferenza Esatta): Sfruttando la rappresentazione come miscela gaussiana del prior $L_{1/2}$, gli autori derivano un campionatore di Gibbs efficiente. Un vantaggio cruciale rispetto ai prior MGP/CSP è che le distribuzioni condizionali dei parametri di shrinkage globale e locale sono indipendenti per diverse dimensioni latenti, facilitando il campionamento parallelo.
2. Inferenza Variazionale (VI) Collassata: Per scalabilità su grandi dataset, viene proposto un algoritmo VI che marginalizza (collassa) i parametri di shrinkage globale e locale.
   • La distribuzione approssimante per i carichi $B$ è una distribuzione $t$ multivariata (che include la gaussiana come caso limite).
   • L'ottimizzazione dell'ELBO (Evidence Lower Bound) utilizza il gradiente naturale per aggiornare i parametri di posizione e scala, gestendo i vinchi di positività della matrice di precisione.
   • Per il parametro di gradi di libertà ($\nu$), viene utilizzata una strategia di mirror descent con mappatura esponenziale.

3. Contributi Chiave

• Nuovo Prior Semplice ed Efficace: Introduce un prior $L_{1/2}$ con struttura semplice che mantiene la proprietà di shrinkage crescente, superando la complessità gerarchica dei prior MGP e CSP.
• Inferenza Esatta e Scalabile: Fornisce sia un Gibbs sampler esatto (più veloce di quelli esistenti per certi prior grazie all'indipendenza condizionale) sia un algoritmo VI robusto e veloce.
• Superiorità Computazionale: Dimostra che l'approccio proposto è più efficiente in termini di tempo di calcolo e utilizzo della memoria rispetto agli stati dell'arte, specialmente quando sfruttato su GPU.

4. Risultati Sperimentali

Gli autori hanno valutato i metodi su dati sintetici e reali (dataset di espressione genica del cancro al polmone e PBMC).

• Dati Sintetici:
  • Il metodo proposto (sia GS che VI) ha mostrato prestazioni superiori o comparabili ai competitor (MGP, CSP, SSL-IBP) nella stima della matrice di covarianza (norma di Frobenius) e nella selezione della dimensionalità corretta.
  • Il Gibbs sampler per $L_{1/2}$ ha mostrato un Effective Sample Size (ESS) superiore, indicando una migliore esplorazione dello spazio delle posteriori.
  • Velocità: Su GPU, il Gibbs sampler per $L_{1/2}$ è risultato il più veloce tra i metodi MCMC. L'algoritmo VI è stato significativamente più veloce di tutti i metodi MCMC, offrendo un ottimo compromesso velocità-accuratezza.
• Dati Reali:
  • Nel dataset del cancro al polmone, il modello ha identificato correttamente i geni significativi e distinto i tipi tumorali.
  • Nel dataset PBMC (scRNA-seq), il modello ha permesso un clustering cellulare efficace e l'identificazione di geni marcatore coerenti con la biologia nota, dimostrando la capacità di gestire dati ultra-dimensionali ($p \gg n$).

5. Significato e Implicazioni

Questo lavoro è significativo perché risolve il compromesso tra complessità strutturale e efficienza computazionale nei modelli a fattori bayesiani.

• Semplificazione: Sostituisce strutture gerarchiche complesse con un prior matematicamente maneggevole che non sacrifica le proprietà teoriche desiderate (shrinkage crescente).
• Scalabilità: L'approccio VI proposto rende fattibile l'analisi bayesiana di modelli a fattori su dataset di dimensioni massive (es. migliaia di geni e cellule), un compito spesso proibitivo con i soli metodi MCMC.
• Versatilità: La struttura del prior e gli algoritmi di inferenza possono essere potenzialmente estesi ad altri modelli, inclusi le reti neurali a larghezza infinita, aprendo nuove direzioni di ricerca.

In sintesi, il paper propone un framework robusto per l'analisi fattoriale bayesiana che combina rigore teorico, semplicità implementativa e alta efficienza computazionale, superando i limiti dei metodi attuali.