Bayesian Joint Additive Factor Models for Multiview Learning

Sintesi Tecnica: Modelli Fattoriali Additivi Congiunti Bayesiani per l'Apprendimento Multiview

Problematica
Il documento affronta la sfida dell'analisi di dati multiview, dove vengono raccolte molteplici tipologie di misurazioni ad alta dimensionalità, rumorose ed eterogenee (ad esempio, genomica, metabolomica, proteomica) sullo stesso set di campioni. Una motivazione primaria è la medicina di precisione, in cui l'integrazione di queste viste è cruciale per comprendere l'eterogeneità dei pazienti e predire gli esiti clinici. Tuttavia, gli approcci standard affrontano ostacoli significativi:

1. Variabilità del Rapporto Segnale-Rumore: Diverse viste possiedono spesso rapporti segnale-rumore vastamente differenti, che i metodi di fusione standard (early o late) non riescono a gestire.
2. Interpretabilità e Identificabilità: I metodi esistenti faticano a disincambiare la variazione condivisa tra le viste dalla variazione specifica di una singola vista, specialmente in contesti ad alta dimensionalità e basso numero di campioni ($p \gg n$).
3. Limitazioni Computazionali e Statistiche: Le attuali formulazioni bayesiane impongono spesso vincoli eccessivamente rigidi, introducono bias o non riescono a stimare simultaneamente il numero di fattori pur separando in modo affidabile le componenti condivise da quelle specifiche per ogni vista. Inoltre, i modelli fattoriali additivi soffrono di problemi specifici di non-identificabilità in cui i fattori specifici della vista possono essere confusi con i fattori condivisi.

Metodologia
Gli autori propongono due modelli di regressione fattoriale bayesiana complementari:

1. Regressione Fattoriale Congiunta (JFR): Un modello baseline che cattura la variazione combinata attraverso tutte le viste utilizzando un unico set di fattori latenti ($\eta_i$). Utilizza prior Independent Cumulative Shrinkage Process (I-CUSP) sulle matrici di carico (loading matrices). Ciò consente al modello di restringere (shrink) adattivamente i fattori non necessari verso lo zero, apprendendo il rango effettivo della struttura condivisa senza doverlo pre-specificare.

2. Regressione Fattoriale Additiva Congiunta (JAFAR): Un modello più sfumato che decompone esplicitamente la variazione in due componenti:

   • Fattori Condivisi ($\eta_i$): Completamente o parzialmente condivisi tra almeno due viste.
   • Fattori Specifici della Vista ($\phi_{mi}$): Unici per una specifica modalità $m$.
     Per affrontare la non-identificabilità inerente alle decomposizioni additive (dove un fattore specifico della vista potrebbe essere matematicamente riespresso come un fattore condiviso sparso), gli autori introducono un prior Dependent Cumulative Shrinkness Process (D-CUSP). Questo prior impone un vincolo durante la fase di adattamento del Gibbs sampling: un fattore è incluso nella componente condivisa se e solo se è attivo in almeno due viste. Ciò garantisce una probabilità nulla (measure-zero) di allocazione errata dei fattori specifici della vista nel set condiviso.

Contributi Tecnici Chiave

• Nuovi Prior (I-CUSP e D-CUSP): Il documento estende il prior CUSP (Legramanti et al., 2020) al contesto multiview. Il D-CUSP affronta specificamente l'identificabilità dei modelli additivi inducendo una dipendenza tra le viste per prevenire la "errata allocazione" dei fattori, un problema non risolto dai normali vincoli di ortogonalità in un framework bayesiano.
• Estensioni Temperate (JFRT e JAFART): Riconoscendo che i prior CUSP standard possono inferire troppi fattori in scenari estremi di $p \gg n$ (dove il rango inferito supera il numero di campioni $n$), gli autori propongono versioni temperate. Queste utilizzano posterior frazionari per trattare la dimensione del campione $n$ come la dimensione effettiva del campione per la selezione del rango, anziché la dimensione delle feature $p$.
• Inferenza Efficiente: Gli autori sviluppano campionatori di Gibbs che sfruttano la sparsità strutturata del modello JAFAR. Eseguendo aggiornamenti congiunti per i fattori latenti e i carichi, ottengono costi computazionali che scalano in modo più favorevole rispetto alle rappresentazioni non partizionate, particolarmente per grandi $p$.
• Post-Processing: Viene introdotto un procedimento Multiview MatchAlign modificato per risolvere le ambiguità di rotazione, etichetta e segno. Questo adatta la rotazione Varimax per rispettare la struttura composita di componenti condivise e specifiche, impedendo alle viste dominanti di distorcere i pattern di sparsità cross-view.

Risultati
I metodi sono stati valutati attraverso studi di simulazione e un'applicazione su dati reali:

• Simulazione (Unsupervised): Nella separazione delle componenti condivise e specifiche della vista, JAFAR con D-CUSP ha recuperato con successo la vera struttura fattoriale. Gli approcci concorrenti (NAIVE e FULL-D priors) hanno fallito nel separare correttamente le componenti, portando a ranghi condivisi gonfiati e una scarsa ricostruzione della covarianza. JFR e JAFAR hanno superato i competitor (BIP, BSFP) nella ricostruzione delle matrici di correlazione intra-vista e inter-vista.
• Simulazione (Supervised): JFR e JAFAR hanno ottenuto un'accuratezza predittiva (MSE e $R^2$) competitiva o superiore rispetto ai competitor allo stato dell'arte (Cooperative Learning, IntegratedLearner, BIP, BSFP). Fondamentalmente, questa accuratezza è stata accompagnata da una ricostruzione accurata delle strutture di dipendenza sottostanti. JAFAR ha dimostrato un vantaggio computazionale significativo, richiedendo circa il 55% in meno di tempo di esecuzione rispetto a JFR pur mantenendo prestazioni predittive simili.
• Applicazione su Dati Reali (Predizione dell'Insorgenza del Travaglio): I modelli sono stati applicati per predire il tempo all'insorgenza del travaglio utilizzando dati dell'immunoma, del metaboloma e del proteoma ($n=53$, $p \approx 6000$).
  • JFR e JAFAR standard hanno inferito ranghi superiori alla dimensione del campione, un problema noto in contesti di estrema alta dimensionalità.
  • Le versioni temperate (JFRT, JAFART) hanno ridotto con successo il numero di fattori inferiti a livelli comparabili a BSFP, mantenendo il framework bayesiano adattivo.
  • In termini di predizione, JAFAR e la sua variante temperata hanno superato BSFP, Cooperative Learning e IntegratedLearner nei test out-of-sample.
  • JAFART ha fornito intervalli di credibilità al 90% meglio calibrati (riduzione dell'overcoverage) rispetto alle versioni non temperate, grazie alla riduzione del rumore di stima derivante da un minor numero di fattori latenti.

Significatività e Rivendicazioni
Il documento sostiene che JFR e JAFAR forniscono un framework completamente bayesiano capace di stimare simultaneamente il numero di fattori, separare la variazione condivisa da quella specifica della vista e fornire una quantificazione accurata dell'incertezza. Gli autori sottolineano che:

• JAFAR è la scelta preferibile per contesti ad alta dimensionalità grazie alla sua efficienza computazionale e maggiore interpretabilità, poiché isola i segnali specifici della vista (che siano genuini o artefatti) dai segnali biologici condivisi.
• Il prior D-CUSP è essenziale per l'identificabilità dei modelli additivi, risolvendo un problema specifico di non-identificabilità che affligge altri approcci di fattorizzazione additiva.
• Le formulazioni temperate offrono una soluzione pratica per i regimi estremi $p \gg n$ dove i modelli fattoriali standard potrebbero inferire strutture ad alto rango spurie.
• Il pacchetto R open-source jafar implementa questi metodi, facilitandone l'applicazione nella medicina di precisione e in altri contesti di apprendimento multiview.

Gli autori rimangono modesti, osservando che, sebbene JFR e JAFAR siano essenzialmente equivalenti in termini di accuratezza della rappresentazione latente, la decomposizione strutturale di JAFAR offre vantaggi distinti per l'inferenza e la scalabilità. Riconoscono inoltre che le versioni temperate sono adattamenti opzionali per scenari specifici estremi piuttosto che un sostituto completo delle formulazioni originali.