Bayesian Joint Additive Factor Models for Multiview Learning

Technische Samenvatting: Bayesiaanse Gezamenlijke Additieve Factor Modellen voor Multiview Learning

Probleemstelling
Het artikel behandelt de uitdaging van het analyseren van multiview-data, waarbij meerdere typen hoogdimensionale, ruisgevoelige en heterogene metingen (bijv. genomica, metabolomica, proteomica) worden verzameld op dezelfde set monsters. Een primaire motivatie is precisiegeneeskunde, waarbij het integreren van deze views cruciaal is voor het begrijpen van patiëntheterogeniteit en het voorspellen van klinische uitkomsten. Echter, standaard benaderingen kampen met aanzienlijke hindernissen:

1. Variabiliteit in Signaal-Ruisverhouding: Verschillende views bezitten vaak zeer verschillende signaal-ruisverhoudingen, waar standaard fusiemethoden (early of late fusion) geen rekening mee houden.
2. Interpreteerbaarheid en Identificeerbaarheid: Bestaande methoden hebben moeite met het ontrafelen van variatie die gedeeld wordt tussen views versus variatie die specifiek is voor een enkele view, met name in hoogdimensionale settings met een kleine steekproefomvang ($p \gg n$).
3. Computationele en Statistische Beperkingen: Huidige Bayesiaanse formuleringen leggen vaak te rigide beperkingen op, introduceren bias, of falen erin om gelijktijdig het aantal factoren te schatten terwijl ze gedeelde en view-specifieke componenten betrouwbaar scheiden. Bovendien lijden additieve factormodellen aan specifieke non-identificeerbaarheidsproblemen waarbij view-specifieke factoren kunnen worden verward met gedeelde factoren.

Methodologie
De auteurs stellen twee complementaire Bayesiaanse factorregressiemodellen voor:

1. Joint Factor Regression (JFR): Een baseline model dat de gecombineerde variatie over alle views vangt met behulp van een enkele set latente factoren ($\eta_i$). Het maakt gebruik van Independent Cumulative Shrinkage Process (I-CUSP) priors op de loading matrices. Dit stelt het model in staat om overbodige factoren adaptief naar nul te krimpen, waardoor de effectieve rang van de gedeelde structuur wordt geleerd zonder deze vooraf te specificeren.

2. Joint Additive Factor Regression (JAFAR): Een genuanceerder model dat variatie expliciet decomponeert in twee componenten:

   • Gedeelde Factoren ($\eta_i$): Volledig of gedeeltelijk gedeeld door ten minste twee views.
   • View-Specifieke Factoren ($\phi_{mi}$): Uniek voor een specifieke modaliteit $m$.
     Om de non-identificeerbaarheid aan te pakken die inherent is aan additieve decomposities (waarbij een view-specifieke factor wiskundig opnieuw kan worden uitgedrukt als een ijle gedeelde factor), introduceren de auteurs een Dependent Cumulative Shrinkage Process (D-CUSP) prior. Deze prior dwingt een beperking af tijdens de Gibbs sampling adaptatiestap: een factor wordt opgenomen in de gedeelde component indien en alleen indien deze actief is in ten minste twee views. Dit zorgt voor een kans van nul bij het foutief toewijzen van view-specifieke factoren aan de gedeelde set.

Belangrijke Technische Bijdragen

• Nieuwe Priors (I-CUSP en D-CUSP): Het artikel breidt de CUSP prior (Legramanti et al., 2020) uit naar de multiview-setting. De D-CUSP adresseert specifiek de identificeerbaarheid van additieve modellen door afhankelijkheid tussen views te induceren om "misallocatie" van factoren te voorkomen, een probleem dat niet wordt opgelost door standaard orthogonaliteitsbeperkingen in een Bayesiaans kader.
• Getemperde Extensies (JFRT en JAFART): In het besef dat standaard CUSP priors te veel factoren kunnen afleiden in extreme $p \gg n$ scenario's (waarbij de afgeleide rang de steekproefomvang $n$ overstijgt), stellen de auteurs getemperde versies voor. Deze maken gebruik van fractionele posteriors om de steekproefomvang $n$ te behandelen als de effectieve steekproefomvang voor rangselectie, in plaats van de feature-dimensie $p$.
• Efficiënte Inferentie: De auteurs ontwikkelen Gibbs samplers die profiteren van de gestructureerde ijlheid (sparsity) van het JAFAR-model. Door gezamenlijke updates uit te voeren voor latente factoren en loadings, bereiken zij computationele kosten die gunstiger schalen dan niet-gepartitioneerde representaties, met name voor grote $p$.
• Post-verwerking: Een aangepaste Multiview MatchAlign procedure wordt geïntroduceerd om rotationele, label- en tekenambiguïteiten op te lossen. Deze past de Varimax-rotatie aan om de samengestelde structuur van gedeelde en specifieke componenten te respecteren, waardoor wordt voorkomen dat dominante views de cross-view sparsity patronen verstoren.

Resultaten
De methoden werden geëvalueerd via simulatiestudies en een real-world toepassing:

• Simulatie (Unsupervised): Bij het scheiden van gedeelde en view-specifieke componenten slaagde JAFAR met D-CUSP erin de ware factorstructuur te herstellen. Concurrerende benaderingen (NAIVE en FULL-D priors) faalden in het correct scheiden van componenten, wat leidde tot opgeblazen gedeelde rangen en slechte covariantie-reconstructie. JFR en JAFAR presteerden beter dan concurrenten (BIP, BSFP) in het reconstrueren van zowel intra-view als inter-view correlatiematrices.
• Simulatie (Supervised): JFR en JAFAR behaalden competitieve of superieure voorspellende nauwkeurigheid (MSE en $R^2$) vergeleken met state-of-the-art concurrenten (Cooperative Learning, IntegratedLearner, BIP, BSFP). Cruciaal was dat deze nauwkeurigheid gepaard ging met een accurate reconstructie van de onderliggende afhankelijkheidsstructuren. JAFAR toonde een aanzienlijk computationeel voordeel, waarbij ongeveer 55% minder runtime vereist was dan JFR, terwijl vergelijkbare voorspellende prestaties werden geleverd.
• Real Data Applicatie (Labor Onset Prediction): De modellen werden toegepast om de tijd tot het begin van de bevalling te voorspellen met behulp van immunoom, metaboloom en proteoom data ($n=53$, $p \approx 6000$).
  • Standaard JFR en JAFAR concludeerden rangen die de steekproefomvang overstegen, een bekend probleem in extreme hoogdimensionale settings.
  • De getemperde versies (JFRT, JAFART) slaagden erin het aantal afgeleide factoren te reduceren tot niveaus die vergelijkbaar zijn met BSFP, terwijl het adaptieve Bayesiaanse kader behouden bleef.
  • Wat betrede de voorspelling, presteerden JAFAR en zijn getemperde variant beter dan BSFP, Cooperative Learning en IntegratedLearner in out-of-sample tests.
  • JAFART bood beter gekalibreerde 90% geloofwaardigheidsintervallen (verminderde overdekking) vergeleken met de ongetemperde versies, toegeschreven aan verminderde schattingsruis door minder latente factoren.

Betekenis en Claims
Het artikel claimt dat JFR en JAFAR een volledig Bayesiaans kader bieden dat in staat is om gelijktijdig het aantal factoren te schatten, gedeelde van view-specifieke variatie te scheiden en accurate onzekerheidskwantificering te bieden. De auteurs benadrukken dat:

• JAFAR de voorkeurskeuze is voor hoogdimensionale settings vanwege de computationele efficiëntie en verbeterde interpreteerbaarheid, omdat het view-specifieke signalen (of ze nu echt of artefacten zijn) isoleert van gedeelde biologische signalen.
• De D-CUSP prior essentieel is voor de identificeerbaarheid van additieve modellen, waarbij een specifiek non-identificeerbaarheidsprobleem wordt opgelost dat andere additieve factorisatiebenaderingen teisteren.
• De getemperde formuleringen een praktische oplossing bieden voor extreme $p \gg n$ regimes waar standaard factormodellen mogelijk spuria true hoog-rang structuren afleiden.
• De open-source R-package jafar deze methoden implementeert, wat hun toepassing in precisiegeneeskunde en andere multiview learning contexten vergemakkelijkt.

De auteurs blijven bescheiden en merken op dat hoewel JFR en JAFAR in essentie equivalent zijn qua nauwkeurigheid van de latente representatie, de structurele decompositie van JAFAR duidelijke voordelen biedt voor inferentie en schaalbaarheid. Ze erkennen ook dat de getemperde versies optionele aanpassingen zijn voor specifieke extreme scenario's en geen volledige vervanging vormen voor de oorspronkelijke formuleringen.