Bayesian Joint Additive Factor Models for Multiview Learning

Resumo Técnico: Modelos de Fatores Aditivos Conjuntos Bayesianos para Aprendizado Multiview

Enunciado do Problema
O artigo aborda o desafio de analisar dados multiview (multiview data), onde múltiplos tipos de medições de alta dimensão, ruidosas e heterogêneas (por exemplo, genômica, metabolômica, proteômica) são coletadas no mesmo conjunto de amostras. Uma motivação primária é a medicina de precisão, onde a integração dessas visões (views) é crucial para compreender a heterogeneidade dos pacientes e prever desfechos clínicos. No entanto, as abordagens padrão enfrentam obstáculos significativos:

1. Variabilidade da Relação Sinal-Ruído: Diferentes visões frequentemente possuem relações sinal-ruído vastamente distintas, o que os métodos de fusão padrão (precoce ou tardia) não conseguem contabilizar.
2. Interpretabilidade e Identificabilidade: Métodos existentes têm dificuldade em distinguir a variação que é compartilhada entre as visões da variação que é específica de uma única visão, particularmente em cenários de alta dimensão e baixa amostragem ($p \gg n$).
3. Limitações Computacionais e Estatísticas: Formulações Bayesianas atuais costem impor restrições excessivamente rígidas, introduzem viés ou falham em estimar simultaneamente o número de fatores enquanto separam de forma confiável os componentes compartilhados e específicos de cada visão. Além disso, modelos de fatores aditivos sofrem de problemas específicos de não-identificabilidade, onde fatores específicos de uma visão podem ser confundidos com fatores compartilhados.

Metodologia
Os autores propõem dois modelos de regressão de fatores Bayesianos complementares:

1. Regressão de Fatores Conjunta (JFR - Joint Factor Regression): Um modelo de linha de base que captura a variação combinada em todas as visões usando um único conjunto de fatores latentes ($\eta_i$). Utiliza priors de Processo de Encolhimento Cumulativo Independente (I-CUSP) nas matrizes de carga (loading matrices). Isso permite que o modelo reduza adaptativamente fatores desnecessários a zero, aprendendo o rank efetivo da estrutura compartilhada sem a necessidade de pré-especificá-lo.

2. Regressão de Fatores Aditivos Conjunta (JAFAR - Joint Additive Factor Regression): Um modelo mais matizado que decompõe explicitamente a variação em dois componentes:

   • Fatores Compartilhados ($\eta_i$): Total ou parcialmente compartilhados entre pelo menos duas visões.
   • Fatores Específicos da Visão ($\phi_{mi}$): Únicos a uma modalidade $m$ específica.
     Para abordar a não-identificabilidade inerente às decomposições aditivas (onde um fator específico de uma visão poderia ser matematicamente reexpressado como um fator compartilhado esparso), os autores introduzem um prior de Processo de Encolhimento Cumulativo Dependente (D-CUSP). Este prior impõe uma restrição durante a etapa de adaptação do amostragem de Gibbs: um fator é incluído no componente compartilhado se, e somente se, estiver ativo em pelo menos duas visões. Isso garante uma probabilidade de medida zero de alocação incorreta de fatores específicos de visão para o conjunto compartilhado.

Principais Contribuições Técnicas

• Novos Priors (I-CUSP e D-CUSP): O artigo estende o prior CUSP (Legramanti et al., 2020) para o cenário multiview. O D-CUSP aborda especificamente a identificabilidade de modelos aditivos ao induzir dependência entre as visões para evitar a "alocação incorreta" de fatores, um problema não resolvido pelas restrições de ortogonalidade padrão em um framework Bayesiano.
• Extensões Temperadas (JFRT e JAFART): Reconhecendo que os priors CUSP padrão podem inferir muitos fatores em cenários extremos de $p \gg n$ (onde o rank inferido excede o tamanho da amostra $n$), os autores propõem versões temperadas. Estas utilizam posteriors fracionários para tratar o tamanho da amostra $n$ como o tamanho de amostra efetivo para a seleção de rank, em vez da dimensão de características $p$.
• Inferência Eficiente: Os autores desenvolvem amostradores de Gibbs que exploram a esparsidade estruturada do modelo JAFAR. Ao realizar atualizações conjuntas para fatores latentes e cargas, eles alcançam custos computacionais que escalam de forma mais favorável do que representações não particionadas, particularmente para grandes valores de $p$.
• Pós-processamento: Um procedimento Multiview MatchAlign modificado é introduzido para resolver ambiguidades de rotação, rótulo e sinal. Ele adapta a rotação Varimax para respeitar a estrutura composta de componentes compartilhados e específicos, evitando que visões dominantes distorçam os padrões de esparsidade entre visões.

Resultados
Os métodos foram avaliados através de estudos de simulação e uma aplicação de dados reais:

• Simulação (Não Supervisionada): Na separação de componentes compartilhados e específicos de visão, o JAFAR com D-CUSP recuperou com sucesso a verdadeira estrutura de fatores. Abordagens concorrentes (NAIVE e FULL-D) falharam em separar corretamente os componentes, levando a ranks compartilhados inflados e uma reconstrução de covariância deficiente. JFR e JAFAR superaram os competidores (BIP, BSFP) na reconstrução de matrizes de correlação intra-visão e inter-visão.
• Simulação (Supervisionada): JFR e JAFAR alcançaram precisão preditiva competitiva ou superior (MSE e $R^2$) em comparação com competidores de última geração (Cooperative Learning, IntegratedLearner, BIP, BSFP). Crucialmente, essa precisão foi acompanhada por uma reconstrução precisa das estruturas de dependência subjacentes. O JAFAR demonstrou uma vantagem computacional significativa, exigindo aproximadamente 55% menos tempo de execução que o JFR, mantendo um desempenho preditivo semelhante.
• Aplicação de Dados Reais (Predição do Início do Trabalho de Parto): Os modelos foram aplicados para prever o tempo até o início do trabalho de parto usando dados de imunoma, metaboloma e proteoma ($n=53$, $p \approx 6000$).
  • Os modelos JFR e JAFAR padrão inferiram ranks superiores ao tamanho da amostra, um problema conhecido em cenários extremos de alta dimensão.
  • As versões temperadas (JFRT, JAFART) conseguiram reduzir o número de fatores inferidos para níveis comparáveis ao BSFP, mantendo o framework Bayesiano adaptativo.
  • Em termos de predição, o JAFAR e sua variante temperada superaram o BSFP, Cooperative Learning e IntegratedLearner em testes fora da amostra (out-of-sample).
  • O JAFART forneceu intervalos de credibilidade de 90% melhor calibrados (redução de sobrecobertura) em comparação com as versões não temperadas, atribuído à redução do ruído de estimativa proveniente de menos fatores latentes.

Significância e Alegações
O artigo alega que o JFR e o JAFAR fornecem um framework totalmente Bayesiano capaz de estimar simultaneamente o número de fatores, separar a variação específica de visão da compartilhada e fornecer quantificação de incerteza precisa. Os autores enfatizam que:

• O JAFAR é a escolha preferencial para cenários de alta dimensão devido à sua eficiência computacional e interpretabilidade aprimorada, pois isola sinais específicos de visão (sejam genuínos ou artefatos) de sinais biológicos compartilhados.
• O prior D-CUSP é essencial para a identificabilidade de modelos aditivos, resolvendo um problema específico de não-identificabilidade que assola outras abordagens de fatoração aditiva.
• As formulações temperadas oferecem uma solução prática para regimes extremos de $p \gg n$, onde modelos de fatores padrão podem inferir estruturas de rank elevado espúrias.
• O pacote R de código aberto jafar implementa esses métodos, facilitando sua aplicação em medicina de precisão e outros contextos de aprendizado multiview.

Os autores mantêm a modéstia, observando que, embora o JFR e o JAFAR sejam essencialmente equivalentes em termos de precisão da representação latente, a decomposição estrutural do JAFAR oferece vantagens distintas para inferência e escalabilidade. Eles também reconhecem que as versões temperadas são adaptações opcionais para cenários específicos extremos, em vez de um substituto completo para as formulações originais.