Bayesian factorization via $L_{1/2}$ shrinkage

Resumo Técnico: Fatoração Bayesiana via Redução de $L_{1/2}$

1. Problema e Contexto

Os modelos de fatores são amplamente utilizados para redução de dimensionalidade em dados de alta dimensão, representando a matriz de covariância através de fatores latentes. No entanto, existem desafios significativos:

• Dimensão Desconhecida: O número de fatores latentes ($K$) é geralmente desconhecido.
• Seleção de Fatores: Espera-se que dimensões adicionais desempenhem um papel progressivamente menos importante, exigindo que os fatores subsequentes recebam penalidades mais fortes (redução crescente).
• Limitações das Abordagens Atuais:
  • Métodos clássicos como PCA podem levar a estimativas inconsistentes de autovetores em alta dimensão.
  • Abordagens Bayesianas existentes, como o processo multiplicativo de Gama (MGP) e processos de "spike-and-slab" (ex: CSP, IBP), frequentemente possuem estruturas hierárquicas complexas que dificultam a inferência posterior (requerendo amostragem MCMC lenta e complexa).
  • Muitos métodos baseados em "spike-and-slab" são computacionalmente intratáveis para dimensões maiores ou focam apenas na busca do modo posterior, ignorando a incerteza completa.

2. Metodologia Proposta

Os autores propõem uma nova especificação de prior para modelos de fatores bayesianos baseada na redução (shrinkage) $L_{1/2}$, combinada com dois métodos de inferência: um amostrador de Gibbs exato e uma aproximação variacional.

A. Especificação do Prior ($L_{1/2}$ Shrinkage)

• Utiliza-se uma prior de redução global-local sobre os elementos da matriz de cargas fatoriais ($B$).
• Mecanismo de Redução Crescente: A chave da proposta é definir cuidadosamente os parâmetros da prior hiper (Gamma) para o parâmetro de redução global ($\lambda_k$). Especificamente, $\lambda_k \sim \text{Gamma}(a + k c_1, 1/(k c_2))$.
• Ao ajustar $a, c_1, c_2$, garante-se que a probabilidade de os elementos de $B$ serem próximos de zero aumente com o índice da coluna $k$. Isso preserva a propriedade de "redução crescente" (fatos subsequentes são mais fortemente penalizados) sem a complexidade hierárquica excessiva de outros métodos.
• A prior $L_{1/2}$ possui uma representação como mistura de Gaussianas, facilitando a inferência.

B. Inferência Exata: Amostrador de Gibbs

• Foi desenvolvido um amostrador de Gibbs para a inferência posterior exata.
• Vantagem: Diferente dos priores MGP e CSP, onde as condições de independência entre parâmetros globais e locais não se mantêm nas posteriors condicionais, a estrutura da prior $L_{1/2}$ permite que as posteriors condicionais dos parâmetros de redução global e local sejam independentes para diferentes dimensões latentes. Isso simplifica significativamente a amostragem.

C. Inferência Aproximada: Inference Variacional Colapsada (VI)

• Para lidar com a intensidade computacional do MCMC em grandes conjuntos de dados, os autores propõem um algoritmo de Inferência Variacional (VI).
• Colapso: O método integra (marginaliza) tanto os parâmetros de redução global quanto os locais, aproximando a posterior conjunta apenas sobre $B$, $\Omega$ e $\eta$.
• Otimização:
  • Assume-se uma estrutura de campo médio onde a posterior variacional de $B$ segue uma distribuição $t$ multivariada (que converge para a Gaussiana quando os graus de liberdade tendem ao infinito).
  • Utiliza-se Gradiente Natural (Natural Gradient Descent) para atualizar os parâmetros de localização e escala da distribuição $t$, garantindo que a matriz de precisão permaneça definida positiva e capturando a geometria do espaço de parâmetros.
  • Para os graus de liberdade ($\nu$), utiliza-se Mirror Descent com um mapa de espelho baseado na entropia generalizada de Shannon para respeitar a restrição $\nu > 2$.
  • Para lidar com a não diferenciabilidade do log da prior em zero, utiliza-se um limite inferior (surrogate function) baseado em aproximação quadrática local (algoritmo MM - Minorize-Maximize).

3. Principais Contribuições

1. Novo Prior de Redução Crescente: Introdução de uma prior baseada em $L_{1/2}$ que garante a propriedade de redução crescente em probabilidade (não apenas em esperança, como no MGP), com uma estrutura matemática mais simples.
2. Inferência Eficiente: Desenvolvimento de um amostrador de Gibbs que explora a independência condicional única deste prior, e um algoritmo de VI escalável que utiliza gradiente natural e técnicas de reparametrização generalizada.
3. Teoria de Consistência: Prova teórica de que o prior possui suporte completo no espaço de matrizes de covariância válidas e que a posterior é fracamente consistente.
4. Desempenho Computacional: Demonstração de que o método VI proposto é significativamente mais rápido que o MCMC, mantendo alta precisão, e que o amostrador de Gibbs beneficia-se bem de aceleração via GPU.

4. Resultados Experimentais

Os métodos foram testados em dados sintéticos e reais, comparados com MGP, CSP e SSL-IBP.

• Estudos de Simulação:

  • Precisão: A abordagem $L_{1/2}$ (tanto GS quanto VI) superou consistentemente os métodos MGP e CSP na estimativa da matriz de covariância (menor erro de norma de Frobenius) e na seleção de dimensão latente.
  • Comparação com SSL-IBP: Embora o SSL-IBP tenha mostrado desempenho ligeiramente superior em alguns cenários de sparsidade, ele tende a superestimar a esparsidade (alta taxa de falsos negativos) e falha em estimar corretamente a dimensão efetiva em cenários de alta dimensão ($p=5000$). A $L_{1/2}$ identificou corretamente o número de fatores em todos os cenários.
  • Velocidade: O VI para $L_{1/2}$ foi consistentemente mais rápido que o GS. Em GPUs, o GS para $L_{1/2}$ tornou-se o método mais rápido entre os baseados em MCMC, superando o MGP e CSP.

• Aplicações em Dados Reais:

  • Câncer de Pulmão: Identificação de genes significativos e distinção entre quatro tipos de tumores. O método $L_{1/2}$ mostrou uma redução clara na magnitude das cargas fatoriais conforme o índice aumenta, indicando seleção automática de dimensão.
  • PBMC (Células de Sangue): Análise de dados de RNA de célula única (scRNA-seq) com 2.700 células e 32.738 genes. O método conseguiu reduzir a dimensionalidade para agrupar células em 7 clusters biologicamente significativos (identificando tipos celulares como Células T, B, Monócitos, etc.) com alta concordância entre os métodos GS e VI.

5. Significado e Conclusão

O trabalho apresenta uma solução robusta para o problema de seleção de dimensão em modelos de fatores bayesianos.

• Simplicidade vs. Complexidade: A prior $L_{1/2}$ oferece uma estrutura mais simples e tratável do que os processos de "stick-breaking" ou "Indian Buffet", facilitando a implementação de inferência exata e aproximada.
• Escalabilidade: A combinação de um prior bem comportado com algoritmos de VI modernos (Gradiente Natural) torna a análise de modelos de fatores viável para conjuntos de dados massivos (milhares de variáveis e observações), superando as limitações de tempo de computação do MCMC tradicional.
• Impacto Futuro: Os autores sugerem que essa abordagem de redução crescente pode ser estendida para redes neurais de largura infinita, onde a seleção de largura seria análoga à seleção de dimensão de fatores.

Em suma, o artigo oferece uma alternativa superior em termos de equilíbrio entre precisão estatística e eficiência computacional para a análise fatorial bayesiana em alta dimensão.