Joint Bayesian Parameter and Model Order Estimation for Low-Rank Probability Mass Tensors

Resumo Técnico: Estimativa Conjunta Bayesiana de Parâmetros e Ordem de Modelo para Tensores de Massa de Probabilidade de Baixo Rank

Definição do Problema
No processamento de sinais estatísticos e aprendizado de máquina, obter uma estimativa confiável da função de massa de probabilidade (PMF) conjunta de um conjunto de variáveis aleatórias discretas é um desafio fundamental. Embora a PMF conjunta possa ser representada como um tensor $N$-dimensional, a estimativa direta via métodos de histograma sofre da "maldição da dimensionalidade", exigindo um número exponencial de observações conforme o número de variáveis aumenta.

Abordagens recentes modelam a PMF conjunta como uma Decomposição Canônica Poliaédrica (CPD) de baixo rank, vinculando-a a modelos de variáveis latentes, como o modelo de Naïve Bayes. No entanto, algoritmos de estimativa baseados em CPD existentes (por exemplo, máxima verossimilhança ou fatoração de tensores acoplados) requerem que o rank do tensor (ordem do modelo) seja especificado previamente. Na prática, o rank verdadeiro é desconhecido. Soluções atuais envolvem a seleção de um rank a partir de um conjunto candidato usando validação cruzada (CV) ou critérios de informação (AIC, BIC, DNML). Esses procedimentos são computacionalmente caros, pois exigem múltiplas execuções de treinamento, e correm o risco de erro de especificação do modelo se o rank verdadeiro não estiver incluído no conjunto candidato.

Metodologia
O artigo propõe um novo framework Bayesiano, denominado VB-PMF (Variational Bayesian PMF), que estima simultaneamente os componentes de baixo rank de uma PMF conjunta e infere seu rank diretamente dos dados observados, eliminando a necessidade de validação cruzada.

1. Especificação do Modelo Bayesiano:

   • A PMF conjunta é modelada como uma CPD onde o vetor de carregamento $\lambda$ representa as probabilidades a priori dos estados latentes e as matrizes de fator $A_n$ representam as PMFs condicionais.
   • Para impor as restrições de simplicidade de probabilidade (não-negatividade e soma unitária), os autores atribuem priores de Dirichlet ao vetor de carregamento $\lambda$ e às colunas das matrizes de fator.
   • Crucialmente, uma priori de Dirichlet promotora de esparsidade é imposta ao vetor de carregamento ao definir seu hiperparâmetro $\alpha_\lambda$ como um valor pequeno (por exemplo, $10^{-6}$). Isso incentiva a distribuição posterior a concentrar massa em poucos componentes, identificando e podando efetivamente termos de rank-um irrelevantes.

2. Solução de Inferência Variacional (VI):

   • Como a inferência Bayesiana exata é computacionalmente intratável devido à integração de alta dimensão, os autores empregam Inferência Variacional.
   • Uma aproximação de campo médio (mean-field) é utilizada, assumindo que a distribuição posterior fatora em distribuições independentes para as variáveis latentes ($Z$), o vetor de carregamento ($\lambda$) e as matrizes de fator ($A_n$).
   • O algoritmo atualiza iterativamente os parâmetros variacionais para maximizar o Limite Inferior de Evidência (ELBO). Isso resulta em equações de atualização em forma fechada para todas as distribuições posteriores, garantindo convergência determinística sem a necessidade de amostragem (ao contrário dos métodos MCMC).

3. Detecção Automática de Rank:

   • O rank é inferido automaticamente após a convergência. Componentes com pesos estimados ($\hat{\lambda}_r$) abaixo de um limiar de poda derivado ($\alpha_\lambda / T$, onde $T$ é o tamanho do conjunto de dados) são considerados irrelevantes e removidos.
   • O algoritmo é inicializado com um rank $R$ que é maior ou igual ao rank verdadeiro (por exemplo, satisfazendo as condições de unicidade de Kruskal). A priori promotora de esparsidade garante que os componentes supérfluos convirjam para valores negligenciáveis e sejam podados, deixando apenas os componentes latentes significativos.

Principais Contribuições

• Framework Bayesiano Unificado: O artigo introduz um método para estimar tanto os parâmetros quanto o rank de um tensor de PMF conjunta em uma única execução de treinamento, evitando o custo computacional da validação cruzada ou busca em grade.
• Inferência de Rank Baseada em Esparsidade: Ao alavancar as propriedades da distribuição de Dirichlet, o método identifica automaticamente a ordem correta do modelo através da poda posterior, removendo a necessidade de limiares heurísticos ou seleção manual de modelo.
• Algoritmo Determinístico Eficiente: A derivação de uma solução de Inferência Variacional fornece atualizações em forma fechada e convergência determinística, ofereando uma alternativa computacionalmente eficiente aos métodos de inferência Bayesiana baseados em amostragem (MCMC) e métodos iterativos de seleção de rank que exigem múltiplos testes de rank.
• Robustez a Dados Ausentes: O framework lida naturalmente com observações ausentes (probabilidades de interrupção) ao marginalizar sobre variáveis não observadas dentro da função de verossimilhança.

Resultos Experimentais
Os autores validam o método usando dados sintéticos e conjuntos de dados do mundo real (tarefas de classificação UCI e dados de recomendação MovieLens 10M).

• Dados Sintéticos:

  • Consistência de Rank: À medida que o número de observações aumenta, o VB-PMF converge consistentemente para o rank real do tensor, demonstrando consistência estatística.
  • Precisão: O VB-PMF atinge Divergência Kullback-Leibler Média (KLD) e Erro Relativo Quadrático Médio (MSRE) comparáveis ou superiores aos métodos de estado da arte (SQ-AIC, SQ-BIC, SQ-DNML, CTF e Redes de Tensores), particularmente em cenários com dados ausentes.
  • Eficiência: O tempo de execução do VB-PMF é significativamente menor do que os métodos que exigem validação cruzada (por exemplo, CTF-ValErr, SQ-AIC) porque requer apenas uma única execução de treinamento, independentemente da configuração do rank inicial.
  • Sensibilidade ao Hiperparâmetro: O método é robusto à escolha do rank inicial (desde que seja suficientemente grande) e ao hiperparâmetro $\alpha_\lambda$, desde que $\alpha_\lambda$ seja definido suficientemente pequeno para promover a esparsidade.

• Aplicações no Mundo Real:

  • Classificação: Em cinco conjuntos de dados UCI, o VB-PMF alcançou precisão de classificação e pontuações F1 comparáveis às de Random Forests (um benchmark discriminativo forte) e superou outras abordagens baseadas em PMF. O modelo forneceu insights interpretáveis sobre blocos de votação latentes no conjunto de dados de Votação do Congresso, que modelos discriminativos não conseguem revelar.
  • Recomendação: No conjunto de dados MovieLens 10M (prevendo classificações de filmes), o VB-PMF alcançou RMSE e MAE comparáveis à Fatoração de Tensores Acoplados (CTF3D) e significativamente melhor que a Fatoração de Matriz Enviesada (BMF), com um tempo de execução aproximadamente 10 vezes mais rápido que o CTF3D.

Significância e Alegações
O artigo afirma que o framework VB-PMF proposto oferece um avanço significativo sobre as técnicas existentes de estimativa de PMF ao unificar a estimativa de parâmetros e a seleção da ordem do modelo. Sua principal significância reside em:

1. Eliminação da Validação Cruzada: Remove o gargalo computacional de selecionar um rank via CV ou critérios de informação, tornando-o viável para conjuntos de dados de larga escala.
2. Interpretabilidade: Ao estimar a PMF conjunta completa via componentes de baixo rank, o modelo oferece uma representação interpretável da estrutura dos dados (por exemplo, classes latentes em classificação) que modelos puramente discriminativos não possuem.
3. Eficiência Computacional: A abordagem variacional fornece uma solução determinística de forma fechada que é mais rápida do que tanto a inferência Bayesiana baseada em amostragem quanto as estratégias iterativas de seleção de rank.

Os autores concluem que o VB-PMF fornece uma solução robusta, eficiente e precisa para a estimação de PMF conjunta, particularmente em cenários envolvendo dados discretos de alta dimensão e observações ausentes, sem a necessidade de ajuste manual de modelo.