Dual-Attention Convolution Experts for Sparse Tensor Completion

Resumo Técnico: Especialistas de Convolução com Atenção Dupla para Completude de Tensores Esparsos

Declaração do Problema
A fatoração de tensores (TF) é uma ferramenta fundamental para recuperar entradas ausentes em dados de alta dimensão e esparsos, encontrados em aplicações como sistemas de recomendação e previsão espaço-temporal. No entanto, as abordagens existentes enfrentam dois desafios primários:

1. Modelagem de Interações Complexas: Métodos de decomposição linear ou multilinear tradicionais têm dificuldade em capturar interações cross-mode altamente não lineares entre fatores latentes. Embora os métodos de TF neurais (baseados em MLP ou CNN) ofereçam capacidades de modelagem não linear, as arquiteturas baseadas em CNN frequentemente falam em capturar interações detalhadas entre fatores latentes e podem ainda sofrer de overfitting ou emaranhamento rígido de representação.
2. Esparsidade de Dados: A severa esparsidade dos dados limita os sinais de treinamento disponíveis para redes neurais profundas. As soluções existentes frequentemente dependem de informações auxiliares (ex: matrizes de similaridade, redes sociais), que podem introduzir ruído se os dados auxiliares forem não confiáveis ou forem adaptados a cenários específicos.

Metodologia: DCGC
Os autores propõem as Redes de Especialistas de Convolução com Atenção Dupla com Aprendizado Contrastivo de Nível de Grupo (DCGC), um framework de TF neural projetado para modelar interações não lineares de forma robusta sob condições de esparsidade. A arquitetura consiste em três componentes principais:

1. Embedding e Interações de Segunda Ordem:

   • O modelo mapeia índices discretos para matrizes de fatores latentes ($U, P, W$).
   • Ao contrário das abordagens lineares padrão, o DCGC constró-los explicitamente características de segunda ordem ao computar produtos de Hadamard pareados entre fatores latentes (ex: $u_i \odot p_j$). Esses vetores de interação são concatenados com os embeddings originais para formar uma representação 2D unificada ($H_{emb}$).

2. Mistura de Especialistas de Convolução com Atenção Dupla e Gating:

   • Mistura de Especialistas (MoE): Inspirado em MMoE, o modelo utiliza múltiplos especialistas de convolução ($C$) para realizar alinhamentos não lineares ponderados dos fatores latentes. Isso permite que diferentes especialistas se especializem em padrões subjacentes heterogêneos enquanto compartilham parâmetros para mitigar o overfitting.
   • Mecanismo de Atenção Dupla: Para priorizar dinamicamente informações críticas, o modelo computa dois tipos de pontuações de atenção a partir das saídas dos especialistas:
     • Atenção de Especialista ($A_{exp}$): Pondera a importância de canais de convolução (especialistas) individuais.
     • Atenção de Característica ($A_{fea}$): Pondera a importância de elementos de características alinhados dentro dos canais.
     • Estas são fundidas de forma aditiva para modular os embeddings de valor, permitindo que o modelo foque tanto em especialistas críticos quanto em características críticas.
   • Gating Personalizado: Para abordar a polarização da atenção (onde poucos especialistas dominam) e a negligência de fatores observados esparsamente, um mecanismo de gating personalizado gera pesos de roteamento dependentes da entrada. Isso realoca a capacidade de modelagem para interações esparsas, superando as estratégias de dropout padrão no balanceamento de carga.

3. Aprendizado Contrastivo de Nível de Grupo (GLCL):

   • Para aliviar a esparsidade de dados sem depender de dados auxiliares ruidosos, o DCGC introduz uma estratégia contrastiva autossupervisionada.
   • Agrupamento: Tripletos observados são categorizados em distintos níveis de feedback (ex: Alto, Médio, Baixo) com base em seus valores originais de tensor.
   • Objetivo Contrastivo: O modelo agrega amostras positivas dentro do mesmo nível de feedback enquanto separa amostras negativas de níveis de feedback inferiores.
   • Função de Perda: Uma perda InfoNCE é aplicada à tarefa auxiliar, incentivando o espaço de representação a agrupar amostras com níveis de feedback idênticos e separar aquelas com níveis diferentes. Isso fornece sinais autossupervisionados de alta qualidade para estabilizar o aprendizado de fatores latentes para sensores ou usuários esparsos.

Principais Contribuições

1. Arquitetura Inovadora: A proposta de uma rede de mistura de especialistas de convolução aprimorada com um mecanismo de atenção dupla e gating personalizado, permitindo a modelagem detalhada de interações cross-mode não lineares.
2. Mitigação de Esparsidade Autossupervisionada: O desenvolvimento de uma estratégia eficiente de Aprendizado Contrastivo de Nível de Grupo (GLCL) em lote (in-batch) que explora a consistência do nível de feedback para gerar sinais autossupervisionados, reduzindo a dependência de dados auxiliares não confiáveis.
3. Validação Empírica: Experimentos extensos em cinco conjuntos de dados do mundo real (previsão de tráfego e recomendação) demonstrando superioridade consistente sobre métodos de TF de última geração (ex: CoATF, HOCTC) e desempenho competitivo contra métodos especializados baseados em GNN.

Resultados Experimentais
Os autores avaliaram o DCGC em cinco conjuntos de dados: GZspeed e PEMS (tráfego), e Movielens-100k, Movielens-1M e AmazonBeauty (recomendação).

• Desempenho: O DCGC superou os melhores baselines em 3,34%–5,06% em RMSE/MAE nos conjuntos de dados de tráfego e alcançou melhorias de 1,44%–3,56% (RMSE) e 1,32%–7,43% (MAE) nos conjuntos de dados de recomendação.
• Comparação: O método superou significativamente os métodos lineares tradicionais (P-Tucker) e abordagens neurais recentes (CoSTCo, MDMTF, HOCTC). Também manteve um desempenho competitivo contra métodos baseados em GNN projetados para cenários de cold-start (ex: LightGCN, MetaHIN).
• Estudos de Ablação:
  • Remover o mecanismo de atenção dupla ou substituí-lo por ramos de atenção única resultou em degradação do desempenho, confirmando a necessidade de modelar a importância de especialista e de característica.
  • Substituir o mecanismo de gating personalizado pelo dropout padrão levou a taxas de erro mais altas, particularmente em cenários altamente esparsos (ex: AmazonBeauty), e causou polarização de carga dos especialistas.
  • Substituir o GLCL por aprendizado contrastivo vanilla ou removê-lo inteiramente degradou o desempenho, validando a eficácia do agrupamento por níveis de feedback.
• Eficiência: O modelo mantém um desempenho competitivo mesmo com um baixo número de canais de convolução e um rank reduzido, indicando que os mecanismos de atenção permitem um uso eficiente de parâmetros.

Significância e Alegações
O artigo afirma que o DCGC aborda os dois desafios de capturar interações não lineares complexas e lidar com a esparsidade extrema de dados na completude de tensores. Ao integrar uma mistura de especialistas de granularidade fina com um mecanismo de atenção dupla, o modelo alcança uma modelagem não linear robusta sem crescimento excessivo de parâmetros. Além disso, a estratégia de Aprendizado Contrastivo de Nível de Grupo oferece uma nova maneira de injetar sinais autossupervisionados diretamente da distribuição dos dados, mitigando a esparsidade sem o ruído associado a informações auxiliares externas. Os autores posicionam o DCGC como um framework robusto e de propósito geral para a completude de tensores esparsos em domínios espaço-temporais e de recomendação.

Limitações
Os autores reconhecem duas limitações para trabalhos futuros:

1. O módulo de atenção dupla atual usa uma fusão aditiva simples para pontuações de especialista e de característica, o que pode não capturar totalmente informações complementares; mecanismos de fusão mais adaptativos são sugeridos.
2. A estratégia GLCL depende de intervalos de feedback predefinidos; trabalhos futuros poderiam explorar a construção de intervalos adaptativos baseados na distribuição dos dados ou densidade de interação.