MVIGER: Multi-View Variational Integration of Complementary Knowledge for Generative Recommender

1. Declaração do Problema

O artigo aborda uma inconsistência crítica nos Sistemas de Recomendação Generativos (sistemas que utilizam Modelos de Linguagem de Grande Escala para gerar diretamente IDs de itens). Embora esses sistemas aproveitem as capacidades de raciocínio dos Modelos de Linguagem, seu desempenho é altamente sensível a dois fatores:

1. Modelos de Prompt: Variações nas instruções em linguagem natural (por exemplo, "prever o próximo item" vs. "recomendar outro item") levam a distribuições de saída diferentes.
2. Tipos de Índice de Itens: Diferentes métodos de codificar itens em tokens (por exemplo, IDs Colaborativos baseados em comportamento do usuário vs. IDs Semânticos baseados em metadados de texto) capturam aspectos distintos do conhecimento do item.

O Problema Central: Mesmo com o mesmo histórico de interações do usuário, alterar o prompt ou o tipo de índice resulta em previsões top-$k$ significativamente diferentes. Uma análise preliminar revela que essas variações não são meramente ruído; elas codificam conhecimento complementar. Por exemplo, menos de 50% dos itens corretamente previstos se sobrepõem entre diferentes tipos de índice, e prompts diferentes capturam nuances contextuais distintas. Métodos existentes ou dependem de uma única visão (perdendo informações complementares) ou concatenam índices de forma ingênua (falhando em modelar a relação probabilística entre as visões), levando a recomendações subótimas e inconsistentes.

2. Metodologia: MVIGER

Os autores propõem o MVIGER (Integração Variacional Multi-Visão de Recomendador Generativo), uma estrutura variacional unificada projetada para integrar sistematicamente essas visões diversas.

A. Geração de Índices de Itens Heterogêneos

O MVIGER constrói dois tipos distintos de índices de itens para cada item para capturar diferentes fontes de conhecimento:

• Índice Colaborativo (CeID): Derivado de embeddings de interação usuário-item (usando LightGCN).
• Índice Semântico (SeID): Derivado de metadados do item (títulos, descrições) codificados via Sentence-T5.
• Quantização: Ambos os embeddings são convertidos em sequências de tokens discretos hierárquicos usando um Autoencoder Variacional Quantizado Residual (RQ-VAE). Isso permite que o LLM gere IDs de itens token a token de forma autoregressiva.

B. Estrutura Variacional Multi-Visão

O MVIGER trata a combinação de um modelo de prompt específico e um tipo de índice de item como uma "visão" distinta.

• Variável Latente: Uma variável latente categórica $z$ é introduzida para representar a seleção de uma visão específica (modelo + índice) para um determinado usuário.
• Formulação Probabilística: O objetivo é maximizar a verossimilhança marginal do item alvo $y^*$ dado o histórico do usuário $H(u)$:
  $$p(y^*|H(u)) = \sum_{z} p_\theta(y^*|z) p_\psi(z|H(u))$$
  Onde:
  • $p_\theta(y^*|z)$: A Rede de Verossimilhança (o recomendador generativo) prevendo o item dada uma visão específica.
  • $p_\psi(z|H(u))$: A Rede de Priori, uma função aprendível que estima a probabilidade de uma visão ser relevante com base no histórico do usuário.

C. Procedimento de Treinamento (Estilo EM Variacional)

O modelo é treinado para otimizar o Limite Inferior da Evidência (ELBO).

1. Cálculo da Posteriori: A posteriori variacional ótima $q^*(z|H(u), y^*)$ é derivada em forma fechada como o produto da verossimilhança e da priori, normalizado sobre todas as visões.
2. Otimização Desacoplada:
   • A Rede de Verossimilhança ($\theta$) é atualizada para maximizar a verossimilhança logarítmica esperada sob a posteriori ótima fixa $q^*$.
   • A Rede de Priori ($\psi$) é atualizada para minimizar a divergência KL entre a priori aprendida e a posteriori ótima.
   • Inovação Chave: Como $q^*$ é calculada em forma fechada, os gradientes não fluem através dela, permitindo atualizações estáveis e desacopladas das duas redes.

D. Inferência Flexível

No momento da inferência, o item alvo é desconhecido, tornando a posteriori inacessível. O MVIGER utiliza a Rede de Priori aprendida para guiar a integração:

1. Seleção de Visão Única: Seleciona a visão mais provável $z^* = \arg\max_z p_\psi(z|H(u))$ para previsão eficiente.
2. Agregação Multi-Visão: Agrega previsões através de todas as visões ponderadas pela priori aprendida: $p(y|H(u)) = \sum_z p_\theta(y|z) p_\psi(z|H(u))$. Isso aproveita o conhecimento complementar para maior precisão.

3. Principais Contribuições

1. Formulação de Problema Inovadora: O artigo demonstra empiricamente que variações em prompts e índices em recomendadores generativos não são apenas fontes de instabilidade, mas codificam conhecimento complementar que, se integrado, aumenta significativamente o desempenho.
2. Estrutura Variacional Unificada: O MVIGER introduz um modelo probabilístico que trata combinações diversas de modelo-índice como visões latentes. Ele aprende uma priori condicionada ao usuário para selecionar ou agregar adaptativamente essas visões, superando as limitações de abordagens de índice fixo ou concatenação simples.
3. Mecanismo de Inferência Flexível: A estrutura suporta um trade-off entre eficiência e precisão. Os usuários podem escolher executar uma única visão (rápida) ou agregar múltiplas visões (precisa) sem retreinamento, controlado pela distribuição de priori aprendida.
4. Desempenho de Estado da Arte: Experimentos extensivos mostram que o MVIGER supera as bases existentes (incluindo P5, TIGER, EAGER e métodos baseados em LLM) em múltiplos conjuntos de dados.

4. Resultados Experimentais

• Conjuntos de Dados: Avaliado em Amazon Beauty, Amazon Sports e Yelp.
• Desempenho: O MVIGER alcançou o maior Hit Ratio (H@5, H@10) e NDCG (N@5, N@10) em todos os conjuntos de dados.
  • Notavelmente, o MVIGER superou bases maiores baseadas em LLM (como EAGER-LLM baseado em Llama-7B) apesar de usar um backbone menor (T5-small), provando que a integração eficaz de conhecimento complementar é mais crítica do que a escala do modelo neste contexto.
• Estudos de Ablação:
  • Seleção de Índice: Modelos de visão única (apenas CeID ou apenas SeID) performaram significativamente pior que o MVIGER integrado, confirmando a complementaridade dos sinais colaborativos e semânticos.
  • Agregação: A agregação de priori aprendida do MVIGER superou bases simples como "Autoconsistência" (votação majoritária) e "Priori Uniforme" (peso igual), demonstrando o valor de aprender pesos de visão específicos do usuário.
• Análise de Priori: A visualização da priori aprendida revelou que usuários de cold-start tendem a confiar mais em IDs Semânticos (baseados em texto), enquanto usuários com históricos de interação ricos confiam mais em IDs Colaborativos (baseados em comportamento). Isso confirma que o modelo aprende estratégias de ponderação significativas e conscientes do contexto.
• Eficiência: O custo computacional de inferência para a rede de priori é negligenciável (~0,01s por usuário), e o processamento em lote permite inferência multi-modelo eficiente.

5. Significado

• Estabilidade em Recomendadores Generativos: O MVIGER resolve o problema de "instabilidade" dos recomendadores generativos causado pela sensibilidade a prompt/índice, transformando-o em um recurso (visões complementares) em vez de um defeito.
• Integração Probabilística: Vai além da concatenação heurística ou métodos de ensemble simples, fornecendo uma estrutura probabilística rigorosa (Inferência Variacional) para fundir fontes de informação heterogêneas.
• Escalabilidade e Adaptabilidade: A estrutura não está vinculada a tipos de índice específicos (funciona com CeID/SeID ou CID/SemID do P5) e pode adaptar-se a diferentes orçamentos computacionais selecionando o número de visões a agregar.
• Direção Futura: O trabalho destaca que a aprendizagem "Multi-Visão" é uma direção promissora para sistemas de recomendação de próxima geração, sugerindo que trabalhos futuros poderiam expandir para incluir visual, preço ou conhecimento externo como visões adicionais.