LLM-Enhanced Multimodal Fusion for Cross-Domain Sequential Recommendation

O artigo propõe o LLM-EMF, uma abordagem inovadora para recomendação sequencial multodomínio que integra conhecimento de Grandes Modelos de Linguagem e dados multimodais (texto e imagem) por meio de um mecanismo de atenção múltipla, demonstrando superioridade em quatro conjuntos de dados de comércio eletrônico ao capturar preferências complexas de usuários.

O essencial

Imagine que você é um detetive de gostos pessoais. O seu trabalho é adivinhar qual será o próximo filme que você vai assistir ou qual livro vai comprar, baseando-se no que você já consumiu no passado.

A maioria dos sistemas de recomendação atuais funciona como um detetive cego de uma só área. Se você só assistiu a filmes de ação, ele só sugere mais filmes de ação. Se você só comprou livros de culinária, ele só sugere receitas. O problema é que a vida real é mista: você pode gostar de cozinhar (Domínio A) e também de assistir a filmes de terror (Domínio B), e essas duas coisas podem ter uma conexão secreta que o sistema não consegue ver.

Além disso, os sistemas atuais muitas vezes olham apenas para o "código de barras" do produto (o ID), ignorando a foto do prato ou a sinopse do livro. É como tentar descrever um filme apenas pelo seu número de registro, sem nunca ter visto o pôster ou lido o resumo.

A Solução: O "Super Detetive" (LLM-EMF)

Os autores deste artigo criaram um novo sistema chamado LLM-EMF. Pense nele como um detetive superpoderoso que usa três ferramentas mágicas para entender melhor o que você quer:

1. O "Tradutor Inteligente" (LLM - Modelo de Linguagem)

Imagine que cada produto tem um cartão de visita muito curto e chato. O LLM é como um escritor criativo que pega esse cartão curto e escreve uma história completa sobre ele.

• Como funciona: Se o produto é um "Forno Elétrico", o LLM não vê apenas "Forno". Ele gera um texto rico dizendo: "Ideal para quem ama fazer pães caseiros, tem um design moderno e é perfeito para festas de fim de semana".
• O Truque: Ele faz isso para produtos de diferentes lojas (como livros e eletrônicos) de forma que o significado se conecte. Assim, o sistema entende que quem gosta de "pães caseiros" (livros de culinária) pode gostar de "fornos elétricos" (eletrodomésticos), mesmo que sejam categorias diferentes.

2. Os "Olhos e Ouvidos" (Fusão Multimodal)

O sistema não lê apenas o texto. Ele também olha para as fotos e ouve o que está escrito.

• A Analogia: Imagine que você está em uma loja. O sistema tradicional só vê o código de barras. O LLM-EMF, no entanto, olha para a foto do produto (para ver se é bonito ou colorido) e lê o título (para entender o conceito). Ele junta tudo isso em uma "identidade" completa do produto.

3. O "Maestro da Orquestra" (Atenção Hierárquica)

Aqui está o grande problema que eles resolveram: O Desequilíbrio.

• O Cenário: Imagine que você compra 100 livros por mês, mas só compra 1 eletrodoméstico por ano. Um sistema comum ficaria obcecado pelos livros e ignoraria completamente o eletrodoméstico, achando que você só gosta de ler.
• A Solução: O LLM-EMF tem um Maestro. Ele garante que a orquestra (seus gostos) toque todos os instrumentos, não apenas o mais barulhento. Ele equilibra a atenção entre o que você compra muito (livros) e o que você compra pouco (eletrodomésticos), garantindo que a recomendação final seja justa para todas as suas áreas de interesse.

Como tudo funciona junto?

1. Coleta de Dados: O sistema pega seu histórico de compras e visualizações.
2. Enriquecimento: Ele usa o "Escritor Criativo" (LLM) para criar descrições ricas e o "Olho Mágico" (CLIP) para entender as imagens.
3. Fusão: Ele mistura tudo: o código do produto, a foto e o texto rico.
4. Equilíbrio: O "Maestro" ajusta o volume de cada categoria para que nenhuma domine as outras injustamente.
5. Previsão: O sistema compara tudo isso com milhões de outros produtos e diz: "Com base no seu histórico misto de livros e filmes, e considerando que você gosta de cozinhar, você provavelmente vai adorar este novo forno!"

O Resultado?

Os autores testaram esse "Super Detetive" em dados reais de lojas online (como Amazon). Eles compararam com os melhores sistemas existentes e descobriram que o LLM-EMF acertou muito mais.

Em resumo: Enquanto os sistemas antigos eram como um funcionário de loja que só conhecia uma seção, o LLM-EMF é como um consultor de estilo pessoal que conhece seus gostos em todas as áreas, lê as descrições completas dos produtos, olha as fotos e sabe exatamente como equilibrar suas preferências para te dar a recomendação perfeita.

Resumo técnico

Resumo Técnico: LLM-EMF para Recomendação Sequencial Multidomínio

1. O Problema

A Recomendação Sequencial (SR) tradicional foca em prever o próximo item de um usuário dentro de um único domínio com base em interações históricas. No entanto, esses métodos enfrentam desafios significativos:

• Esparsidade de Dados e Viés de Domínio: A falta de dados de interação em domínios específicos e o overfitting a padrões específicos de um domínio limitam a generalização.
• Limitações da Recomendação Sequencial Multidomínio (CDSR): Embora a CDSR tente transferir conhecimento entre domínios (ex: de "Comida" para "Cozinha"), os métodos existentes ainda sofrem de três lacunas principais:
  1. Foco excessivo em dependências intra-domínio, negligenciando relações inter-domínio complexas.
  2. Subutilização de informações multimodais (imagens e texto), dependendo principalmente de IDs de itens.
  3. Abordagens baseadas em Grandes Modelos de Linguagem (LLMs) recentes falham em lidar com o desequilíbrio de domínio (onde domínios com mais dados dominam as recomendações, prejudicando domínios menores).

2. Metodologia: Framework LLM-EMF

O authors propõem o LLM-EMF, um framework inovador que integra três pilares principais: Augmentação via LLM, Fusão Multimodal e Atenção Hierárquica Balanceada por Domínio.

A. Preparação de Dados e Augmentação com LLM (Prompt-Design)

• Geração de Atributos: Para cada item, o modelo utiliza um LLM (especificamente Deepseek-r1) com um prompt pré-definido. O prompt solicita ao LLM que gere informações contextuais adicionais, atributos específicos e interesses potenciais do usuário baseados no título e descrição do item.
• Objetivo: Criar atributos textuais "agnósticos ao domínio" que melhorem o alinhamento semântico entre domínios diferentes, preenchendo lacunas de informação que os metadados originais não cobrem.

B. Codificação Multimodal
O framework processa os itens através de três vias paralelas para criar representações ricas:

1. Embeddings de ID: Uma matriz de embeddings de identidade (ID) aprendível.
2. Embeddings Visuais: Uso de um encoder de imagem CLIP (congelado/frozen) para extrair características perceptuais das imagens dos itens.
3. Embeddings Textuais: Uso do encoder de texto CLIP (congelado) para processar tanto os títulos originais quanto o texto enriquecido gerado pelo LLM.

C. Mecanismo de Atenção Hierárquica e Balanceamento
Para evitar que domínios com maior volume de dados dominem o aprendizado, o modelo emprega uma arquitetura de atenção hierárquica:

• Subsequências: As interações do usuário são divididas em três subsequências: $S_X$ (Domínio X), $S_Y$ (Domínio Y) e $S_{X+Y}$ (Domínio Combinado).
• Atenção Múltipla: Um mecanismo de atenção (Self-Attention com QKV) processa cada subsequência separadamente para capturar dependências intra e inter-domínio.
• Balanceamento de Domínio: Ao contrário de métodos anteriores que usam atenção mista sem controle, o LLM-EMF aplica pesos explícitos ($\lambda_1, \lambda_2$) para regular a influência de cada domínio na previsão final. Isso previne que domínios de alta frequência suprimam os sinais de domínios menores.

D. Predição e Fusão

• As representações finais das sequências (agregadas por atenção) são comparadas com os embeddings de todos os itens candidatos (ID, Imagem e Texto) usando similaridade de cosseno.
• A pontuação final de recomendação é uma combinação ponderada das probabilidades preditas pelos três modos (ID, Visual, Textual) e pelos três domínios, permitindo uma tomada de decisão que integra evidências sensoriais múltiplas.

3. Principais Contribuições

1. Estratégia de Augmentação com LLM: Primeira abordagem em CDSR a usar prompts de LLM para gerar atributos textuais agnósticos ao domínio, melhorando o alinhamento semântico entre domínios distintos.
2. Fusão Multimodal Unificada: Integração simultânea de embeddings de ID, visuais (CLIP) e textuais (CLIP + LLM) em um único framework, superando métodos que focam apenas em pares (ex: ID+Imagem ou ID+Texto).
3. Mecanismo de Atenção Balanceada: Proposição de um mecanismo de atenção hierárquica que explicitamente regula a contribuição de cada domínio, resolvendo o problema de desequilíbrio de dados que afeta a performance em domínios menores.
4. Desempenho Superior: Validação experimental robusta mostrando que o modelo supera o estado da arte (SOTA) em múltiplas métricas.

4. Resultados Experimentais

Os experimentos foram conduzidos em dois cenários de CDSR utilizando o conjunto de dados da Amazon:

• Cenários: "Food-Kitchen" (Comida-Cozinha) e "Movie-Book" (Filmes-Livros).
• Métricas: MRR (Mean Reciprocal Rank) e NDCG (Normalized Discounted Cumulative Gain) @5 e @10.

Desempenho Chave:

• O LLM-EMF superou consistentemente todos os baselines de ponta, incluindo modelos clássicos (SASRec, GRU4Rec), métodos de CDSR recentes (MIFN, Tri-CDR, MAN) e abordagens baseadas em LLM (LLMRec, IFCDSR).
• Exemplo (Food-Kitchen): O modelo alcançou um MRR de 9.24% para o domínio "Food" e 5.13% para "Kitchen", superando o segundo melhor método (MIFN) que obteve 8.55% e 4.09%, respectivamente.
• Exemplo (Movie-Book): O modelo alcançou MRR de 6.32% (Filmes) e 2.86% (Livros), novamente superando significativamente os concorrentes.

Estudo de Ablação:
A análise demonstrou que cada componente é crucial:

• A fusão textual sozinha melhorou o MRR em 0.85 pontos.
• A adição do módulo LLM aumentou ainda mais a performance.
• A fusão visual teve um impacto significativo (aumento de ~0.8 pontos sobre a base).
• A combinação completa (Texto + LLM + Visual) resultou na melhor performance, provando a sinergia entre os modos.

5. Significado e Impacto

O trabalho LLM-EMF representa um avanço significativo na área de sistemas de recomendação por:

• Ponte entre LLMs e CDSR: Demonstra como modelos de linguagem podem ser usados não apenas para chat, mas para enriquecer estruturalmente a representação de itens em tarefas de recomendação complexas.
• Solução para Desequilíbrio de Dados: Oferece uma solução técnica viável para o problema crônico de domínios com poucos dados serem negligenciados em sistemas multidomínio.
• Integração Multimodal Eficiente: Estabelece um novo padrão para como informações visuais, textuais e de identidade devem ser fundidas para capturar preferências de usuários dinâmicas e complexas.

Em suma, o LLM-EMF prova que a combinação de conhecimento semântico profundo (via LLM), percepção visual (via CLIP) e mecanismos de atenção balanceada é fundamental para a próxima geração de sistemas de recomendação sequencial.