DeepInterestGR: Mining Deep Multi-Interest Using Multi-Modal LLMs for Generative Recommendation

O artigo apresenta o DeepInterestGR, um framework de recomendação generativa que supera as limitações de interesses superficiais ao utilizar múltiplos LLMs multimodais para extrair, rotular e codificar interesses profundos em identificadores semânticos, resultando em desempenho superior em benchmarks de recomendação.

O essencial

Imagine que você está tentando encontrar o presente perfeito para um amigo, mas só tem uma lista de compras muito básica: "Tênis", "Camiseta", "Livro".

Os sistemas de recomendação antigos funcionavam assim: eles olhavam para essas palavras simples e diziam: "Ah, você comprou um tênis, então vou te vender outro tênis". Eles não entendiam por que você comprou. Você comprou por esporte? Por moda? Ou porque estava chovendo e precisava de algo impermeável? Eles ficavam na superfície, como quem olha apenas a capa de um livro e não lê o conteúdo.

O artigo que você apresentou, DeepInterestGR, propõe uma solução genial para esse problema. Vamos explicar como funciona, usando uma analogia simples.

O Problema: O "Interesse Raso"

Os sistemas atuais sofrem do que os autores chamam de "Interesse Raso". Eles veem o que você comprou, mas não entendem a sua personalidade ou seus desejos ocultos. É como um vendedor de loja que só sabe ler o preço do produto, mas não sabe quem você é.

A Solução: O Detetive de Interesses (DeepInterestGR)

Os autores criaram um novo sistema que age como um detetive superinteligente que usa uma equipe de consultores especialistas (chamados de LLMs, ou Modelos de Linguagem Grandes, como o GPT-5 ou o Gemini).

Aqui está como o sistema funciona, passo a passo:

1. A Equipe de Detetives (MLIM - Mineração de Interesses)

Em vez de apenas ler o título do produto ("Fones de Ouvido"), o sistema pergunta para uma equipe de "super-inteligências" (vários modelos de IA diferentes):

• "Por que alguém compraria fones de ouvido com cancelamento de ruído?"
• Resposta da IA: "Talvez essa pessoa seja um viajante frequente que quer silêncio no avião, ou um programador que precisa de foco total, ou um músico que ama qualidade de som."

O sistema usa várias IAs ao mesmo tempo para garantir que não perca nenhum detalhe. Ele também olha para as fotos dos produtos (se houver), entendendo o estilo visual, não apenas o texto. Isso cria um "perfil de interesse profundo" do usuário.

2. O Tradutor de Significados (IEID - Discretização Enriquecida)

Agora que o sistema sabe que você gosta de "estilo de vida fitness" e "conveniência no trabalho", ele precisa traduzir isso para a linguagem do computador.
Imagine que cada produto tem um código secreto (um número). O sistema pega esses novos interesses profundos e os transforma em códigos que significam "Esporte", "Produtividade" e "Estilo", em vez de apenas "Tênis". Isso enriquece o significado de cada item na base de dados.

3. O Treinamento com Recompensas (RLDI e RL)

Aqui está a parte mais inteligente. O sistema não apenas aprende; ele treina como um cachorro que aprende truques.

• O Professor (RLDI): Antes de começar, o sistema usa uma IA para julgar: "Essa ideia de interesse é boa e específica? Ou é vaga e inútil?" Se for boa, ganha um "selo de qualidade".
• O Treinador (Reinforcement Learning): O sistema tenta fazer recomendações. Se ele recomenda algo que combina com o "selo de qualidade" (os interesses profundos), ele ganha uma recompensa (um ponto de bônus). Se errar, não ganha nada.
• Com o tempo, o sistema aprende a ser um "vendedor de presentes" que realmente entende a alma do cliente, não apenas o histórico de compras.

Por que isso é incrível? (Os Resultados)

Os autores testaram isso em três grandes lojas virtuais (beleza, esportes e instrumentos musicais).

• O Resultado: O novo sistema foi muito melhor que os antigos. Ele acertou as recomendações com muito mais precisão.
• A Mágica da Transferência: O mais legal é que o sistema aprendeu o que você gosta (ex: "gosto de coisas elegantes"), e não apenas o que você comprou. Por isso, se você treiná-lo com dados de "Instrumentos Musicais", ele consegue recomendar coisas boas em "Beleza" para você, porque entende o seu gosto por elegância, mesmo que os produtos sejam totalmente diferentes.

Resumo em uma frase

O DeepInterestGR transforma o sistema de recomendação de um "leitor de etiquetas" chato em um amigo que conhece seus gostos profundos, usando uma equipe de super-inteligências artificiais para entender o "porquê" das suas escolhas e recomendar o que você realmente vai amar.

Resumo técnico

Resumo Técnico: DeepInterestGR

1. O Problema: A Limitação do "Interesse Superficial"

O artigo identifica uma lacuna crítica nos atuais sistemas de Recomendação Generativa. Embora essas abordagens tenham reformulado a previsão de itens como um problema de geração autoregressiva de IDs Semânticos (SIDs), elas sofrem de um problema fundamental denominado "Interesse Superficial" (Shallow Interest).

• Causa: Os métodos existentes codificam os itens baseando-se apenas em características textuais de superfície (títulos e descrições).
• Consequência: O modelo falha em capturar os interesses latentes, semanticamente ricos e motivacionais por trás das interações do usuário.
• Impacto Negativo:
  1. Profundidade Semântica Limitada: Perde-se a intenção real do usuário (ex: um fone de ouvido com cancelamento de ruído pode indicar um interesse em "estilo de vida focado em produtividade" ou "viagens frequentes", não apenas o produto em si).
  2. Baixa Interpretabilidade: O processo de recomendação permanece uma "caixa preta".
  3. Supervisão de RL Subótima: As recompensas no Aprendizado por Reforço (RL) dependem de sinais comportamentais ou regras básicas, sem orientação semântica profunda.

2. Metodologia: O Framework DeepInterestGR

O DeepInterestGR propõe um pipeline de duas etapas que integra a mineração de interesses profundos na geração de recomendações. O framework baseia-se em três inovações principais:

A. Mineração de Interesses Multi-LLM (MLIM)

• Conceito: Utiliza múltiplos LLMs de ponta (ex: GPT-5.1, Gemini-3-Pro, Kimi-K2-Thinking, Grok-4) e suas variantes multimodais para extrair representações de interesse profundas.
• Mecanismo: Emprega Chain-of-Thought (CoT) para analisar metadados textuais e visuais dos itens. O modelo não apenas descreve o item, mas infere a intenção latente do usuário.
• Ensemble: Agrega as saídas de vários LLMs para identificar interesses consensuais e combinar aspectos complementares que um único modelo poderia perder.

B. Interesses Profundos Rotulados por Recompensa (RLDI)

• Objetivo: Garantir a qualidade dos interesses minerados antes de usá-los no treinamento por RL.
• Processo: Um classificador binário leve (baseado em Qwen-Chat) atribui rótulos de recompensa (positivo/negativo) aos interesses minerados.
  • Positivo: Interesse específico e acionável.
  • Negativo: Interesse vago ou genérico.
• Validação: A concordância entre os rótulos do LLM e o julgamento humano foi de 87,2%.

C. Discretização de Itens Aprimorada por Interesse (IEID)

• Codificação: Os interesses profundos minerados são concatenados e codificados em embeddings semânticos usando um modelo de embedding dedicado (Qwen3-Embedding-4B).
• Quantização: Esses embeddings são quantizados em tokens de ID Semântico (SID) usando RQ-VAE (Residual Quantization Variational Autoencoder).
• Resultado: Itens com interesses subjacentes semelhantes são mapeados para regiões próximas no espaço de SIDs, permitindo que o modelo aprenda relações baseadas em interesse e não apenas em similaridade textual superficial.

D. Pipeline de Treinamento em Duas Etapas

1. Ajuste Fino Supervisionado (SFT): Alinha o modelo generativo com os sinais de interesse profundo e padrões de filtragem colaborativa, minimizando a negação de verossimilhança.
2. Aprendizado por Reforço (RL) com Recompensa Consciente de Interesse:
   • Utiliza o algoritmo GRPO (Group Relative Policy Optimization).
   • Recompensa Consciente de Interesse: A função de recompensa combina a precisão da recomendação (hit) com um bônus se o item previsto estiver associado a um interesse rotulado como "positivo" pelo RLDI. Isso guia a política para sequências de itens mais personalizadas e semanticamente coerentes.

3. Principais Contribuições

1. Identificação do Problema: Definição formal do problema de "Interesse Superficial" na recomendação generativa.
2. Novo Framework: Proposta do DeepInterestGR, que une mineração de interesses profundos via LLMs com geração de SIDs.
3. Componentes Inovadores:
   • MLIM: Extração de interesses via ensemble de LLMs multimodais.
   • RLDI: Controle de qualidade dos interesses para supervisão de RL.
   • IEID: Tokenização de itens enriquecida semanticamente.
4. Mecanismo de Recompensa: Design de uma recompensa de RL que utiliza interesses minerados como sinal de supervisão semântica.

4. Resultados Experimentais

Os experimentos foram conduzidos em três benchmarks do Amazon Review Dataset (Beauty, Sports, Instruments).

• Desempenho Geral (RQ1): O DeepInterestGR superou consistentemente todos os baselines (incluindo SASRec, BERT4Rec, TIGER, LC-Rec e modelos baseados em LLM como BIGRec).
  • Melhoria Relativa: Ganhos de 9,2% a 15,1% nas métricas HR@K e NDCG@K em comparação com o melhor baseline existente.
• Estudo de Ablação (RQ2):
  • A remoção do MLIM causou a maior queda de desempenho (11,8% em HR@5), confirmando que a mineração de interesses é o componente central.
  • A remoção do RL (apenas SFT) resultou em uma queda de 16,4%, destacando a importância da otimização por RL.
• Comparação de LLMs (RQ3): O uso de um ensemble de múltiplos LLMs superou qualquer modelo individual, indicando que diferentes modelos capturam aspectos complementares dos interesses do usuário.
• Multimodalidade (RQ4): A inclusão de dados visuais (via LLMs multimodais) trouxe melhorias consistentes de 5,0% a 5,8%, especialmente no domínio de Beleza, onde a estética visual é crucial.
• Generalização Transversal (RQ6): O modelo demonstrou superioridade na generalização entre domínios (ex: treinar em "Beleza" e testar em "Esportes"), com melhorias de 24,8% a 27,3%. Isso ocorre porque os interesses profundos (ex: "consciente de qualidade") são transferíveis, ao contrário de características textuais superficiais.

5. Significado e Impacto

O trabalho DeepInterestGR representa um avanço significativo na interseção entre Recomendação Generativa e Inteligência Artificial Generativa (LLMs).

• Mudança de Paradigma: Demonstra que a simples compressão de itens em IDs não é suficiente; a riqueza semântica desses IDs deve ser derivada de uma compreensão profunda da intenção do usuário.
• Interpretabilidade: Ao extrair e utilizar descrições de interesses explícitas, o sistema torna o processo de recomendação mais interpretável e alinhado com a psicologia do consumidor.
• Escalabilidade: Valida que a combinação de mineração de interesses via LLMs com pipelines de RL (GRPO) permite superar os limites de desempenho dos modelos tradicionais baseados em tabelas de embedding, explorando o potencial de escalabilidade dos Transformers profundos.

Em suma, o artigo prova que a integração de interesses latentes profundos, extraídos através da capacidade de raciocínio de LLMs multimodais, é essencial para a próxima geração de sistemas de recomendação precisos, personalizados e interpretáveis.