🤖 machine learning

DiffGRM: Diffusion-based Generative Recommendation Model

Este artigo introduz o DiffGRM, um modelo de recomendação generativa baseado em difusão que supera as limitações dos métodos autorregressivos ao empregar uma estrutura de difusão discreta mascarada com estratégias especializadas de tokenização, treinamento e inferência para permitir contexto bidirecional e supervisão equilibrada para melhorar a precisão da recomendação.

Autores originais: Zhao Liu, Yichen Zhu, Yiqing Yang, Xiao Lv, Guoping Tang, Rui Huang, Qiang Luo, Ruiming Tang, Kun Gai, Guorui Zhou

Publicado 2026-08-14

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Zhao Liu, Yichen Zhu, Yiqing Yang, Xiao Lv, Guoping Tang, Rui Huang, Qiang Luo, Ruiming Tang, Kun Gai, Guorui Zhou

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está caminhando por uma biblioteca imensa e infinita onde cada livro possui um código secreto em vez de um título. Para encontrar o próximo livro que você vai amar, um computador tem que adivinhar esse código, um dígito de cada vez. Este é o mundo da Recomendação Generativa, um ramo da inteligência artificial que tenta prever o que você quer ver a seguir — seja um vídeo, uma música ou um produto — "escrevendo" o código secreto desse item do zero.

Por muito tempo, esses computadores trabalharam como um professor rigoroso lendo uma história em voz alta, da esquerda para a direita. Eles adivinhavam o primeiro número do código, depois o segundo, depois o terceiro, sem nunca olhar para trás. Mas este método tem uma falha: ele trata cada parte do código como se fosse igualmente importante e igualmente difícil de adivinhar. Na realidade, algumas partes do código são pistas fáceis (como "é um sapato"), enquanto outras são detalhes complicados (como "é um sapato tamanho 38 esquerdo"). O método antigo costia ficar preso nas partes difíceis porque não conseguia olhar adiante ou revisar seu trabalho, e perdia tempo praticando demais as partes fáceis. A pergunta que os pesquisadores têm feito é: Podemos construir um sistema mais inteligente que olhe para o quadro completo de uma só vez, identifique quais partes são complicadas e preencha as lacunas de forma mais eficiente?

Apresentamos o DiffGRM, uma nova abordagem de pesquisadores da Kuaishou que troca o antigo estilo de leitura "da esquerda para a direita" por algo mais parecido com um grupo de detetives resolvendo um mistério juntos. Em vez de adivinhar um número de cada vez, o DiffGRM usa uma técnica chamada difusão discreta. Imagine um jogo onde você começa com uma página de texto que foi completamente coberta por tinta preta (máscaras). Seu trabalho é descobrir quais eram as palavras originais. O computador começa tentando adivinhar o que está sob a tinta em todos os lugares ao mesmo tempo. Ele não apenas adivinha cegamente; ele olha para a frase inteira para ver quais palavras são mais prováveis de estarem corretas.

O artigo apresenta três truques inteligentes para fazer isso funcionar melhor do que os métodos antigos. Primeiro, eles mudaram a forma como os "códigos secretos" são feitos. Em vez de uma corrente onde um número depende do anterior, eles usam um método chamado Codificação Semântica Paralela. Pense nisso como dar a cada detetive um cartão de pista separado e independente. Dessa forma, nenhuma pista fica esperando por outra, e o computador pode adivinhar todos os números ao mesmo tempo sem se confundir com um palpite ruim anterior na linha.

Segundo, a equipe percebeu que nem todos os palpites são iguais. Algumas partes do código são fáceis de descobrir, enquanto outras são um verdadeiro quebra-cabeça. O método antigo tratava todos da mesma forma, desperdiçando energia com o que era fácil. O DiffGRM usa uma estratégia chamada Ruído Coerente On-policy. Imagine um professor que sabe exatamente quais alunos estão com dificuldades. Em vez de fazer as mesmas perguntas fáceis para toda a classe, esse professor foca o tempo de prática especificamente nos alunos que estão tendo mais dificuldade. O computador faz o mesmo: ele identifica os dígitos "difíceis" do código e concentra seu poder de aprendizado ali, ignorando as partes fáceis que ele já conhece.

Finalmente, quando chega a hora de fazer a recomendação final, o computador precisa fornecer uma lista de opções, não apenas uma. O modo antigo escolheria o melhor palpite único e pararia. O DiffGRM usa Denoisagem Paralela Guiada por Confiança. Isso é como uma equipe de detetives que todos gritam seus melhores palpites ao mesmo tempo. O líder da equipe então escolhe os palpites mais confiantes primeiro, preenche esses espaços e, em seguida, usa essa nova informação para resolver o restante do quebra-cabeça. Isso permite que o sistema gere uma lista diversificada de recomendações principais de forma rápida e precisa.

Os pesquisadores testaram este novo sistema com dados do mundo real da Amazon, observando categorias como Esportes, Beleza e Brinquedos. Eles descobriram que o DiffGRM foi significativamente melhor do que os métodos anteriores mais fortes. Em seus testes, eles melhoraram a precisão das recomendações entre 6,9% e 15,5% em comparação aos modelos existentes mais robustos. O artigo sugere que, ao permitir que o computador olhe para o código completo de uma só vez e foque sua energia nas partes difíceis, podemos construir sistemas de recomendação que nos entendem melhor e nos dão escolhas mais relevantes. Não é apenas um pequeno ajuste; é uma mudança fundamental na forma como ensinamos os computadores a adivinhar o que queremos a seguir.

Resumo Técnico: DiffGRM: Modelo de Recomendação Generativa Baseado em Difusão

1. Declaração do Problema

A Recomendação Generativa (GR) emergiu como um paradigma onde os itens são representados por IDs semânticos (SIDs) — sequências de comprimento fixo de $n$ dígitos — e previstos através da geração autoregressiva desses dígitos. No entanto, os autores identificam dois desajustes estruturais fundamentais entre as representações de SID e os Modelos Autoregressivos (ARMs) padrão:

Consistência Intra-item vs. Restrições Causais: O SID de um item é uma unidade coesa onde todos os $n$ dígitos especificam conjuntamente um único item. Os ARMs, contudo, impõem uma dependência causal estrita da esquerda para a direita. Isso impede o modelo de utilizar o contexto bidirecional ou a verificação mútua entre dígitos durante o treinamento, colapsando a supervisão em um único caminho causal e dificultando a exploração da consistência intra-item.
Heterogeneidade Inter-dígito vs. Supervisão Uniforme: Os dígitos do SID codificam diferentes granularidades semânticas (ex: Categoria, Marca, Tipo, Tamanho) e exibem níveis variados de previsibilidade ("fáceis" vs. "difíceis"). Os objetivos padrão de previsão do próximo token atribuem peso igual a todos os dígitos. Isso leva a um desequilíbrio onde dígitos fáceis são treinados excessivamente enquanto dígitos difíceis recebem supervisão insuficiente, degradando a precisão geral da geração.

O artigo argumenta que essas limitações necessitam de uma mudança do decodificador autoregressivo para um framework capaz de contexto bidirecional e geração paralela.

2. Metodologia: DiffGRM

Os autores propõem o DiffGRM, um modelo de recomendação generativa baseado em difusão que substitui o decodificador autoregressivo por um Modelo de Difusão Discreta Mascarada (MDM). O framework consiste em três componentes adaptados:

A. Tokenização: Codificação Semântica Paralela (PSE)

Para abordar os problemas de acoplamento inerentes aos tokenizadores padrão (como a Quantização Residual), o DiffGRM utiliza a Codificação Semântica Paralela (PSE).

Mecanismo: Utiliza um esquema de Quantização de Procrustes Ortogonal (OPQ). Um embedding contínuo do item é rotacionado e particionado em $n$ subvetores independentes. Cada subvetor é quantizado independentemente contra seu próprio codebook.
Benefício: Isso desacopla os dígitos, removendo dependências sequenciais residuais. Equilibra a informação entre os dígitos e permite a previsão totalmente paralela, alinhando-se com a natureza bidirecional dos modelos de difusão.

B. Treinamento: Ruído Coerente On-policy (OCN)

O mascaramento aleatório padrão em modelos de difusão é ineficiente para recomendação devido à explosão combinatória de padrões de mascaramento e à esparsidade de itens de cauda longa. O DiffGRM introduz o Ruído Coerente On-policy (OCN).

Mecanismo: Em vez de mascaramento aleatório, o OCN utiliza as previsões do modelo atual para estimar a dificuldade (incerteza) de cada dígito. Ele constrói um conjunto aninhado de "visões" (amostras de treinamento) onde os dígitos mais incertos (mais difíceis) são mascarados primeiro.
Estratégia: O cronograma de mascaramento progride de corrupções leves para pesadas, priorizando sinais de alto valor (dígitos difíceis) enquanto mantém o contexto visível coerente. Isso foca o orçamento de treinamento nos sinais de supervisão mais informativos, em vez de dispersar o esforço em dígitos fáceis ou padrões aleatórios.

C. Inferência: Denoising Paralelo Guiado por Confiança (CPD)

A recomendação requer um conjunto diversificado de candidatos Top- $K$ , ao contrário da natureza de saída única da geração de texto padrão. O DiffGRM propõe o Denoising Paralelo Guiado por Confiança (CPD).

Mecanismo: Partindo de uma entrada totalmente mascarada, o modelo realiza uma busca em feixe (beam search) paralela global. Em cada etapa de denoising, ele identifica os pares dígito-token mais confiantes em todos os feixes ativos e os preenche, enquanto remascara o restante.
Estratégia: Esta abordagem preenche primeiro os dígitos de maior confiança e explora caminhos diversos para os dígitos restantes, gerando um conjunto Top- $K$ de candidatos SID diversificado e preciso, sem o gargalo sequencial da busca em feixe autoregressiva.

3. Principais Contribuições

O artigo reivindica as seguintes contribuições:

Primeiro Framework de GR baseado em Difusão: O DiffGRM é o primeiro modelo de recomendação generativa que substitui o decodificador autoregressivo por um modelo de difusão discreta mascarada sobre dígitos de SID, removendo efetivamente as restrições esquerda-direita e aproveitando o contexto bidirecional entre dígitos.
Novas Estratégias de Treinamento e Inferência:
- OCN: Uma estratégia de treinamento que controla a explosão combinatória de sinais de supervisão ao mascarar coerentemente dígitos difíceis ranqueados por incerteza, melhorando significativamente a eficiência de amostragem.
- CPD: Uma busca em feixe paralela global guiada por confiança para inferência que produz candidatos SID Top- $K$ diversificados, adaptada especificamente aos requisitos das tarefas de recomendação.
Desempenho de Estado da Arte: O modelo alcança resultados superiores em múltiplos datasets, demonstrando a eficácia de alinhar o mecanismo de geração com as propriedades estruturais dos IDs semânticos.

4. Resultados Experimentais

Os autores avaliaram o DiffGRM em três datasets de Amazon Reviews (Sports, Beauty, Toys) contra fortes baselines, incluindo modelos discriminativos (ex: SASRec, BERT4Rec) e generativos (ex: TIGER, RPG).

Desempenho: O DiffGRM alcançou os melhores resultados em 11 de 12 métricas (Recall@5, Recall@10, NDCG@5, NDCG@10).
Melhorias: Comparado ao baseline mais forte, o DiffGRM melhorou o NDCG@10 em 6,9% a 15,5% entre os datasets. Especificamente, viu uma melhoria de 15,53% em Sports, 8,19% em Beauty e 6,94% em Toys.
Eficiência: Estudos de ablação confirmaram que o OCN melhora a eficiência de amostragem, alcançando melhor desempenho com menos passagens de amostras efetivas (ESP) em comparação com o mascaramento aleatório ou de caminho fixo. A análise de complexidade indica que, embora o DiffGRM adicione um fator de $n$ ao termo do decodificador, o custo total de inferência permanece comparável aos ARMs devido à dominância do cálculo do encoder e ao pequeno tamanho de $n$ .

5. Significância e Alegações

O artigo posiciona o DiffGRM como uma solução para o desajuste estrutural entre a representação de itens (SIDs) e os mecanismos de geração (ARMs). Ao adotar uma abordagem baseada em difusão, o modelo consegue com sucesso:

Explorar a semântica intra-item bidirecional que os ARMs não conseguem acessar.
Abordar a heterogeneidade inter-dígito através da alocação dinâmica de supervisão para dígitos difíceis via OCN.
Fornecer recomendações Top- $K$ diversas através de denoising paralelo, evitando a propagação de erro inerente à geração sequencial.

Os autores concluem que o DiffGRM reconcilia a semântica entre dígitos com a geração paralela, oferecendo uma alternativa robusta e precisa para os frameworks autoregressivos. Eles observam que trabalhos futuros se concentrarão em investigar ainda mais a eficiência de inferência e a escalabilidade.