Resumo Técnico: Aprendizado de Representações de Tokens Contextuais Decompostas a partir de Sinais Pré-treinados e Colaborativos para Recomendação Generativa

1. Declaração do Problema

O artigo aborda duas limitações críticas inerentes aos paradigmas atuais de recomendação generativa em duas etapas, que tipicamente envolvem tokenização de itens seguida pelo treinamento de um Modelo de Linguagem de Grande Escala (LLM):

1. Tokenização Estática Subótima (C1): Os métodos existentes dependem de IDs semânticos fixos gerados por um tokenizador pré-treinado (por exemplo, RQ-VAE) para reconstruir metadados de itens. Esses tokens estáticos falham em se adaptar a contextos diversos de interação do usuário. Consequentemente, itens semanticamente distintos (por exemplo, fones de ouvido para escritório versus para dormir) podem compartilhar prefixos de tokens idênticos, criando "ambiguidade de prefixo" que cega o modelo para a intenção do usuário até a etapa final de geração. Essa atribuição estática cria um gargalo de representação que limita o poder discriminativo do mecanismo de atenção.
2. Semânticas Pré-treinadas Descartadas (C2): Durante a etapa de treinamento do recomendador, o rico conhecimento semântico codificado nos embeddings pré-treinados é efetivamente descartado. Embora o tokenizador aprenda a reconstruir esses embeddings, os embeddings de tokens utilizados pelo LLM são inicializados aleatoriamente e treinados exclusivamente em dados de interação do usuário. Esse processo sobrescreve o conhecimento de mundo pré-treinado (por exemplo, o duplo significado de "Apple" como fruta ou marca de tecnologia), levando a recomendações desalinhadas, particularmente para itens esparsos.

Os autores observam que as tentativas existentes de resolver essas questões, como a otimização conjunta de ponta a ponta (por exemplo, ETEGRec), frequentemente introduzem instabilidade no treinamento e sobrecarga computacional devido à re-tokenização repetida.

2. Metodologia: DECOR

Os autores propõem o DECOR (Representações de Tokens Contextuais Decompostas), um framework unificado projetado para preservar semânticas pré-treinadas enquanto aprimora a adaptabilidade dos tokens sem exigir re-tokenização iterativa. O DECOR consiste em dois componentes principais:

3.1 Fusão de Embeddings Decompostos

Para abordar a perda de semânticas pré-treinadas (C2), o DECOR mantém dois espaços de embeddings paralelos:

• Embeddings Semânticos Pré-treinados Congelados ($E_{pre}$): Derivados dos codebooks de um tokenizador RQ-VAE pré-treinado. Estes são mantidos congelados para preservar as capacidades originais de reconstrução semântica.
• Embeddings Colaborativos Aprendíveis ($E_{collab}$): Treinados do zero com base em sequências de interação do usuário para capturar padrões sequenciais e dinâmicas de co-ocorrência.

Essas duas modalidades são fundidas por meio de uma rede leve. Ambos os embeddings são projetados em um espaço latente compartilhado, normalizados, concatenados e mapeados de volta à dimensão original via uma matriz de fusão aprendível. Isso permite que o modelo integre conhecimento semântico estático com sinais colaborativos dinâmicos de forma adaptativa.

3.2 Composição de Tokens Contextualizados

Para abordar a tokenização estática subótima (C1), o DECOR introduz um mecanismo de interpretação dinâmica aplicado durante a fase de geração autoregressiva. Em vez de depender exclusivamente do embedding estático de um token, o modelo refina a representação do token com base no contexto de interação do usuário:

• Vetor de Contexto: Um mecanismo de agrupamento baseado em atenção agrega os embeddings fundidos da sequência histórica de interação para gerar um vetor de contexto ($u_c$).
• Composição Suave: Para cada token na sequência, o modelo realiza uma composição suave sobre um conjunto candidato de tokens (especificamente, todos os tokens da mesma camada de codebook do RQ-VAE). O embedding composto final é uma soma ponderada dos embeddings candidatos, guiada pelo vetor de contexto.
• Fusão Residual: O embedding composto contextualmente é fundido com o embedding estático original por meio de um link residual controlado por um hiperparâmetro $\alpha$. Isso permite que o modelo reinterprete tokens estáticos dinamicamente sem alterar o tokenizador subjacente.

3.3 Composição de BOS (Início da Sequência) Aprendível

Reconhecendo que o primeiro token atua como uma âncora semântica global, os autores introduzem um conjunto de vetores de consulta BOS aprendíveis. Esses vetores são compostos contextualmente para refinar o prefixo inicial, garantindo que o processo de geração comece com uma âncora semântica alinhada ao histórico específico do usuário, reduzindo assim a propagação de ambiguidade.

3. Contribuições Principais

• Análise do Problema: O artigo é o primeiro a analisar explicitamente como a tokenização estática limita a capacidade de recomendadores generativos de adaptar representações de itens a dinâmicas diversas de contexto do usuário, identificando a ambiguidade de prefixo como um modo de falha chave.
• Framework Inovador (DECOR): Os autores propõem um framework que funde embeddings semânticos pré-treinados congelados com embeddings colaborativos aprendíveis. Crucialmente, introduz um mecanismo de composição de tokens dinâmico e consciente do contexto que interpreta tokens de entrada estáticos durante a geração, evitando a instabilidade da re-tokenização de ponta a ponta.
• Eficiência e Estabilidade: O método alcança convergência mais rápida e maior precisão em comparação com baselines de treinamento conjunto, com sobrecarga computacional apenas moderada.

4. Resultados Experimentais

Os autores avaliaram o DECOR em três conjuntos de dados do mundo real da coleção Amazon Review: Scientific, Instrument e Game.

• Desempenho: O DECOR superou consistentemente as baselines de última geração, incluindo recomendadores sequenciais tradicionais (SASRec, GRU4Rec) e modelos generativos (TIGER, LETTER, CoST, ETEGRec).
  • No conjunto de dados Scientific, o DECOR alcançou uma melhoria relativa superior a 14% no NDCG@10 em comparação com a baseline mais forte.
  • No conjunto de dados Instrument (notado por terminologia especializada e texto esparso), o DECOR melhorou o NDCG@10 em 5,0% sobre a melhor baseline, demonstrando robustez onde modelos baseados em prioridade de texto lutaram.
• Estudos de Ablação: A remoção da Fusão de Embeddings Decompostos (DEF) ou da Composição de Tokens Contextualizados (CTC) resultou em quedas significativas de desempenho, confirmando que tanto a preservação de semânticas pré-treinadas quanto a habilitação de adaptação contextual são necessárias. A adição de consultas BOS aprendíveis aprimorou ainda mais o desempenho, particularmente no alinhamento de semânticas de alto nível com o contexto do usuário.
• Convergência: O DECOR atingiu 95% de seu desempenho máximo 23 épocas mais rápido que a baseline de treinamento conjunto (ETEGRec) e evitou o estagnamento no aprendizado observado no ETEGRec durante fases intermediárias de treinamento.
• Utilização de Embeddings: O DECOR melhorou significativamente a utilização de entradas do codebook. Enquanto o TIGER utilizou apenas ~26% dos embeddings ativos na primeira camada de quantização, o DECOR ativou 100% dos embeddings nos conjuntos de dados Instrument e Game ao aproveitar tokens inativos durante a composição.
• Eficiência: A latência de inferência aumentou em aproximadamente 0,85 ms por amostra (com tamanho de lote 128) em comparação com a baseline TIGER, mantendo ~82% do rendimento da baseline. Essa troca é apresentada como altamente favorável, dado os ganhos de precisão de 5–14%.

5. Significado e Alegações

O artigo alega que o DECOR fornece uma solução inovadora que evita a instabilidade da re-tokenização, mantendo ao mesmo tempo os benefícios das semânticas pré-treinadas. Ao desacoplar a estrutura semântica estática dos sinais colaborativos dinâmicos e permitir a reinterpretação contextual no momento da geração, o DECOR preenche a lacuna entre o conhecimento de mundo e o comportamento do usuário. Os autores posicionam isso como uma alternativa mais estável e expressiva aos frameworks existentes de recomendação generativa, particularmente eficaz em cenários com dados esparsos ou terminologias especializadas de itens, onde priores de texto estáticos são insuficientes.