Resumo Técnico: Tokenização de Recursos Numéricos e de Embedding para LLM RecSys

Declaração do Problema

Embora os Grandes Modelos de Linguagem (LLMs) tenham emergido como backbones poderosos para sistemas de recomendação devido às suas capacidades de modelagem de sequência e compreensão semântica, existe um descompasso fundamental entre as interfaces de entrada dos LLMs e os pipelines de recomendação industrial. Os LLMs consomem primariamente tokens de texto discretos, enquanto sistemas de recomendação práticos dependem fortemente de recursos numéricos contínuos (ex: preço, avaliações) e recursos de embedding densos gerados por engenharia upstream ou encoders pré-treinados.

As estratégias existentes para mitigar esse gap — como a verbalização de sinais em texto, a discretização de representações de itens ou a anexação de recursos externos apenas após o encoding do LLM — frequentemente obscurecem informações numéricas sensíveis à escala, descartam sinais contínuos refinados ou limitam a interação entre recursos textuais e não textuais dentro do modelo. Este artigo aborda o desafio de incorporar esses sinais heterogêneos e não textuais diretamente no espaço de embedding do LLM sem perder sua natureza contínua ou exigir processamento post-hoc.

Metodologia

Os autores propõem um framework de fusão de soft-tokens que mapeia recursos numéricos e de embedding em "soft tokens" (vetores contínuos) compatíveis com a interface de token padrão do LLM. Este framework é instanciado em um modelo de recuperação de duas torres baseado em LLM com parâmetros compartilhados.

1. Construção de Soft-Tokens

O método converte recursos não textuais em sequências de soft tokens usando estratégias específicas de encoding e compressão:

• Recursos de Embedding: Recursos de embedding densos (derivados de metadados de itens ou histórico do usuário) são primeiro codificados por um encoder de texto LLM auxiliar (Qwen3-4B). Para gerenciar o comprimento da sequência, aplica-se o mean pooling sobre os embeddings de tokens consecutivos. Esses embeddings poolados são então comprimidos em um número fixo de embedding soft tokens usando um adaptador Q-Former. O Q-Former utiliza tokens de consulta aprendíveis para atender aos recursos de comprimento variável, atuando como um gargalo de informação.
• Recursos Numéricos: Recursos numéricos contínuos (especificamente preço) são codificados usando codificação de características de Fourier para preservar diferenças de valores finos e sensibilidade de escala. Esses valores codificados são projetados na dimensão oculta do LLM e, subsequentemente, comprimidos em numerical soft tokens via um Q-Former numérico dedicado.

2. Fusão Baseada em Interação

Um componente crítico do framework é o módulo de fusão baseado em interação. Em vez de simplesmente concatenar tokens de texto, embedding soft tokens e numerical soft tokens (o que os autores descobriram ser suboptimal), o método proposto refina os soft tokens heterogêneos antes da inserção.

• Os embedding e numerical soft tokens são concatenados e passados por um módulo de fusão Transformer leve.
• Este módulo modela as relações entre os dois tipos de recursos usando mecanismos de atenção (atenção cross-feature bidirecional ou unidirecional).
• Os soft tokens refinados são então inseridos na sequência de entrada final do LLM (Qwen3-0.6B) junto com os tokens de prompt textual e o token de fim de sequência ([EOS]).

3. Arquitetura

O sistema emprega uma arquitetura de recuperação de duas torres onde ambas as torres (usuário e item) compartilam os mesmos parâmetros do LLM. As torres codificam as sequências de entrada fundidas em representações de recuperação densa usando last-token pooling sobre o token [EOS]. O modelo é treinado com um objetivo contrastivo usando negativos in-batch.

Principais Contribuições

1. Identificação de Descompasso: O artigo identifica explicitamente a desconexão entre as entradas de LLM baseadas em tokens e os recursos de embedding denso e numérico contínuo, padrão em pipelines de recomendação.
2. Framework de Fusão de Soft-Token: Propõe um método para converter recursos não textuais em soft tokens compatíveis com LLM, permitindo que sinais heterogêneos sejam consumidos através da interface de token padrão.
3. Fusão Baseada em Interação: Os autores introduzem um módulo específico que modela interações entre os soft tokens derivados de embedding e numéricos antes do encoding do LLM, demonstrando que isso é superior à concatenação direta.
4. Validação Empírica: O framework é instanciado em um modelo de recuperação de duas torres com parâmetros compartilhados e avaliado em três benchmarks de recomendação da Amazon (Beauty, Sports and Outdoors, Toys and Games).

Resultados Experimentais

Os autores avaliaram seu método contra vários baselines, incluindo variantes de LLM apenas de texto, variantes de soft-token de fonte única, baselines de concatenação direta e modelos de recomendação sequencial/generativa estabelecidos (ex: SASRec, TIGER).

• Eficácia de Recursos Não Textuais: Tanto os embedding soft tokens quanto os numerical soft tokens proporcionaram ganhos de performance sobre os baselines apenas de texto. A utilidade relativa variou por dataset (recursos numéricos foram mais impactantes em Beauty e Sports; embedding features foram mais impactantes em Toys).
• Superioridade da Interação: A concatenação direta de soft tokens heterogêneos mostrou-se inconsistente e frequentemente teve performance inferior às variantes de fonte única. Em contraste, a abordagem de fusão baseada em interação alcançou a melhor performance ou empatou como a melhor em quase todas as métricas (Recall@K, NDCG@K) nos três datasets.
• Comparação com Baselines: O modelo proposto com interação alcançou melhor performance que o baseline TIGER em Recall@10 em todos os datasets e obteve o desempenho geral mais forte no dataset Toys and Games. Também superou modelos sequenciais tradicionais como GRU4Rec, Caser e HGN.
• Estudos de Ablação: Experimentos adicionais confirmaram a necessidade de escolhas de design específicas:
  • Substituir os adaptadores Q-Former por projeções MLP degradou significativamente a performance (queda de até 60% em R@5 em Sports).
  • Substituir a codificação de Fourier por representação numérica baseada em tokenizer reduziu consistentemente a performance.
  • A concatenação de prompt ingênua foi menos eficaz do que a construção e interação explícita de soft-tokens.

Significância e Alegações

O artigo afirma que a fusão de soft-token serve como uma interface prática para unir LLMs com pipelines de recomendação ricos em recursos. Ao representar recursos numéricos contínuos e embeddings densos como soft tokens e modelar explicitamente suas interações antes do encoding do LLM, o método permite que recomendadores baseados em LLM explorem sinais não textuais refinados sem abandonar a arquitetura baseada em tokens.

Os autores posicionam este trabalho como um passo para mover de arquiteturas de recomendação específicas para tarefas em direção a modelos centrados em LLM que podem consumir nativamente tipos de dados heterogêneos. Eles observam que trabalhos futuros poderiam estender este framework para tipos de recursos adicionais, modelos de backbone maiores e configurações de recuperação em larga escala mais realistas. Os resultados sugerem que modelar as relações entre recursos não textuais é crucial para maximizar o potencial dos LLMs em tarefas de recomendação.