Resumo Técnico: REPREC

Definição do Problema

A recomendação sequencial visa prever a próxima interação de um usuário com base na ordem cronológica de seus comportamentos passados. Embora modelos clássicos (ex: filtragem colaborativa, SASRec, BERT4Rec) aprendam representações compactas de usuários de forma eficaz, eles carecem do conhecimento de mundo semântico e da capacidade de seguir instruções dos Grandes Modelos de Linguagem (LLMs). Por outro modo, abordagens recentes que reformulam a recomendação como uma tarefa de linguagem natural utilizando LLMs frequentemente enfrentam dificuldades para preservar sinais colaborativos estruturados.

Soluções existentes que tentam preencher essa lacuna geralmente dependem de uma ou mais das seguintes estratégias, que introduzem trade-offs significativos de implantação:

• Fine-tuning de LLM: Adaptar o backbone do LLM (ex: via LoRA) para aprender tarefas de recomendação.
• Modificações Arquiteturais: Adicionar módulos dedicados de atenção cruzada ou otimização conjunta de múltiplos componentes.
• Condicionamento ao Nível do Item: Injetar uma representação para cada item histórico no input do LLM, fazendo com que o comprimento das sequências e os custos computacionais (FLOPs) escalem linearmente com o histórico de interações.
• Destilação de Representação: Transferir conhecimento através de objetivos de destilação complexos.

Esses métodos frequentemente aumentam a complexidade de treinamento, a pegada de parâmetros e a latência de inferência, tornando-os menos adequados para ambientes de produção onde modularidade, escalabilidade e baixa latência são críticas. O artigo propõe uma questão de design: É possível conectar um codificador sequencial congelado e um LLM congelado exclusivamente através de um alinhamento de representação leve ao nível do usuário, preservando a modularidade e minimizando a complexidade de implantação?

Metodologia

Os autores propõem o REPREC (Representação-driven Parameter-Efficient Recommendation), um framework que conecta um recomendador sequencial congelado e um LLM congelado através de um módulo de alinhamento leve e treinável. A arquitetura consiste em três componentes primários:

1. Codificador Sequencial Congelado ($f_\theta$): Um recomendador sequencial padrão (instanciado como SASRec ou BERT4Rec) treinado para a predição do próximo item. Uma vez treinado, seus parâmetros são congelados. Ele mapeia a sequência de interação de um usuário $S_u$ em um embedding de usuário de tamanho fixo e $d$ dimensões.
2. Injetor Leve ($g_\phi$): Um Perceptron Multicamadas (MLP) compacto que projeta o embedding de usuário de tamanho fixo para o espaço de embedding do LLM.
   • O injetor mapeia o embedding de $d$ dimensões para um conjunto de $m$ "soft tokens" (vetores de condicionamento) de dimensão $D$ (o tamanho oculto do LLM).
   • A transformação envolve uma projeção linear, uma ativação não linear (GELU) e um LayerNorm compartilhado aplicado aos tokens resultantes.
   • Crucialmente, apenas os parâmetros do injetor $\phi$ são treináveis; o codificador sequencial e o LLM permanecem congelados.
3. Backbone de LLM Congelado ($M$): Um LLM pré-treinado (ex: LLaMA, Qwen) que recebe os soft tokens injetados, concatenados ao prompt textual descrevendo o item candidato. O LLM realiza uma classificação binária (Sim/Não) para determinar se o item candidato é relevante.

Processo de Treinamento:
O sistema é treinado usando um prompt de decisão binária. Os tokens do usuário $Z = g_\phi(u)$ são concatenados com o embedding do prompt $E_{prompt}$ para formar o input $E_{input} = [Z; E_{prompt}]$. O LLM gera logits para o token da resposta, e a perda de entropia cruzada é calculada apenas na posição da resposta. Os gradientes fluem de volta através das ativações do LLM congelado para atualizar apenas os parâmetros do injetor $\phi$.

Principais Contribuições

• Eficiência de Parâmetros: O REPREC elimina a necessidade de fazer o fine-tuning do backbone do LLM ou do codificador sequencial. A adaptação é confinada a um pequeno módulo de injeção MLP, reduzindo significativamente a contagem de parâmetros treináveis em comparação ao LoRA ou fine-tuning total.
• Modularidade e Compatibilidade: O framework é agnóstico ao codificador e ao backbone. Pode integrar-se com vários codificadores sequenciais (SASRec, BERT4Rec) e LLMs (LLaMA, Qwen) sem modificar suas arquiteturas internas.
• Alinhamento ao Nível do Usuário: Ao contrário dos métodos de condicionamento ao nível do item que escalam com o comprimento do histórico, o REPREC utiliza um número fixo de soft tokens ($m$) derivados de uma representação global do usuário, garantindo latência de inferência constante, independentemente do tamanho do histórico de interações.
• Generalização para Dados Esparsos: O método é especificamente projetado para transferir sinais colaborativos do codificador sequencial para o LLM, o que é particularmente benéfico para usuários com históricos de interação limitados.

Resultados Experimentais

Os autores avaliaram o REPREC em cinco conjuntos de dados de avaliações de produtos da Amazon (Beauty, Sports, Toys, Pet Supplies, Tools) contra baselines incluindo Zero-shot LLM, Frozen Injector, LoRA-FT e LRA.

• Desempenho Geral: O REPREC supera consistentemente os modelos sequenciais isolados (SASRec, BERT4Rec) e os LLMs Zero-shot. Sob orçamentos de parâmetros equivalentes, o REPREC iguala ou excede o desempenho do LoRA-FT e LRA em todos os datasets e backbones de LLM (LLaMA e Qwen).
• Análise de Regimes de Usuário:
  • Usuários Casuais e Core: O REPREC demonstra ganhos significativos sobre o LoRA para usuários com históricos de interação curtos (0–20 interações). A representação de usuário injetada fornece sinais colaborativos valiosos que o LLM carece em regimes de baixos dados.
  • Usuários de Alto Poder (Power Users): Para usuários com históricos longos (>20 interações), a lacuna de desempenho entre o REPREC e o LoRA diminui, com o REPREC apresentando desempenho comparável.
• Eficiência e Trade-offs de Treinamento/Inferência:
  • Velocidade de Treinamento: Treinar o REPREC é significativamente mais rápido que o LoRA.
  • Generalização Curto-Longo: Os autores investigaram o treinamento com históricos de prompt curtos ($\ell=10$) e avaliação com contextos mais longos ($\ell=50$). Embora o treinamento com históricos curtos degrade o desempenho para usuários de alto poder, uma abordagem híbrida (treinar curto, testar longo) recupera 85–100% do desempenho do LoRA para esses usuários, reduzindo o tempo de treinamento por época em uma média de 1,51×.
• Ablação: O estudo confirma que simplesmente concatenar soft tokens não treinados (Frozen Injector) é insuficiente; o alinhamento aprendido é essencial. Além disso, combinar soft tokens com o histórico de interação textual produz resultados melhores do que apenas os soft tokens.

Significância e Alegações

O artigo afirma que o REPREC estabelece uma abordagem simples, modular e prática para integrar sinais colaborativos em sistemas de recomendação baseados em LLM. Sua principal significância reside em demonstrar que a recomendação sequencial de alta qualidade não requer mudanças arquiteturais complexas ou fine-tuning caro de LLMs.

Ao desacoplar a extração do sinal colaborativo (codificador congelado) do raciocínio de linguagem (LLM congelado) através de uma camada de alinhamento leve, o REPREC oferece um pipeline amigável à produção que equilibra a qualidade da recomendação com a eficiência computacional. Os autores enfatizam que esta abordagem é particularmente eficaz para a "cauda longa" de usuários (casuais e core) que constituem a maioria das bases de usuários em sistemas reais, onde a esparsidade de dados é um desafio comum. O trabalho sugere que o alinhamento de representação ao nível do usuário é uma alternativa viável à adaptação de backbone para escalar LLMs em cenários de recomendação.