技术摘要：REPREC

问题定义

序列化推荐旨在根据用户过去行为的年代顺序来预测其下一次交互。虽然经典的模型（如协同过滤、SASRec、BERT4Rec）能够有效地从交互序列中学习紧凑的用户表示，但它们缺乏大语言模型（LLM）所具备的语义世界知识和指令遵循能力。相反，近期通过将推荐任务重新表述为自然语言任务来利用 LLM 的方法，往往难以保留结构化的协同信号。

试图弥补这一差距的现有方案通常依赖于以下一种或多种策略，这些策略引入了显著的部署权衡：

• LLM 微调： 通过 LoRA 等方式使 LLM 主干适配推荐任务。
• 架构修改： 添加专门的交叉注意力模块或对多个组件进行联合优化。
• 物品级条件化（Item-Level Conditioning）： 将每个历史物品的表示注入到 LLM 输入中，导致序列长度和计算成本（FLOPs）随交互历史呈线性扩展。
• 表示蒸馏： 通过复杂的蒸馏目标来转移知识。

这些方法通常会增加训练复杂度、参数占用量和推理延迟，使其不太适用于对模块化、可扩展性和低延迟有严格要求的生产环境。本文提出了一个设计问题：能否仅通过轻量级的用户级表示对齐，将冻结的序列编码器和冻结的 LLM 连接起来，从而保持模块化并最小化部署复杂度？

方法论

作者提出了 REPREC（表示驱动的参数高效推荐），这是一个通过轻量级、可训练的对齐模块将冻结的序列推荐器与冻结的 LLM 连接起来的框架。该架构由三个主要部分组成：

1. 冻结的序列编码器 ($f_\theta$)： 一个标准的序列推荐器（实例化为 SASRec 或 BERT4Rec），在下个物品预测任务上进行训练。一旦训练完成，其参数即被冻结。它将用户的交互序列 $S_u$ 映射为一个固定大小的 $d$ 维用户嵌入。
2. 轻量级注入器 ($g_\phi$)： 一个紧凑的多层感知机（MLP），负责将固定大小的用户嵌入投影到 LLM 的嵌入空间中。
   • 注入器将 $d$ 维嵌入映射为一组维度为 $D$（LLM 隐藏层大小）的 $m$ 个“软标记”（soft tokens/条件向量）。
   • 该变换涉及线性投影、非线性激活（GELU）以及应用于所得标记的共享层归一化（LayerNorm）。
   • 至关重要的是，只有注入器参数 $\phi$ 是可训练的；序列编码器和 LLM 均保持冻结。
3. 冻结的 LLM 主干 ($M$)： 一个预训练的 LLM（如 LLaMA、Qwen），接收被注入的软标记，这些标记被前置于描述候选物品的文本提示词（prompt）之前。LLM 执行二分类任务（是/否）以确定候选物品是否相关。

训练过程：
系统使用二分类决策提示词进行训练。用户标记 $Z = g_\phi(u)$ 与提示词嵌入 $E_{prompt}$ 拼接，形成输入 $E_{input} = [Z; E_{prompt}]$。LLM 为答案标记生成逻辑值（logits），并在该位置计算交叉熵损失。梯度通过冻结的 LLM 激活值回传，仅用于更新注入器参数 $\phi$。

核心贡献

• 参数高效性： REPREC 消除了微调 LLM 主干或序列编码器的需求。适配过程仅限于一个小型 MLP 注入器，与 LoRA 或全量微调相比，显著降低了可训练参数量。
• 模块化与兼容性： 该框架与编码器无关，也与主干模型无关。它可以集成各种序列编码器（SASRec、BERT4Rec）和 LLM（LLaMA、Qwen），而无需修改其内部架构。
• 用户级对齐： 不同于随历史长度扩展的物品级条件化方法，REPREC 使用源自全局用户表示的固定数量软标记 ($m$)，确保了无论交互历史规模如何，推理延迟都保持恒定。
• 对稀疏数据的泛化： 该方法专门设计用于将协同信号从序列编码器转移到 LLM，这对于交互历史较短的用户特别有利。

实验结果

作者在五个亚马逊产品评论数据集（美妆、运动、玩具、宠物用品、工具）上对 REPREC 进行了评估，对比的基线包括 Zero-shot LLM、Frozen Injector、LoRA-FT 和 LLaRA。

• 整体性能： REPREC 的表现始终优于独立的序列模型（SASRec、BERT4Rec）和 Zero-shot LLM。在匹配参数预算的情况下，REPREC 在所有数据集和 LLM 主干（LLaMA 和 Qwen）上均达到或超过了 LoRA-FT 和 LLaRA 的性能。
• 用户群体分析：
  • 休闲用户与核心用户： 对于交互历史较短（0–20 次）的用户，REPREC 相比 LoRA 展示了显著的提升。注入的用户表示提供了 LLM 在低数据量情形下所缺乏的有价值的协同信号。
  • 重度用户： 对于长历史用户（>20 次），REPREC 与 LoRA 之间的性能差距缩小，两者表现相当。
• 效率与训练/推理权衡：
  • 训练速度： REPREC 的训练速度明显快于 LoRA。
  • 短-长泛化能力： 作者研究了使用短提示历史（$\ell=10$）进行训练并在长上下文（$\ell=50$）下进行评估的情况。虽然在短历史上训练会降低重度用户的性能，但采用混合方法（短历史训练，长历史测试）可以为重度用户恢复 85–100% 的 LoRA 性能，同时使每轮（per-epoch）训练时间平均减少 1.51 倍。
• 消融实验： 研究证实，仅仅前置未训练的软标记（Frozen Injector）是不够的；学习到的对齐至关重要。此外，将软标记与文本交互历史结合使用比单纯使用软标记效果更好。

重要性与主张

本文声称 REPREC 为将协同信号集成到基于 LLM 的推荐系统中提供了一种简单、模块化且实用的方法。其主要意义在于证明了高质量的序列化推荐并不需要复杂的架构变更或昂贵的 LLM 微调。

通过利用轻量级对齐层将协同信号提取（冻结编码器）与语言推理（冻结 LLM）解耦，REPREC 提供了一个兼顾推荐质量与计算效率的生产友好型流水线。作者强调，这种方法对于构成现实世界系统中大多数用户的“长尾”用户（休闲用户和核心用户）特别有效，因为在这些场景中，数据稀疏是一个普遍挑战。这项工作表明，用户级表示对齐是实现 LLM 在推荐场景中规模化应用的、替代主干适配的一种可行方案。