Sharpness-aware Model Merging with Salience Recovery for LLM-based Cross-Domain Sequential Recommendation
本文提出了 SharpRec，一种用于基于大语言模型（LLM）的跨域序列推荐的新型框架，该框架通过锐度感知几何对齐和偏好显著性激活来解决模型合并中的知识冲突和性能饱和问题，从而显著超越现有的最先进基准模型。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，你是一位正试图向访客推荐完美书籍的图书管理员。如果你只知道他们喜欢科幻小说，你可能会建议一部太空歌剧。但如果同时你也知道他们内心深处热爱烹饪呢？一位真正聪明的图书管理员能够将这些点连接起来，推荐一部设定在未来主义厨房里的科幻小说。这就是“跨领域序列推荐”（Cross-Domain Sequential Recommendation）的梦想：利用一个人在某一领域（如电影）所喜好的事物，来预测他们可能在另一领域（如书籍）中感兴趣的内容，即便他们从未明确表达过对新兴趣点的喜爱。
为了实现这一点，现代计算机使用了“大语言模型”（LLMs）。可以将它们想象成超级聪明、博学多才的大脑，它们理解词汇的深层含义，而不仅仅是关键词列表。它们可以发现“星球大战”和“烹饪”可能共享“史诗旅程”这一主题，即便用户从未买过食谱。然而，教导这些大脑同时处理多种兴趣是非常困难的。如果你尝试将他们的运动知识和玩具知识混合在一起，他们可能会产生混乱，把足球的规则与积木的规则搞混。这篇论文解决了如何将这些不同的“专家大脑”组合成一个超级大脑，而不让它们互相绊倒或忘记各自独特的技能。
研究人员胡伟及其来自浙江大学和杭州电子科技大学的团队发现，仅仅将不同的推荐模型强行砸在一起是行不通的。他们发现了两个主要问题。首先，模型往往存在“几何不兼容性”。想象一下，试图将两个被雕刻成完全不同且参差不齐的凹槽形状的拼图块合并在一起；如果你强行将它们结合，画面就会变得扭曲。其次，他们注意到了一种“饱和”效应。如果你不断增加知识来源（比如加入书籍、电影、运动和玩具），模型的性能会撞上一堵墙并停止提升。这就像混合过多的颜料；最终你只会得到一种浑浊的棕色，而不是一种充满活力的崭新色彩。团队将这种现象称为“统计同质化”（statistical homogenization），即每个兴趣领域独特的、锐利的细节被磨平，变成了一个平庸的平均值。
为了解决这个问题，团队构建了一个名为 SharpRec 的新框架。他们不仅仅是把模型揉在一起，而是为它们进行了一次“大改造”。首先，他们使用了一种名为“锐度感知几何对齐”（Sharpness-aware Geometric Alignment）的技术。可以将其想象为在用胶水粘合之前，先将拼图块的锯齿状边缘打磨光滑。通过轻轻引导模型去寻找学习景观中的“平坦”区域（即微小的变化不会破坏结果的地方），他们确保了不同的领域可以平滑地融合在一起而不会发生冲突。
其次，他们引入了“偏好显著性激活”（Preference Salience Activation）。当模型合并时，那些独特的、高价值的细节（比如对复古玩具的特定喜爱）容易在人群中丢失。SharpRec 扮演着荧光笔的角色，寻找那些被抹平了的、重要的、稀有的细节，并将它们重新增强。这就像是用软件对模糊的照片进行锐化处理，以确保模型记住那些让用户显得独特的特定特征，而不是一个泛泛的平均值。
团队在亚马逊的真实世界数据上测试了 SharpRec，观察了诸如书籍与电影、运动与玩具等配对。他们发现，该方法始终优于所有其他顶尖方法。事实上，当其他方法在组合了仅三到四个不同领域后就触及性能瓶颈时，SharpRec 却能随着添加更多来源而不断提升性能。他们还展示了即使在两个领域之间重叠的用户非常少的情况下，该方法依然有效，证明了它不需要大量同时喜爱这两类事物的群体来建立联系。
简而言之，这篇论文表明，通过仔细对齐模型的“形状”并积极保护其最独特的特征，我们可以构建出不仅更聪明，而且能够从广泛的不同兴趣中学习而不产生混乱或丧失锐度的推荐系统。这些以系统正确预测用户下一个喜爱物品的频率来衡量的结果表明，这种方法是迈向构建真正理解我们复杂、多面生活的 AI 推荐系统的重要一步。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。