Tokenizing Numerical and Embedding Features for LLM RecSys
本文提出了一种软标记融合框架，该框架通过一个基于交互的模块将连续数值特征和嵌入特征映射到大语言模型的嵌入空间中，与现有的基于大语言模型的基线模型相比，显著提升了在推荐基准测试上的检索性能。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，你雇佣了一位超级聪明的机器人图书管理员（一个大语言模型，简称 LLM），它非常擅长阅读故事、理解笑话并讨论书籍。你想雇佣这个机器人来为顾客推荐完美的视频游戏或玩具。
这里有一个问题：这个机器人只说“文本”。它理解像“酷”、“昂贵”或“动作冒险”这样的词汇。但现实世界的推荐是混乱的。它充满了数字（比如 19.99 美元的价签）和用于让其他计算机系统了解用户喜好的秘密代码（稠密嵌入）。
如果你只是告诉机器人“这个物品的价格是 19.99”，它可能会感到困惑。19.99 是日期、分数还是一个微小的数字？如果你只是不加思考地将这些数字和秘密代码塞进机器人的文本流中，它们可能会在噪音中丢失，就像试图在摇滚演唱会中听清一声耳语一样。
核心理念：“软标记”（Soft Token）翻译器
这篇论文的作者提出了一个聪明的解决方案，叫做软标记融合（Soft-Token Fusion）。他们没有强迫机器人去阅读原始数字，而是构建了一个特殊的翻译器。这个翻译器将那些棘手的数字和秘密代码转化为“软标记”。
把软标记想象成一个定制的、隐形的乐高积木。它不是一种你可以读出来的文字，而是一种机器人能完美理解的形状。翻译器获取像 19.99 美元这样的价格，用一种特殊的数学毯子将其包裹起来（使用一种叫做傅里叶特征的方法，这就像将一条平滑的曲线变成特定的波形模式），然后将其转化为一个软标记。现在，机器人可以将这个“价格积木”直接放在“玩具描述积木”旁边，并理解它们是如何契合在一起的。
秘诀所在：让它们互相交流
研究人员尝试了几种向机器人喂入这些积木的方法。
- “直接堆叠”法： 他们尝试直接把文本、价格积木和代码积木排成一列丢进去。他们发现这效果并不好。这就像把一堆乐高、一本书和一个三明治扔在桌子上，却指望机器人能立刻知道哪个部件属于哪个东西。机器人会感到困惑，推荐效果也不佳。
- “对话”法（获胜者）： 他们没有只是简单地堆叠，而是在机器人见到它们之前，建立了一个小型的会议室（一个基于交互的融合模块），让价格积木和代码积木先进行交谈。他们弄清楚了价格如何与物品的秘密代码相关联，完善了信息，然后才将整个包裹呈现给机器人。
他们的发现
团队在来自亚马逊的三个庞大真实世界数据集上测试了该方法：**美妆（Beauty）**产品、运动户外（Sports and Outdoors）装备以及玩具与游戏（Toys and Games）。
- 结果： 当他们使用“对话”方法时，机器人的挑选能力有了显著提升。
- 在美妆数据集上，“对话”方法获得了 0.0459 的 Recall@5 分数，击败了仅获得 0.0423 的“直接堆叠”法。
- 在运动户外数据集上，“对话”方法达到了 0.0253，而简单的堆叠法则降至 0.0220。
- 在玩具与游戏数据集上，提升幅度巨大。“对话”法得分 0.0695，而简单的堆叠法表现甚至不如仅使用文本，仅为 0.0575。
他们排除了哪些做法
论文明确反对了以下几点：
- 不要只是把它们混在一起： 仅仅将数值特征和文本特征拼接成一个长列表（直接拼接）并不是答案。事实上，在玩具数据集中，这种简单的拼接方法表现得比仅使用文本还要差。
- 不要仅仅把数字变成文字： 你不能只写下“十九点九九”就指望机器人理解其中的数学含义。数字需要保持为连续的、平滑的信号（软标记）才有用。
- 不要跳过交流环节： 你不能在不让不同类型的数据（价格 vs. 代码）进行交互的情况下，就直接将原始数据喂给机器人。
他们有多确定？
作者对这些结果非常有信心，因为他们在真实的、而非模拟的数据上进行了实际实验。他们将自己的方法与许多著名的推荐系统（如 GRU4Rec、SASRec 和 TIGER）进行了对比。
结果呈现出一个细微的差别：在玩具与游戏数据集上，他们的方法以显著优势击败了之前的顶尖选手 TIGER（将 Recall@5 从 0.0521 提升到了 0.0695）。然而，在美妆和运动户外数据集中，尽管新模型在 Recall@10 上更强，但 TIGER 在对排名敏感的 NDCG 指标上仍然具有竞争力。这表明，虽然新方法非常有效，但最佳方案取决于你最看重哪种特定指标。
总结
论文表明，如果你想让一个超级聪明的语言模型成为优秀的推荐者，你不能只喂给它文本。你必须将数字和秘密代码翻译成它能理解的语言（软标记），并且最重要的是，在这些信息遇到机器人之前，让它们彼此进行交流。这不仅仅关乎拥有更多信息，更在于你如何引入这些信息。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。