MILCR: Mutual information and local consistency regularized flow matching for sequential recommendation

在数字时代，我们的在线生活留下了选择的足迹：我们购买的书籍、观看的视频、造访的餐厅。对于计算机而言，理解这些足迹的任务被称为序列推荐（sequential recommendation）。其目标简单却又困难：观察一个人过去的行为，并预测他们下一步想要做什么。多年来，这项工作的最佳工具就像细心的图书管理员，通过扫描用户的历史记录来寻找模式，并建议下一个逻辑步骤。然而，新一代的工具已经出现，它们试图尝试一些更具创造性的事情。这些生成式模型不再仅仅是寻找模式，而是试图从零开始构建一幅用户未来欲望的图景，从纯粹的随机性出发，并逐渐将其塑造成一个具体的推荐。

想象一下，你正试图为一位朋友画一幅完美的肖像，但你被迫从一个充满静态噪声的空白屏幕开始。你必须一步步地移除这些噪声，直到面容显现。这就是现代生成式系统的工作方式。它们从随机噪声开始，通过一系列数学步骤，将这种混沌转化为清晰的预测。虽然这种方法展现出了巨大的潜力，但在应用于人类行为这一混乱的现实时，它面临着一个特定的问题。由于人们的交互历史通常较短且分散，这些模型可能会感到困惑。它们可能会过度依赖最初的随机噪声，而不是用户的实际历史；或者它们可能会将所有不同的用户压缩成一个单一的、模糊的平均值，从而丢失了使推荐变得有用的独特细节。

北京工业大学的一个研究小组开发了一种解决这些缺陷的新方法，称其系统为 MILCR。他们的工作专注于优化这些生成式模型如何从稀疏数据中学习。研究人员发现，主要问题有两个方面：模型难以保持不同用户偏好的差异性，以及它们让初始的随机噪声对最终答案的影响过大。为了解决这个问题，他们引入了一个类似于“双重检查”系统的训练过程。首先，他们用一个结构化的基础来准备系统，确保在复杂的学习开始之前，模型的构建模块已经是有序的。然后，在主训练阶段，他们使用了一种巧妙的策略，在两个任务之间交替进行。一个任务教导模型忽略随机噪声，迫使其严格依赖用户的实际历史。另一个任务则确保模型到达预测值的路径是平滑且稳定的，防止系统在做出猜测时出现摇摆或不规则的跳跃。

研究人员在五个不同的真实世界数据集上测试了这种新方法，涵盖了从在线书评到电影评分的各种领域。他们将自己的系统与几种其他强大的模型进行了对比，其中包括基于旧有成熟技术的模型以及较新的生成式方法。结果显示，他们的新方法始终优于竞争对手。例如，在一个关于玩具购买的数据集上，新系统在正确预测下一件物品的能力上，比之前的最佳模型提高了 17% 以上。它还证明了在处理交互次数极少的用户时，比其他经常失败的模型更加可靠。通过分析系统的内部运作，团队证实了他们的方法成功减少了模型对随机噪声的依赖，并保持了不同用户表示（representations）的清晰与独立，而不是让它们混杂在一起。

这项工作的成功在于其能够平衡创造力与纪律。生成式方法允许系统构想新的可能性，但新的正则化机制起到了护栏的作用，确保这种想象力始终植根于用户的真实历史之中。研究人员发现，通过最小化起始噪声与最终结果之间的联系，模型学会了比起随机起点，更信任用户的过往行为。同样，通过强制执行预测过程各步骤之间的一致性，他们确保了系统不会在计算过程中迷失方向。这种技术的结合使得该模型能够比以前更好地处理现实世界数据的稀疏性和混乱性。

最终，这项研究为计算机如何理解人类偏好提供了一条更清晰的前路。它表明，虽然从随机性出发可以是产生想法的一种强大方式，但在现实世界中应用时，需要精心的约束。这个新系统不仅仅是在猜测；它学会了如何区分用户的真实兴趣信号与用于寻找这些兴趣的数学过程中的噪声。随着在线交互变得日益复杂和多样，像这样的工具对于确保推荐保持个性化、准确且真正有用至关重要，即使在可用数据有限的情况下也是如此。这项工作表明，推荐系统的未来不仅在于生成更多的数据，而在于更智能地生成数据，并对服务对象那独特且往往并不完整的个人故事保持深度的尊重。