M3TR: Temporal Retrieval Enhanced Multi-Modal Micro-video Popularity Prediction

在短视频内容那浩瀚且汹涌的海洋中，每天都有数以百万计的片段被上传，一个单一的问题驱动着推荐算法的引擎：哪段视频会捕捉到世界的注意力，以及能持续多久？预测这种流行度不仅仅是统计点赞或分享的问题；它是在试图根据个体转瞬即逝、往往又充满混沌感的反应，来预判人群未来的行为。多年来，研究人员一直试图构建能够通过分析视频内容（它看起来像什么、听起来像什么以及关于它的文字描述了什么）来洞察视频成功未来的模型。他们也曾尝试追踪用户随时间与视频互动的过程，将这些互动视为一条上升或下降的简单折线图。然而，这些方法往往忽略了人类参与感中更深层、更复杂的节奏。它们无法理解，一次点赞的爆发可能会触发一波分享的热潮，或者突如其来的负面评论浪潮可能会瞬间扼杀一段视频的势头，无论这段视频本身多么精美。

来自上海交通大学和贝尔法斯特女王大学的研究团队提出了一种解决这一难题的新方法，引入了一个他们称之为 M3TR 的系统。该方法不再仅仅观察视频是由什么构成的，也不再将用户反馈视为随时间变化的简单数字，而是将流行度视为一种有生命的、呼吸着的事件序列。研究人员意识到，要预测视频的未来，必须理解人类反应中那种特定的、错综复杂的连锁反应。他们构建了一个能够识别视频成功背后独特“时间 DNA”的系统。这意味着该系统不仅仅是在问：“这个视频是关于猫的吗？”它在问：“即使其他视频是关于烹饪或舞蹈的，这个视频是否遵循了与其他走红视频相同的兴奋与衰退模式？”通过将对用户互动如何相互影响的深度理解，与一个能够寻找具有相似流行度历史视频的智能搜索引擎相结合，该团队创造了一个比以往任何时候都更能清晰洞察未来的工具。

他们发现的核心在于如何模拟人们对视频做出反应的方式。过去，系统通常将“点赞”、“分享”和“评论”视为独立的事件，或者简单地将它们相加为一个单一的分数。研究人员知道这是错误的。他们明白这些行为是紧密相连的：点赞的激增可以鼓励更多的分享，而一波争议性的评论则可能抑制进一步的参与。为了捕捉这一点，他们开发了一种新方法，将用户反馈视为一系列自激事件，其中一种行为自然会触发下一种行为，但这种触发的性质可以根据语境而改变。他们使用了一种复杂的神经网络架构来学习这些序列中的长期模式，使系统能够洞察到：即便视频仍在获得点赞，某种特定类型的评论也可能预示着视频热度的终结。这种区分正向势头与虚假高峰的能力是一项关键性的突破。

一旦系统能够准确绘制出视频互动的复杂历史，研究人员就面临了下一个挑战：如何利用这些知识来预测未来。传统方法会搜索其他看起来或听起来相似的视频。如果你有一个关于猫的视频，系统就会寻找其他的猫咪视频。研究人员发现这种方法存在缺陷。一个关于猫的视频可能呈现出缓慢而稳定的流行上升，而另一个关于猫的视频可能会瞬间爆发然后迅速消退。内容虽然相同，但它们成功的“故事”却完全不同。他们的全新系统 M3TR 改变了搜索规则。它不再仅仅匹配内容，而是匹配流行的“故事”。它在海量的历史视频库中进行搜索，寻找那些拥有相同参与模式的案例——即无论视频是关于猫、汽车还是烹饪，它们都以同样的方式起伏。

这种从“内容匹配”到“模式匹配”的转变被证明极其强大。当研究人员在两个大型数据集的真实世界数据上测试其系统时，结果令人瞩目。新模型显著优于以往的所有方法，将预测误差降低了高达 19.3%。简单来说，它在预测未来几小时或几天内会有多少人观看、点赞或分享视频方面，准确度大幅提升。该系统在处理最困难的案例时表现尤为出色：例如那些起步强劲但随后逐渐乏力的视频，或是那些在突然走红前长期处于沉寂状态的视频。通过学习过去视频的具体轨迹，该模型能够捕捉到视频即将停滞或爆发的细微迹象，而这正是旧模型完全无法察觉的。

研究人员还证明了他们的方法在实际应用中的可行性。虽然构建其视频模式库需要大量的计算能力，但这项工作是在线完成的（离线处理）。一旦库建立完成，系统便可以在不到一秒的时间内找到最相关的历史案例，从而实现对新视频的实时预测。这种两步走的过程确保了即使在数据库扩展到包含数百万视频时，系统依然能保持快速高效。这项研究证实，理解人们与内容互动的动态演变故事，对于预测而言，远比单纯分析内容本身更为重要。通过倾听人类注意力的节奏而非仅仅观察画面，研究人员为在不可预测的病毒式传播媒体世界中航行，提供了一种更可靠的新途径。