Incremental Evaluation and Training in Relational Deep Learning
本文通过引入一种利用迁移学习来有效处理时间概念漂移并超越传统从头开始训练基准模型的增量式、多回合训练与评估范式，解决了关系深度学习中静态评估的局限性。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，你正试图教一个机器人如何根据一个庞大的、活生生的信息库来预测未来。这不仅仅是一个藏书库，而是一个关系型数据库，一个由相互关联的表组成的复杂网络，其中每一条数据都与其他数据相互交谈——比如用户、产品、日志和交互，它们全部紧密相连。长期以来，科学家们一直使用一种特殊的“大脑”，称为关系深度学习（Relational Deep Learning, RDL），来阅读这个网络。你可以把 RDL 想象成一个超级聪明的侦探，它不仅仅是逐页阅读，而是能理解整个故事的结构，在不需要先将故事扁平化为枯燥的数字列表之前，就能连接起不同角色与事件之间的点滴。
然而，这里有一个问题。大多数时候，当我们测试这些侦探机器人时，我们会给它们一个静态的、冻结的快照——一张在特定时刻拍摄的照片。我们要求它们根据这一张照片来破解谜题，然后判定它们是成功还是失败。但现实生活并不像相册那样运作；它更像是一个直播流。新的书籍每秒都在被添加，旧的书籍也在不断更新，故事也在发生变化。如果你用去年的快照来训练一个侦探，面对今天发生的剧情转折，他们可能会感到完全不知所措。这篇论文提出了一个简单但至关重要的问题：当图书馆不断增长时，这些 AI 侦探会发生什么？我们又该如何教导他们，让他们在不需要每次都从零开始的情况下跟上节奏？
这篇论文的作者，来自布拉格捷克技术大学的 Jakub Peleška 和 Gustav Šír，决定不再把数据库视为冻结的照片，而是将其视为有生命、会呼吸的有机体。他们引入了一种新的测试和训练这些 AI 模型的方法，称为“增量式、多回合”（incremental, multi-episode）范式。他们不再给模型进行一场基于旧数据的终极考试，而是模拟一个真实世界的场景，即数据随时间分块到达。他们让模型参加一次测试，从刚刚到达的新信息中学习，然后对下一块时间的数据进行下一次测试，如此循环往复。
当他们在巨大的真实世界数据集（如用户点击广告或驾驶员表现日志）上运行这项实验时，他们发现了一些重要的东西：世界变化的速度比我们想象的要快。他们发现“时间概念漂移”（temporal concept drift）无处不在。这是一种高级说法，意思是指游戏的规则随着时间的推移而改变。昨天成立的模式在明天可能完全失效。例如，用户今天与产品互动的方式可能与几个月前完全不同。当他们测试旧方法——即每次都根据最新数据从头开始训练模型——时，这种方法既缓慢又昂贵，而且效果往往不如预期，因为它会忘记之前学到的一切。
为了解决这个问题，团队尝试了另一种方法：“微调”（fine-tuning）。想象一下，与其在每当新书到达时都让侦探从婴儿时期重新训练，不如只是给他们上一堂关于新材料的快速强化课程。他们测试了四种不同的方法，包括一种仅从最新数据中学习的方法，以及另一种通过混合新旧数据来避免遗忘的方法。结果令人印象深刻。那些使用这些增量微调策略的模型，其表现始终能达到甚至超过那些昂贵的“从头开始”的模型，但速度要快得多。事实上，在某些情况下，微调后的模型仅需几百个步骤就能达到顶尖性能，而其他模型则需要数千步。
研究人员还注意到，并非所有的未来预测都具有同等的重要性。预测未来一小时会发生什么，通常比预测一年后会发生什么对企业更关键。因此，他们发明了一种新的评分系统，该系统会加重近期预测的权重，就像一位老师更看重你最近的测验成绩，而不是你上个月的家庭作业一样。当他们使用这种新指标时，增量模型表现得更加出色，证明它们更擅长适应近期未来。
简而言之，这篇论文表明，要构建真正强大的关系型数据库 AI，我们需要停止将数据视为静态的快照，而应将其视为连续的流。通过使用增量训练并专注于近期预测的准确性，我们可以创造出不仅能学会知识而不至于停滞不前，而且能随着周围世界的变化而进化和适应的模型。虽然这项研究侧重于仅增加新数据的数据库（如“仅追加”日志），并且没有测试数据被删除或大幅编辑的系统，但其发现为构建更具韧性、更实用的 AI 提供了一个强大的蓝图，以应对真实且不断变化的世界。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。