想象一下，你正试图教一个机器人画一张繁忙城市街道的图。你向它展示了成千上万张白天的街道照片，它完美地学会了如何画汽车、行人以及红绿灯。但随后，你要求它画同一条街在夜晚的景象。尽管这个机器人在画白天的场景时是个天才，但在画夜景时却表现得一塌糊涂。它会画出太阳而不是路灯，并且忘记了人们在晚上会穿外套。这就是“分布漂移”（distribution drift）的问题：世界在变化，但机器人的训练数据却停留在过去。

这篇论文探讨了这一问题中一个特定的、高科技的版本，涉及“时序图”（temporal graphs）。不要把图仅仅看作一张图表，而要将其视为社交网络或通信系统在某一特定时刻的快照。一个“时序图”就像是由这些快照组成的电影，展示了连接如何随时间形成与断裂。科学家们使用特殊的 AI 模型，根据之前的帧来预测下一帧电影的内容。核心问题在于：如果 AI 学会了这部电影前半部分的规则，那么如果剧情突然改变，它还能预测后半部分吗？如果不能，我们能否通过“观察”不断到来的新帧，并告诉 AI：“嘿，规则变了，调整一下你的画法！”？

来自天津大学和杭州电子科技大学的研究团队对这个问题给出了一个令人惊讶且有些令人失望的答案。他们证明了对于这类特定的 AI 模型，仅仅通过观察新数据的到来并尝试根据所见进行修正，在数学上是无法实现良好效果的。他们表明，AI 在试图完善旧任务的过程中，在处理新任务时表现反而会变差；而且无论如何通过“观察过去”，都无法修复未来。

“锐化-漂移”陷阱

研究人员发现了一种奇怪的权衡关系，他们称之为“锐化-漂移张力”（sharpening-drift tension）。想象你是一名正在为 1920 年代历史考试做准备的学生。你学习得非常刻苦，以至于完美地记住了那个年代的每一个细节。但随后，考试内容变成了 1930 年代。你对 1920 年代了解得越完美，你在 1930 年代的考试中就越挣扎。

在实验中，团队发现随着 AI 模型在“训练期”（1920 年代）的预测能力提升，它在“部署期”（1930 年代）的表现反而下降了。这不仅仅是稍微变差了一点，而是一种直接的、数学上的权衡关系。他们发现了一个“幂律”（power law）关系：模型在旧数据上每提高一个步骤，它在新数据上的表现就会显著恶化。具体来说，他们测量到一个幂律指数为 -0.605，这意味着如果我们将旧数据的误差减半，新数据的误差就会增加约 1.5 倍。模型本质上是在对过去进行“过拟合”，它对旧规则过于自信，以至于无法应对新规则。

无法逾越的“误差底线”

通常情况下，当 AI 犯错时，我们会认为可以通过增加计算能力或让它“思考”更久（这个过程被称为增加“采样预算”）来修复它。你可能会预期，如果 AI 画一张图用 50 步而不是 1 步，它会比之前更接近真相。

论文显示，当数据发生漂移时，这并不奏效。研究人员发现，AI 的误差会撞到一个无论它如何努力都无法突破的“底线”（floor）。无论 AI 走多少步，它在新数据上的误差几乎保持不变——即使投入的精力增加了 50 倍，误差的变化也小于 6%。然而，这个底线比预期的要高得多。在测试中，新数据的误差底线比旧数据的误差底线高出 2.2 到 34.3 倍。AI 不仅仅是反应慢，它实际上是卡在了一个高水平的错误率上，任何额外的努力都无法修复。

为什么“观察过去”不起作用

这篇论文最关键的部分是其“不可能性的结论”。面对变化的世界，显而易见的解决方案似乎是：“只需观察新数据的到来，测量它们的变化，然后告诉 AI 进行调整。”作者证明了这种策略注定失败。

他们对比了两类“修正器”：

1. 先知（The Oracle）： 一个能瞬间洞察新世界精确规则的神奇存在。这个存在可以修复 60% 的错误。
2. 观察者（The Observer）： 一个只能通过观察过去的快照来猜测新规则的普通 AI。

研究人员从数学上证明，观察者永远无法接近先知。新数据的行为类似于一种“快速均值回归的随机游走”（fast mean-reverting random walk）。想象一个醉汉在回家路上走路。他一会儿向左踉跄，一会儿向右，一会儿又向左。如果你试图根据他两步之前的状态来预测他下一步的位置，你很可能会出错，因为他的下一步是一个完全出乎意料的“创新”（innovation），其幅度与漂移本身一样大。

数据显示，网络的变化是“均值回归”的（它们倾向于弹回）且“无趋势”的（没有明确的方向）。由于这些变化如此随机且不可预测，观察历史并无帮助。观察者能做到的最好结果，也仅仅是恢复了先知能修复误差的 5.7%。

“外推”的错误

许多人试图通过“外推”（extrapolating）来解决这个问题——即观察趋势并预测未来。例如，如果网络在上周增长了 5%，也许本周也会增长 5%。论文表明，这样做甚至比什么都不做还要糟糕。

研究人员将这种“趋势外推”与“仅仅信任最后一次观测”进行了对比。他们发现，尝试预测趋势会导致 AI 的预测结果比直接假设下一时刻与上一时刻相同的结果还要差 1.27 到 1.51 倍。AI 试图追踪的所谓“趋势”实际上并不存在；数据只是充满了噪声。在随机噪声中试图预测趋势只会增加更多的误差。

最佳与最差的修复方法

最后，团队测试了尝试在到达的新数据上对 AI 进行“重训练”（这被称为测试时自适应，Test-Time Adaptation）会发生什么。你可能会想：“如果 AI 对新数据表现不好，那我们就直接教它新数据！”

结果是反直觉的。最简单的修复方法——即一个仅根据新数据轻微调整 AI 基础概率的“边缘锚点”（marginal anchor）——效果比对模型进行全方位、重度重训练要好。重度重训练反而会让情况变得更糟。为什么？因为新数据的变化速度极快且具有随机性，等到 AI 完成对“新”规则的学习时，规则早已再次发生了变化。重度训练会在错误的目标上“过度锐化”模型，使其变得更加混乱。

总结

这篇论文为任何构建预测变化网络未来之 AI 的人提供了一个残酷的真相。你不能仅仅通过“观察并学习”来解决分布漂移问题。数学证明，如果世界的变化是快速、随机且不可预测的，那么任何基于观察的修正都无法修复 AI 的错误。唯一的解决办法要么是拥有“侧向信息”（例如知道世界为何发生变化），要么是构建那些不再试图追求完美预测过去的模型。在此之前，最好的策略可能是接受 AI 会遭遇高误差底线这一事实，并停止强迫它去学习一个移动的目标。