想象一下，你正试图预测未来，但你观察的不是天气或股票市场，而是一条随着时间变化的、长而曲折的数字线。这被称为时间序列预测（time series forecasting）。几十年来，科学家们一直使用数学技巧和简单的计算机程序来猜测接下来的变化。但最近，一种新型的超级聪明计算机大脑——基础模型（foundation model）出现了。你可以把这些模型想象成一位品尝过世界上所有菜肴的大厨。他们不仅仅是学习做一道菜（比如预测用电量），而是同时学习了所有菜谱的“语言”。这使得他们只需看一眼几种食材，就能预测任何从未见过的全新菜肴的未来。这被称为零样本预测（zero-shot forecasting）。然而，这里有一个代价：为了成为这样一位大厨，这些模型通常需要规模庞大，需要巨大的计算机和消耗大量的电力来运行。它们就像一辆巨大的、耗油量极高的卡车，虽然能运载大量货物，但无法驶入狭窄的城市街道。

这篇论文介绍了 Reverso，这是一个全新的时间序列模型家族，它提出了一个简单的问题：我们真的需要一辆巨大的卡车来递送包裹吗？还是我们可以制造一辆同样快速、且更轻巧高效的摩托车？ 作者们（一组研究人员）认为，当前对不断扩大模型规模的痴迷可能偏离了重点。他们建议，一个优秀的预测模型的秘诀不在于原始规模的大小，而在于模型观察数据的方式是否巧妙。他们构建了 Reverso，使其非常微小——某些版本的参数量（即模型的“脑细胞”）仅有几十万个——却能表现得与那些拥有数十亿参数的巨型模型一样出色。论文表明，通过使用一些聪明的技巧，我们可以让这些模型变得足够小，从而能在笔记本电脑甚至手机等日常设备上运行，且不会失去准确预测未来的能力。

巨型模型的问题

在人工智能领域，有一个流行的观点是“越大越好”。如果你想让一个模型变得聪明，你就给它更多的训练数据和更多的脑细胞。这在语言和视觉领域取得了巨大的成功，催生了能够写文章或识别猫咪的庞大模型。但在时间序列领域，这种方法创造了拥有数亿个脑细胞的模型。虽然它们擅长预测未来，但使用起来非常麻烦。它们太重了，无法在小型设备上运行；训练成本太高；在实时场景中也太慢。这就像是用压路机去修理自行车轮胎；虽然能行，但效率极低。

本文的作者决定尝试一条不同的路径。他们没有仅仅试图扩大模型，而是问道：我们如何让模型在观察数据时变得更聪明？ 他们想要构建一个“参数高效（parameter-efficient）”的模型，这意味着它能以最少的投入获得最大的回报。他们不只是想要一个小模型，他们想要一个小模型依然能与那些巨头竞争。

Reverso 的配方：三大魔法技巧

为了构建 Reverso，作者们调制了一个简单的配方，包含三种主要成分。你可以把它想象成在准备一顿美餐，你不仅仅是将所有东西扔进锅里，而是以一种能激发最佳风味的方式进行准备。

1. “变焦镜头”策略（多尺度输入）
想象你正在观察一段很长的路。如果你只从非常近的角度看，你会看到路面的裂缝；如果你从非常远的地方看，你能看到整条高速公路，但会错过细节。大多数模型尝试只从一个距离观察。然而，Reвero 使用了一个“变焦镜头”。它同时通过四种不同的镜头来观察相同的时间序列数据：

• 一个镜头以原始状态观察数据（高细节）。
• 一个镜头跳过每隔一个点（中等细节）。
• 一个镜头跳过每隔两个点（低细节）。
• 一个镜头跳过更多点（极低细节）。

通过同时向模型喂入这四种不同“视角”的数据，模型可以同时学习快速发生的模式（如突然的峰值）和缓慢发生的模式（如季节性趋势）。这就像有一个由四名侦探组成的团队，每个人都从不同的角度观察犯罪现场，然后汇总他们的笔记。这个技巧让模型能够在不需要同时记住海量数据的情况下，理解长期模式。

2. “混合引擎”（序列混合）
一旦模型获取了数据，它就需要对其进行处理。大多数模型使用一种叫做“注意力（attention）”的方法，这就像一束扫描整个历史数据的聚光灯，用来寻找重要的信息。这种方法功能强大，但既慢又重。Reverso 使用了一个混合引擎，它在两种不同的处理方式之间切换：

• 长卷积（Long Convolutions）： 这些就像一个滑动窗口，扫描数据以寻找重复出现的模式，类似于乐队中的节奏部分负责维持节拍。
• DeltaNet 层： 这是一种“线性递归（linear recurrent）”层。你可以把它们想象成一个不断自我更新的记忆库，在不需要重新阅读整个历史记录的情况下，记住最重要的信息。

作者发现，将这两者结合起来——在某些部分使用“滑动窗口”，而在另一些部分使用“记忆库”——是最完美的平衡点。它比仅使用沉重的“聚光灯（注意力机制）”或仅使用“记忆库”都要更快、更轻量。这就像驾驶一辆既有涡轮增压器保证速度，又有混合动力电池保证效率的汽车。

3. “智能解码器”（注意力头）
最后，在模型处理完数据后，它需要做出预测。Reverso 在末端使用了一个特殊的“解码器”，它采用了一种轻量级的注意力形式。这是真正说出“基于我所看到的一切，我认为接下来会发生什么”的部分。作者发现，这种特定类型的解码器在进行准确预测方面，比简单的、粗暴的计算要好得多。

结果：小而强大

团队训练了三个版本的 Reverso：一个极其微小的版本（20万参数）、一个较小的版本（55万参数）以及一个标准版本（260万参数）。随后，他们将这些模型与世界上最庞大、最沉重的模型进行了对比，其中一些模型的参数量超过了十亿。

结果令人惊讶。在 Gift-Eval 基准测试（一项针对多种不同类型数据的预测技能的大型测试）中，标准版的 Reverso 模型达到了 0.706 的得分。这具有极强的竞争力。它的表现与那些规模大它 100 到 1,000 倍的模型不相上下。

• 它击败了像 FlowState（260万参数）和 Tiny-Time Mixers（100万参数）这样的模型。
• 它非常接近像 TimesFM-2.5（2亿参数）和 Xihe-Max（15亿参数）这样的巨头。

但真正的魔力不仅在于准确性，还在于速度和内存占用。由于 Reverso 非常小，它的运行速度更快，占用的内存也更少。作者测量了“推理延迟（inference latency）”（即做出预测所需的时间），发现 Reverso 比那些庞大的模型快得多。这就像是在比较跑车和货运列车：列车可以承载很多东西，但跑车能更快到达目的地，且消耗更少的燃料。

Reverso 能做什么（以及不能做什么）

论文显示，Reverso 在零样本预测（无需针对特定数据进行预训练即可预测未来）、分类（将数据归类）以及异常检测（发现奇怪、意外事件）方面表现出色。例如，在寻找异常情况的测试中，即使在对“奇怪”的定义非常严格的情况下，Reverso 检测到的异常事件也比其他模型更多。

然而，作者也坦诚地说明了其局限性：

• 它主要针对单线数据： Reverso 目前被训练为“单变量（univariate）”模型，这意味着它一次只观察一条数字线。在处理多个相互依赖的数字线（多变量/multivariate）方面，它目前还不如那些使用复杂注意力机制的巨型模型。
• 短序列比较棘手： 虽然 Reverso 在长期预测方面表现惊人，但在处理极短数据时，有时会落后于那些巨型模型。
• 它预测的是数值，而非概率： Reverso 给出一个单一的最佳预测值（点预测）。它目前还没有内置自然地告诉你其置信度的方法（例如“我有 90% 的把握会下雨”）。作者建议可以在以后添加这一功能，但目前尚未内置。

为什么这很重要

来自 Reverso 的核心教训是：规模并非一切。论文指出，对于许多现实世界的任务，瓶颈不在于模型有多大，而在于设计得有多好。通过巧妙结合多尺度输入和混合处理技术，你可以构建一个足够小的模型，使其既能在笔记本电脑或手机上运行，又能具备与超级计算机抗衡的智能。

这意义重大，因为这意味着我们可能不需要不断建造越来越大的模型并依赖庞大的数据中心。相反，我们可以构建高效、紧凑的模型，并将它们部署在任何地方——你的智能手表、自动驾驶汽车，甚至是偏远的气象站。作者总结道，精心的设计可以改变“性能-效率的前沿（performance-efficiency frontier）”，使强大的 AI 变得触手可及，而不仅仅是属于那些拥有无限计算能力的人。

简而言之，Reverso 证明了你不需要成为一个巨人才能看清未来；你只需要知道如何从正确的角度去观察它。