🤖 machine learning

Fast Exact Nearest-Neighbor Learning for High-Frequency Financial Time Series

本文证明了基于 Mojo 实现的精确 SIMD k-d 树在处理高频金融时间序列时，在速度和可扩展性方面显著优于现有的 scikit-learn 方法，从而在不牺牲准确性的前提下，实现了实时最近邻学习并改进了衍生品定价模型。

原作者： Henry Han, Diane Li

发布于 2026-06-10

📖 1 分钟阅读☕ 轻松阅读

原作者： Henry Han, Diane Li

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是该论文的简单语言及日常类比说明。

核心问题：“大海捞针”的困境

想象你是一名金融交易员。每一秒钟，你都需要根据当前的市场情况做出决策。为此，你需要查看你的“记忆库”——即过去市场表现的海量历史数据。你希望找到那些与今天最相似的精确历史时刻，从而预测接下来的走势。

问题在于，这个“记忆库”正在变得极其庞大（数百万个数据点）。

旧方法（Python/Scikit-learn）： 想象一下，你要在图书馆里寻找一本特定的书，必须走遍每一个过道，逐一检查每一本书。这很准确，但速度极慢。随着图书馆变得越来越大，你的速度也会越来越慢。
“快速”方法（C++）： 想象一下雇佣了一支超级快速的跑步者团队来进行同样的搜索。他们很快，但他们说的语言与你的研究人员不同。你必须把你的想法翻译成他们的语言，这既慢又贵，而且容易出错。

解决方案：Mojo

作者介绍了 Mojo，这是一种全新的编程语言，它就像是“加强版的 Python”。它既能使用研究人员熟悉的语言（易于编写），又能拥有超级快速跑步者的运行速度。

他们利用 Mojo 构建了一种更智能的方式来搜索这些金融历史数据。他们没有检查每一本书（数据点），而是构建了一个智能归档系统（“k-d 树”），帮助他们跳过那些肯定不包含答案的大片书架区域。

他们是如何实现高速运行的（三大绝招）

论文解释说，他们不仅使用了智能归档系统，还通过三种特定的方式对其进行了优化，使其运行飞快：

“智能拆分”（基于方差的拆分）：
- 类比： 想象你在整理一堆乱七八糟的衣服。与其只是简单地按“衬衫对裤子”来分类，不如观察这堆衣服并问自己：“哪个特征能把这些物品区分得最开？”也许你会先按“颜色”来拆分，因为这样能产生最整齐的分组。
- 在论文中： 算法会观察金融数据，并找到变化最大的特定特征（如波动率或价格动量）。它首先在这些地方进行拆分，从而创建出更紧密、更易于搜索的组。
“平整的地板”（连续平坦缓冲区存储）：
- 类比： 想象你的书被存放在一个混乱的图书馆里：有的在盒子里，有的在架子上，有的在地下室，你必须来回奔波才能拿到它们。这很慢。现在，想象所有的书都完美地排列在一个长长的单行书架上。你可以一次性流畅地取走它们。
- 在论文中： 他们将数据存储在一个连续的内存块中。这使得计算机的“预取器”（大脑中负责预测你下一步需要什么的部件）能够高效地抓取数据，而不会因为在内存中跳来跳去而浪费时间。
“超级阅读者”（SIMD 向量化）：
- 类比： 想象你正在阅读一组数字。普通人一次只能读一个数字。而一个“超级阅读者”（SIMD）可以一次读八个数字，并在一眨眼之间完成对所有数字的计算。
- 在论文中： 他们编写了程序，让计算机能够同时比较八个金融数据点。这使得比较“今天”与“昨天”的数学运算变得极其迅速。

结果：速度 vs 准确度

团队在两种类型的计算机芯片（Intel x86 和 Apple M3）上使用真实的金融数据（股票、ETF 和货币）进行了测试。

速度：
- 在标准计算机（x86）上，他们的新方法比标准的 Python 工具（scikit-learn）快了 17 到 21 倍。
- 在 Apple 计算机（ARM64）上，比标准工具快了 28 到 43 倍。
- 关键点： 他们并没有靠猜测得出答案。他们找到了与慢速方法完全相同的精确答案，只是速度快得多。
“为什么”（ARM64 的惊喜）：
- 在 Apple 芯片上，标准的“暴力破解”方法（检查所有内容）出人意料地慢，因为该芯片的“超级阅读者”（SIMD）比代码预期的要窄。然而，由于作者的“智能归档系统”（k-d 树）跳过了许多不必要的检查，所以这并不影响结果。它的速度依然是最快的，且领先优势巨大。

现实世界的胜利：更好的预测

论文不仅仅停留在速度上。他们展示了更快的速度意味着可以做更多的工作。

他们训练了一个模型来预测“隐含波动率”（衡量股票期权风险的指标）。
由于他们的系统非常快，他们可以在相同的时间内，比标准的 Python 系统处理10 倍更多的数据。
结果： 通过使用更多的数据，该模型的准确度提升了 8%。这证明了速度不仅仅是为了减少等待时间，更是为了更好地学习。

总结

论文认为，为了处理现代金融领域海量的数据，我们不能只使用缓慢、简单的工具（Python），也不能只使用困难、快速的工具（C++）。我们需要一个中间地带。

Mojo 提供了这个中间地带。通过结合智能搜索算法、整洁的数据存储方式以及“超级阅读”数学引擎，他们创造了一个这样的系统：

精确： 它不靠猜测；它能找到真实答案。
快速： 比目前的标准工具快 17 到 43 倍。
可扩展： 随着数据量的增长，它会变得更加强大，从而允许金融模型从更长的历史记录中学习，并做出更好的预测。

技术摘要：面向高频金融时间序列的高速精确最近邻学习

问题陈述
金融人工智能正进入一个规模化时代，模型必须摄取海量的历史语料库（股票、ETF、外汇、期权）以支持实时交易、风险管理和衍生品定价。当前技术栈中存在一个关键瓶颈：虽然基于 Python 的工具（NumPy、scikit-learn）提供了灵活性，但它们在处理查询数十万个历史状态的任务时，深受解释器开销、内存带宽饱和以及缓存局部性差的困扰。相反，C++ 和 FPGA 方案虽然速度快，但由于需要独立的 codebase 和手动优化，导致了“研究到生产”之间的断层。本文解决的具体挑战是高频时间序列的精确最近邻（KNN）推理——在这种场景下，暴力搜索的线性成本（ $O(n \cdot d)$ ）对于实时延迟预算而言是难以承受的，而近似方法（如 HNSW）又会牺牲某些金融应用所要求的精确性。

方法论
作者提出了一种专为金融时间序列语料库设计的 Mojo SIMD k-d 树。Mojo 是一种具有 Python 兼容语法的编译型系统语言，它使得在不脱离 Python 生态的前提下，实现算法、内存布局与硬件的协同设计成为可能。该方法集成了三项核心优化：

基于方差的切分（Variance-Based Splitting）： 不同于标准的基于中位数的切分，该树根据具有最大方差的维度进行切分（ $j^* = \arg\max \text{Var}(\{x_{i,j}\})$ ）。这使得早期的剪枝集中在最具辨识度的金融特征（收益率、波动率、动量）上，从而创建更紧凑的子区域。
连续平坦缓冲区存储（Contiguous Flat-Buffer Storage）： 训练向量存储在由置换数组索引的行优先平坦缓冲区（ $X \in \mathbb{R}^{n \times d}$ ）中。叶节点由整数偏移量定义，允许候选样本作为连续的内存块进行读取。这消除了指针追踪（pointer-chasing）开销，并确保了缓存行对齐。
编译时向量化内核（Compile-Time Vectorized Kernels）： 距离计算利用 SIMD（单指令多数据）向量化。内核在编译时（comptime）针对特定维度（例如 $d=16$ 或 $d=24$ ）和 SIMD 宽度进行特化，生成完全展开且无标量操作的代码。平方欧几里得距离被分解为并行的寄存器宽度块。

该系统在两种硬件架构（x86：Intel/AMD；ARM64：Apple M3）上，针对八个金融数据集（美国股票、ETF、外汇）进行了评估。对比对象包括 scikit-learn 的暴力搜索和 k-d 树实现，以及 Mojo 自有的 SIMD 暴力搜索方法。

核心贡献

Mojo SIMD k-d 树实现： 一种结合了基于方差的剪枝、平坦缓冲区内存布局以及编译时向量化距离内核的新颖实现，用于大规模金融数据集上的精确 KNN 检索。
理论运行时分析： 证明了在标准剪枝假设下，在固定股票、大规模 $n$ 、中等维度的情形下，Mojo k-d 树在渐近复杂度上优于 Mojo SIMD 暴力搜索和 scikit-learn 的 k-d 树。
金融-硬件协同设计： 一种标准化的特征工程方法，将源自 OHLCV 的特征与 SIMD 宽度对齐（16 和 24 个 float32 值分别映射到 2 个和 3 个寄存器宽度），在最大化吞吐量的同时保留了金融可解释性。
实证验证： 通过全面的基准测试，展示了在不同资产类别和硬件平台上的显著加速效果，并通过 Wilcoxon 符号秩检验确认了统计显著性。
扩展性演示： 在使用 Extra Trees 进行隐含波动率定价的二次实验中，证明了其吞吐量的提升使得训练数据量可增加 10 倍，从而直接提升了预测精度。

结果

x86 上的加速比 ( $d=16$ )： 在样本量为 143K 至 277K 的数据集上，Mojo k-d 树比 scikit-learn 的 k-d 树快 17.5–21.6 倍，比 scikit-learn 的暴力搜索快 1.2–1.3 倍。
ARM64 上的加速比 ( $d=24$ )： 在 Apple M3 上，该方法比 scikit-learn 的暴力搜索快 28.1–43.5 倍。值得注意的是，由于编译时 SIMD 宽度（针对 x86 256 位寄存器优化）与原生 128 位 ARM 寄存器的不匹配，Mojo SIMD 暴力搜索内核比 k-d 树慢了 780–1549 倍。然而，k-d 树的算法剪枝特性（ $O(n^{1-1/d})$ ）使其免受这种硬件特定惩罚的影响，保持了巨大的增益。
缩放指数： 对运行时复杂度 $T(n) = Cn^\alpha$ 进行经验拟合，得到 Mojo k-d 树（仅查询）的指数为 1.755，而暴力搜索为 1.885，scikit-learn 的 k-d 树为 2.320。这证实了其亚二次方（sub-quadratic）的缩放特性，且随着数据集规模增大，优势愈发明显。
预测质量： 在 Extra Trees 实验中，使用 200,000 个样本（比 Python 基准限制高出 10 倍）进行训练，使看跌期权隐含波动率（Put IV）的 RMSE 降低了 8.0%（从 0.361 降至 0.333）。将看涨和看跌期权分开处理进一步降低了 27–31% 的 RMSE。
统计显著性： Wilcoxon 符号秩检验确认，在所有八个数据集中，Mojo k-d 树均严格快于 scikit-learn 的 k-d 树（ $p < 0.01$ ），几何平均加速比为 10.8 倍（95% 置信区间：[5.94 $\times$ , 16.62 $\times$ ]）。

意义与主张
本文声称是首个关于大规模金融 AI 推理效率的开源、兼容 Python 的系统级研究。其主要意义在于证明了算法、内存布局、硬件与语言之间的协同设计可以在不牺牲精确性或 Python 兼容性的情况下，实现具有操作意义的加速。

作者认为，Mojo 弥合了 Python 研究的灵活性与 C++ 生产系统性能之间的鸿沟。通过实现单一代码库，在达到接近 C++ 性能（在特定比较中约为优化后 C++ 速度的 60%）的同时，提供比标准 Python 库高出 10 倍的加速，该工作将 Mojo 定位为一种可扩展、生产就绪的金融 AI 技术栈。结果表明，随着金融数据量向 Tick 级规模增长，这种亚二次方缩放的方法对于维持实时延迟约束将变得愈发关键。此外，这些原则也被认为适用于其他需要精确最近邻检索的数据密集型领域，如基因组学和网络安全。