🤖 machine learning

Fast Exact Nearest-Neighbor Learning for High-Frequency Financial Time Series

本論文は、Mojoベースの正確なSIMD k-dツリーの実装が、高頻度金融時系列データにおいて既存のscikit-learnの手法を速度とスケーラビリティの両面で大幅に上回り、精度を損なうことなくリアルタイムの最近傍学習とデリバティブ価格決定モデルの向上を可能にすることを実証している。

原著者： Henry Han, Diane Li

公開日 2026-06-10

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Henry Han, Diane Li

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

大きな問題：「干し草の中の針」のジレンマ

あなたは金融トレーダーだと想像してください。毎秒、現在の市場に基づいて意思決定を行う必要があります。そのためには、「記憶バンク」——つまり、過去に市場がどのように振る舞ったかという膨大な履歴——を見なければなりません。あなたは、今日に最も似ている「正確な」瞬間を歴史の中から見つけ出し、次に何が起こるかを予測したいと考えています。

問題は、この「記憶バンク」が巨大化していることです（数百万のデータポイント）。

従来の方法 (Python/Scikit-learn): 図書館のすべての通路を歩き、すべての本を一冊ずつチェックして、特定の1冊を探そうとしている状態を想像してください。正確ではありますが、信じられないほど時間がかかります。図書館が大きくなればなるほど、作業は遅くなります。
「高速な」方法 (C++): 同じ探索を行うために、超高速で走るランナーのチームを雇うことを想像してください。彼らは速いですが、研究者とは異なる言語を話します。あなたのアイデアを彼らの言語に翻訳しなければならず、それは時間がかかり、コストがかかり、ミスも起こりやすい作業です。

解決策：Mojo

著者らは、新しいプログラミング言語である Mojo を紹介しています。これは「スーパーチャージされたPython」のようなものです。研究者と同じ言語（書きやすさ）を話しつつ、超高速ランナーのようなスピード（実行速度）を実現します。

彼らはMojoを使用して、この金融履歴を検索するためのよりスマートな方法を構築しました。すべての本（データポイント）をチェックする代わりに、答えが含まれていないことが確実なライブラリのセクションを大きくスキップできるスマートなファイリングシステム（「k-d木」）を構築したのです。

いかにして高速化したか（3つのトリック）

論文では、単にスマートなファイリングシステムを使っただけでなく、それを爆速にするために3つの特定の方法で最適化したことが説明されています。

「スマートな分割」 (分散に基づく分割 / Variance-Based Splitting):
- 比喩: 散らかった服の山を整理することを想像してください。単に「シャツ対パンツ」で分けるのではなく、その山を見て「どの特徴がアイテムを最も明確に分けるか？」と問いかけます。例えば、「色」で最初に分ければ、より綺麗なグループができるかもしれません。
- 論文内での役割: アルゴリズムは金融データを分析し、最も変動が大きい特定の要素（ボラティリティや価格のモメンタムなど）を見つけ出します。そこで最初にデータを分割することで、よりタイトで検索しやすいグループを作成します。
「平坦な床」 (連続的なフラットバッファ・ストレージ / Contiguous Flat-Buffer Storage):
- 比喩: 本が、あるものは箱の中に、あるものは棚の上に、あるものは地下室にあるような図書館を想像してください。それを取りに行くために何度も往復しなければなりません。それは遅いです。では、すべての本が1枚の長い棚に完璧に一列に並んでいる状態を想像してください。一度のスムーズな動作で本を掴むことができます。
- 論文内での役割: 彼らはデータを一つの連続したメモリブロック内に保存しました。これにより、コンピュータの「プリフェッチャー」（次に何が必要かを予測する脳の一部）が、時間を無駄にすることなく効率的にデータを取得できるようになります。
「スーパーリーダー」 (SIMD ベクトル化 / SIMD Vectorization):
- 比喩: 数字のリストを読んでいるところを想像してください。普通の人は数字を一つずつ読みます。「スーパーリーダー」（SIMD）は、一度に8つの数字を読み、一瞬のうちにそれらすべてに対して計算を行うことができます。
- 論文内での役割: 彼らは、8つの金融データポイントを同時に比較するようにコンピュータをプログラムしました。これにより、「今日」と「昨日」を比較する実際の数学的計算が驚異的に速くなります。

結果：速度 vs 正確性

チームは、これらをIntel x86とApple M3という2種類のチップ上の実際の金融データ（株式、ETF、通貨）でテストしました。

スピード:
- 標準的なコンピュータ (x86) では、彼らの新しい手法は標準的なPythonツール (scikit-learn) よりも 17倍から21倍速い 結果となりました。
- Appleのコンピュータ (ARM64) では、標準的なツールよりも 28倍から43倍速い 結果となりました。
- 重要な点: 彼らは単に推測したわけではありません。遅い手法と全く同じ答えを見つけ出しましたが、それをはるかに速く達成したのです。
「なぜ」 (ARM64の驚き):
- Appleチップでは、標準的な「総当たり（ブルートフォース）」法は、チップの「スーパーリーダー（SIMD）」が想定よりも狭かったため、驚くほど遅くなりました。しかし、著者らの「スマートなファイリングシステム（k-d木）」は不要なチェックを大量にスキップしたため、それが問題にはなりませんでした。それでもなお、圧倒的な差で最速の手法であり続けました。

実世界での勝利：より良い予測

論文はスピードだけに留まりませんでした。速いということは、より多くの仕事ができることを意味すると彼らは示しました。

彼らは「インプライド・ボラティリティ（株式オプションのリスク指標）」を予測するモデルを訓練しました。
彼らのシステムは非常に高速であったため、標準的なPythonシステムが同じ時間で処理できる量よりも 10倍多くのデータ を使ってモデルを訓練することができました。
結果: より多くのデータを使用することで、モデルの精度は 8%向上 しました。これは、スピードが単に「待ち時間が減る」ことではなく、「より良く学習できる」ことを証明しています。

まとめ

この論文は、現代の金融における膨大なデータを扱うためには、単に遅くて簡単なツール（Python）や、難解で速いツール（C++）だけでは不十分であると主張しています。

Mojo は、その中間領域を提供します。スマートな探索アルゴリズム、整然としたデータ格納、そして「スーパーリーダー」的な数学エンジンを組み合わせることで、彼らは以下の特性を持つシステムを作り上げました。

正確: 推測するのではなく、真の答えを見つけ出します。
高速: 現在の標準的なツールよりも17倍から43倍速いです。
スケーラブル: データ量が増えるほどさらに強力になり、金融モデルがより長い歴史から学び、より優れた予測を行うことを可能にします。

技術要約：高頻度金融時系列データのための高速・厳密な最近傍学習

問題提起
金融AIは、リアルタイムのトレーディング、リスク管理、およびデリバティブ価格設定をサポートするために、膨大な履歴コーパス（株式、ETF、FX、オプション）を取り込む必要があるスケーリングの時代に突入しています。現在のスタックには決定的なボトルネックが存在します。Pythonベースのツール（NumPy、scikit-learn）は柔軟性を提供しますが、インタープリタのオーバーヘッド、メモリ帯域幅の飽和、および数百数千もの履歴状態をクエリする際のキャッシュ局所性の低さに悩まされます。対照的に、C++やFPGAソリューションは高速ですが、個別のコードベースと手動の最適化を必要とするため、「研究から本番環境への移行」におけるギャップを生じさせます。今回対処される具体的な課題は、高頻度時系列における厳密な最近傍（KNN）推論です。ここでは、総当たり探索の線形コスト（ $O(n \cdot d)$ ）がリアルタイムのレイテンシ予算に対して禁止的なものとなりますが、近似手法（HNSWなど）は、特定の金融アプリケーションで求められる厳密性を犠牲にしてしまいます。

手法
著者らは、金融時系列コーパス向けに特別に設計されたMojo SIMD k-d treeを提案しています。Python互換の構文を持つコンパイル型システム言語であるMojoは、Pythonのエコシステムを離れることなく、アルゴリズム、メモリレイアウト、およびハードウェアの共同設計を可能にします。本手法は、以下の3つのコア最適化を統合しています。

分散に基づく分割（Variance-Based Splitting）: 標準的な中央値ベースの分割とは異なり、このツリーは最大分散を持つ次元（ $j^* = \arg\max \text{Var}(\{x_{i,j}\})$ ）に基づいて分割軸を選択します。これにより、最も識別力の高い金融特徴量（リターン、ボラティリティ、モメンタム）において早期の枝刈りを集中させ、よりタイトなサブリージョンを作成します。
連続的なフラットバッファ格納（Contiguous Flat-Buffer Storage）: 学習ベクトルは、置換された配列によってインデックス付けされた行優先のフラットバッファ（ $X \in \mathbb{R}^{n \times d}$ ）に格納されます。リーフノードは整数オフセットによって定義され、候補は連続したメモリブロックとして読み取ることが可能です。これにより、ポインタ追跡のオーバーヘッドを排除し、キャッシュラインの整列を保証します。
コンパイル時ベクトル化カーネル（Compile-Time Vectorized Kernels）: 距離計算はSIMD（Single Instruction, Multiple Data）ベクトル化を利用します。カーネルは、特定の次元（例： $d=16$ または $d=24$ ）およびSIMD幅に対してコンパイル時（comptime）に特化され、完全にアンロールされたスカラーフリーのコードを生成します。二乗ユークリッド距離は、並列なレジスタ幅ブロックへと分解されます。

本システムは、2つのハードウェアアーキテクチャ（x86: Intel/AMD、ARM64: Apple M3）上で、8つの金融データセット（米国株式、ETF、FX）を用いて評価されました。比較対象は、scikit-learnの総当たりおよびk-d treeの実装、ならびにMojo独自のSIMD総当たりアプローチです。

主な貢献

Mojo SIMD k-d treeの実装: 分散ベースの枝刈り、フラットバッファのメモリレイアウト、およびコンパイル時ベクトル化距離カーネルを組み合わせた、大規模金融データセットに対する厳密なKNNのための新しい実装。
理論的実行時間分析: 標準的な枝刈りの仮定の下で、固定銘柄・大規模 $n$ ・中次元のレジームにおいて、Mojo k-d treeがMojo SIMD総当たりおよびscikit-learnのk-d treeを漸近的に凌駕することを証明。
金融・ハードウェアの共同設計: OHLCV由来の特徴量をSIMD幅（16および24のfloat32値が、それぞれ2および3のレジスタ幅にマッピングされる）に適合させる標準化された特徴量エンジニアリングにより、金融的な解釈性を維持しつつスループットを最大化。
実証的検証: 多様な資産クラスとハードウェアプラットフォームにわたる包括的なベンチマークを行い、ウィルコクソン符号付順位検定によって統計的有意性を確認。
スケーラビリティのデモンストレーション: 予想ボラティリティ価格設定のためのExtra Treesを用いた二次実験により、スループットの向上がデータの10倍の学習を可能にし、予測精度を直接的に改善することを示した。

結果

x86 ( $d=16$ ) での高速化: Mojo k-d treeは、143Kから277Kのサンプルを含むデータセットにおいて、scikit-learnのk-d treeに対して17.5–21.6倍の高速化を、scikit-learnの総当たりに対して1.2–1.3倍の高速化を達成しました。
ARM64 ( $d=24$ ) での高速化: Apple M3上で、scikit-learnの総当たりに対して28.1–43.5倍の高速化を達成しました。注目すべきは、ARM64において、MojoのSIMD総当たりカーネルは、コンパイル時のSIMD幅（x86の256ビットレジスタ用に最適化されたもの）とネイティブの128ビットARMレジスタとの不一致により、k-d treeよりも780–1549倍遅かったことです。しかし、k-d treeのアルゴリズム的な枝刈り（ $O(n^{1-1/d})$ ）がこのハードウェア固有のペナルティを無効化し、大規模な利得を維持しました。
スケーリング指数: 実行時間の複雑性 $T(n) = Cn^\alpha$ の経験的フィッティングにより、Mojo k-d tree（クエリのみ）の指数は1.755となり、総当たりの1.885およびscikit-learnのk-d treeの2.320と比較して、データセットのサイズが増大するにつれて拡大する劣二次スケーリングを確認しました。
予測品質: Extra Treesの実験において、200,000サンプル（Pythonのベースライン制限の10倍）での学習は、プット予想ボラティリティ（IV）のRMSEを8.0%（0.361から0.333へ）減少させました。コールとプットを分離することで、RMSEはさらに27–31%減少しました。
統計的有意性: ウィルコクソン符号付順位検定により、Mojo k-d treeが8つの全データセットにおいてscikit-learnのk-d treeよりも厳密に高速であることが確認されました（ $p < 0.01$ ）。幾何平均高速化率は10.8倍（95% CI: [5.94倍, 16.62倍]）でした。

意義と主張
本論文は、大規模な金融AI推論の効率性に関する、初のオープンソースかつPython互換のシステムレベルの研究であると主張しています。その主要な意義は、アルゴリズム、メモリレイアウト、ハードウェア、および言語間の共同設計が、厳密性を損なうことなく、操作的に意味のある加速をもたらすことを示した点にあります。

著者らは、MojoがPythonの柔軟性とC++プロダクションシステムの性能の間のギャップを埋めるものであると主張しています。Pythonの柔軟性を維持しながら、最適化されたC++の速度の約60%に達するスループットを実現し、標準的なPythonライブラリに対して10倍の高速化を実現することで、本研究はMojoをスケーラブルでプロダクション対応のスタックとして位置付けています。結果は、金融データのボリュームがティックレベルの規模へと増大するにつれ、このアプローチの劣二次スケーリングがリアルタイムのレイテンシ制約を維持するためにますます重要になることを示唆しています。また、これらの原理は、ゲノミクスやサイバーセキュリティなど、厳密な最近傍検索を必要とする他のデータ集約的な分野にも適用可能であると主張されています。