Packets, Transactions and Queues: Design Principles for HFT Systems from a Measurement Study of CME Market Data
1年以上にわたるCME市場データの分析を通じて、本論文は、サブピリオドのパケット処理には単一のスレッドで十分である一方で、分割によってシステムの最も遅いステージが短縮される場合には、2ステージ構成のスレッド・アーキテクチャがトランザクションのバーストによるキューイング・テイルを大幅に削減できることを示し、従来のシングルスレッド型のHFT設計に異を唱えるものである。
原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 これは以下の論文のAI生成解説です。著者が執筆したものではありません。技術的な正確性については原論文を参照してください。 免責事項の全文を読む
コンピューターが数分の一秒単位で株式を売買するハイ頻度取引（HFT）の世界において、スピードは単なる優位性ではなく、ゲームのすべてである。これらのシステムは単純な前提に基づいて動いている。すなわち、誰よりも速く市場情報を処理できれば、価格差が消滅してしまう前にその微小な差から利益を得ることができるというものだ。これを実現するために、エンジニアは証券取引所からの絶え間ないデータストリームを監視し、それをデコードしてマイクロ秒単位で意思決定を行う特化型のソフトウェアを構築している。長年、この業界はある厳格なルールに従ってきた。すなわち、このソフトウェアの最も重要な部分は単一のプロセッサーコア上に保持するというものだ。その論理は、異なるコア、つまり「スレッド」間でデータを移動させることはあまりに遅くリスクが高く、システムの速度を台無しにする遅延を招くというものだった。このアプローチは、ソフトウェアを、いかなる中断も作業自体よりも大きなコストを支払わせると信じ、決してタスクを他者に渡さない、一つの集中した作業員のように扱っていたのである。
しかし、この長年の定説は、市場データがどのように到着するかという仮定に基づいていた。それは、データが予測不可能な間隔で降る雨粒のように、一定でランダムなストリームとしてやってくるという仮定である。もしそれが真実であれば、単一作業員のアプローチが確かに最速となるだろう。しかし、もしデータがランダムに降ってこないとしたらどうだろうか。もしデータが突然の激しいバースト（突発的な集中）として、瞬きする間に数千もの更新がシステムに襲いかかってくるとしたらどうだろうか。シカゴ・マーカンタイル取引所（CME）の実際の市場データを対象とした新しい測定研究は、最も多忙な瞬間において、古いルールが間違っている可能性があることを示唆している。1年以上にわたる数十億個のデータパケットを追跡した結果、研究者たちは、市場データはランダムに到着するのではないことを発見した。代わりに、あるイベントが次々と他のイベントを誘発する「自己興奮型」のパターンを生み出し、データは密集したクラスターとして到着するのである。この発見は、スピードの数学を変える。データがこのような特定のクラスクター化したバーストとして到着する場合、システムがバーストのリズムを正しく処理できるように設計されていれば、複数のプロセッサーに作業を分散させることが、実際にはシステムをより速く、より信頼性の高いものにできることが判明した。
研究者たちはまず、取引所のマッチングエンジン（注文が処理される場所）からトレーダーのコンピューターへと移動する生のデータストリームを観察することから始めた。彼らはすべてのデータパケットを追跡し、それが取引所をいつ離れ、いつ到着したかを正確に記録した。その結果、取引所のシステムは固定された速度制限を持つ門番のような役割を果たしていることが分かった。マッチングエンジンが、時にはマイクロ秒の数分の一という極めて速い速度で注文を処理する場合であっても、取引所のデータパブリッシャーはそれらすべてを一度に送信することはできない。パブリッシャーは、パケット間に約7.5マイクロ秒の最小間隔を空けて、一つずつ送信する。これにより、ソース側でどれほど混沌とした活動が行われていようとも、トレーダーのコンピューターには、一定のリズミカルな間隔を持ったデータの列車が到着することになる。
このリズミカルな到着こそが、新しい知見の鍵である。研究者たちは、異なるソフトウェア設計がこの特定のリズムをどのように処理するかをテストするために、コンピュータ・シミュレーションを構築した。彼らは、一つのプロセッサーがすべての作業を行う伝統的なシングルスレッド方式と、作業を順次動作する複数のプロセッサー間で分割するマルチステージ・パイプライン方式を比較した。シミュレーションにおいて、彼らは実際のデータパケットのタイミングを入力した。結果は明白であった。パケット間の7.5マイクロ秒のギャップよりも長い時間を要するタスクに対しては、シングルスレッド方式は大規模なバックログ（滞留）を引き起こす。データのバーストが到着すると、単一のプロセッサーは圧倒され、バースト内の最後の数個のパケットに対する遅延は、タスク自体の時間の数十倍にも膨れ上がる。この遅延こそが、トレーダーが恐れる「テール（裾野の遅延）」であり、これは彼らの意思決定が遅すぎる状態で下されることを意味する。
対照的に、マルチステージ・パイプラインはこれらのバーストを容易に処理した。作業を分割することで、システムは到着するパケットの列を並列に処理することができた。最初のプロセッサーが最初のパケットをデコードしている間に、二番目のプロセッサーはすでに二番目のパケットの作業に着手していた。これにより、システムはバックログをより迅速に解消し、すべてのパケットに対する遅延を低く、かつ一定に保つことができた。シミュレーションによれば、タスクに16マイクロ秒以上かかる場合、作業を分割することで、最悪のケースにおける遅延を10分の1以上に削減でき、典型的な非バースト時のペナルティはごくわずかであった。研究者たちは、この改善が単なるデータ量の多さによるものではなく、特に到着時間のクラスター化したバースト性に起因することを裏付けた。同じ量のデータをランダムに到着させたシミュレーションでは、マルチステージ・システムは優位性を示さず、シングルスレッド方式の方が効率的であった。
研究はまた、遅延の他の潜在的な原因についても排除した。データパケットのサイズや、その中のメッセージ数が減速の主な要因ではないことが判明した。バーストを除去するためにデータを再配置しても、パケット数が同じであれば、大規模な遅延は消失した。これは、問題が純粋に到着のタイミングに関するものであることを証明している。研究者たちはさらに、なぜデータがこのようなクラスターとして到着するのかを理解するために、取引所自体についても調査した。彼らは、多くのトレーダーが同時に同じ市場イベントに反応しているためと思われる、マッチングエンジンが複数の注文をほぼ同時に処理していることが多いことを発見した。しかし、取引所のパブリッシャーがこれらを間隔を空けて配信することで、トレーダーのシステムが対処すべきリズミカルな列車が作り出されているのである。
これらのトレーディング・システムの設計者に対し、本論文は明確でデータに基づいたガイドを提供している。もしシステムの処理時間がパケット間の7.5マイクロ秒のギャップよりも短いのであれば、依然として古いルールが適用される。すなわち、シングルスレッドのままにすべきである。作業を分割するメリットはなく、不必要な複雑さを加えるだけである。しかし、もし処理時間がそのギャップよりも長いのであれば、シングルスレッド方式はバースト時に失敗するため、システムを複数のステージに分割すべきである。研究者たちは、目標は可能な限り多くのプロセッサーを使用することではなく、プロセスの中で最も遅い部分が取引所のリズムに追いつけるほど十分に速いことを保証することであると強調している。彼らはまた、プロセッサーの具体的な配置よりも、最も遅いステージが効率的に処理されるようにすることが重要であることも発見した。
この研究は、ハイスピード・トレーディングにおけるあらゆる問題を解決したと主張しているわけでも、シングルスレッド方式が時代遅れになったと示唆しているわけでもない。単に、そのアプローチがいつ機能しなくなり、いつ異なる設計が必要になるのかという正確な測定値を提供しているのである。理論的なモデルに頼るのではなく、現実世界を測定することによって、研究者たちはエンジニアに対して具体的な閾値を与えた。彼らは、データのストリームの性質、具体的には「自己興奮的なバースト」として到着する傾向こそが、そのデータを消費するソフトウェアを構築する最善の方法を決定するということを示した。金融の高速な世界における教訓は、データの「リズム」を理解することは、コンピュータの「速度」を理解することと同じくらい重要であるということである。
自分の分野の論文に埋もれていませんか？
研究キーワードに一致する最新の論文のダイジェストを毎日受け取りましょう——技術要約付き、あなたの言語で。