🤖 AI

OpenURMA: A Clean-Room Open Implementation of the Unified Bus Protocol

本論文は、Huawei の Unified Bus プロトコルの最初のクリーンルームオープンソース実装である OpenURMA を紹介し、RTL、SystemC、gem5 シミュレーションを通じて、アプリケーションごとの状態をトランスポート状態から分離することが、従来の RoCEv2 ベースラインと比較して 64 バイトのリモートフェッチ遅延を 4.37 倍削減し、スループットを 2.80 倍向上させることを実証する。

原著者： Bojie Li

公開日 2026-05-28

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Bojie Li

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

以下は、論文「OpenURMA: A Clean-Room Open Implementation of the Unified Bus Protocol」を、平易な言葉と日常的な比喩を用いて解説したものです。

大きな問題：「周辺機器」のボトルネック

現代のデータセンターを、何千人もの従業員（アプリケーション）が瞬時に互いに通信する巨大なオフィスビルだと想像してください。

現在、彼らが通信する標準的な方法は以下の通りです：

周辺機器の問題： ネットワークカード（NIC）は、コンピュータに接続されたプリンターやマウスのような周辺機器として扱われています。それは主要な頭脳（CPU）の「外側」に位置しています。
キューシステム： メッセージを送るために、従業員はメモ（「作業要求」）を書き、ネットワークカードの受信箱（「ドアベル」）まで持って行き、待たなければなりません。その後、ネットワークカードがそれを受け取り、処理し、「完了」のメモを受信箱に戻します。
交通渋滞： ネットワークカードが「外側」にあるため、送信と確認のために、たった 1 つのメモでも、混雑した高速道路（PCIe バス）を 4 回も横断しなければなりません。
メモリ危機： ネットワークカードは、互いに通信しているすべての従業員ペアごとに、個別のファイルフォルダーを保持する必要があります。1,000 人の従業員がそれぞれ 1,000 人と通信する場合、カードは 100 万個のフォルダーを必要とします。これは机のスペース（オンチップメモリ）が不足し、ファイルを取りに地下室の書棚（ホスト RAM）へ走り出す必要が生じます。これにより、システム全体が極端に遅くなります。

結果： インターネットケーブル（「回線」）が非常に高速であっても、ネットワークカードの接続と構成方法のせいで、システム全体が渋滞に巻き込まれた状態になります。

解決策：華為（ファーウェイ）のユニファイドバス（UB）

華為（ファーウェイ）は、この問題を解決するために、アセンド 950 チップ内で**ユニファイドバス（UB）**と呼ばれる新しい設計を提案しました。彼らは古いシステムを単に修正したのではなく、交通規則そのものを変更しました。

1. オフィスをビルの内部へ移動させる
UB は、ネットワークカードをビルの外にある周辺機器とするのではなく、メインの廊下（オンチップバス）上にネットワークコントローラーをビルの内部に配置します。

比喩: ロビーまで歩いて手紙を投函する代わりに、今や机のすぐ隣にいる同僚に手渡すことができます。高速道路を 4 回横断する必要はなく、一歩踏み出すだけで済みます。

2. ファイルシステムの分割
古いシステムは、会話するすべてのペアに対して 1 つの巨大なフォルダーを保持していました。UB はこれを分割します：

Jetty: 会話の「あなた側」のための小さなカード。
TP チャンネル: 「相手側」のための共有カード。
比喩: 人数が増えるにつれてサイズが爆発的に増える、すべてのペアに固有のフォルダーを必要とする代わりに、自分用のカードと会話相手のための共有カードだけで済みます。フォルダーの総数は、爆発的（乗法的）に増えるのではなく、緩やかに（加法的に）増加します。これにより、ネットワークカードの机のスペースが溢れるのを防ぎます。

3. 「ロード/ストア」ショートカット
コントローラーがビルの内部にあるため、CPU はプログラム内の変数を読み取るように、標準的な命令（LOAD や STORE など）を使って直接それと通信できます。

比喩: 用紙に記入し、受信箱まで歩き、領収書を待つ必要はありません。必要なデータを瞬時に引き出すだけです。

4. オプションのルール（オプトイン順序付け）
古いシステムは厳格なルールを強制していました：「どのような場合でも、メッセージは送信された正確な順序で受信されなければならない」。これは遅く、多くのタスクにとって不要です。

比喩: UB は、「メッセージを可能な限り速く配信します。もし本当に順序が必要なら、手を挙げていただければ、並べ替えるために速度を落とします。必要ない場合は、到着順に受信トレイに放り込みます」と言います。これにより、厳密な順序を必要としない人々の時間を節約できます。

OpenURMA が行ったこと

華為のチップは存在しますが、それは「ブラックボックス」です。内部の仕組みを見ることも、測定することも、それを基に構築することもできません。

OpenURMAは、この新しいシステムの最初のオープンソースかつクリーンルーム実装です。

「クリーンルーム」とは、華為の秘密のコードを参照することなく、公開されたルールブック（仕様書）のみを使用して、ゼロから構築されたことを意味します。
彼らはこれをテストするために 3 つのバージョンを構築しました：
1. RTL: ハードウェアチップの実際の設計図（FPGA ボード上でテスト）。
2. SystemC: ネットワークの超詳細なコンピュータシミュレーション。
3. gem5: 実際のオペレーティングシステムを実行する完全なコンピュータシミュレーション。

彼らは公平な比較を行うために、同じツールを使用して、新しいシステム（OpenURMA）と古い標準（RoCEv2）を比較しました。

結果：どれほど速くなったか

論文は、特に小規模で高速な操作（小さなデータの一部を取得するなど）において、劇的な改善を主張しています：

速度: 標準的なデータ取得において、新しいシステムは古いシステム（約 2,186 ナノ秒）と比較して4.37 倍速い（約 500 ナノ秒）です。
スループット: 1 秒あたりに処理できるデータ量は2.8 倍になります。
効率性: チップ上のスペースを非常に少なく使用します（テストボードの利用可能なスペースの約 14% のみ）。
スケーラビリティ: ユーザー数が増加する（1 から 1,024 へ）につれて、古いシステムは机のスペース不足により劇的に遅くなります。一方、新しいシステムはファイルシステムが効率的であるため、速く安定したままです。

なぜこれが重要なのか（論文によると）

論文は、現代の AI やビッグデータワークロードにとって、データセンター内のコンピュータを接続する現在の方法（ネットワークカードを周辺機器として扱うこと）は根本的に欠陥があると主張しています。

「コヒーレント」な代替案: メモリを「共有」され「コヒーレント」に見えるようにしようとする他の技術（CXL や NVLink など）が存在します。しかし、論文はこれらの技術は、大規模クラスター（多数のサーバーラック）にスケールアップしようとする際に破綻すると主張しています。なぜなら、これらは状態追跡にあまりにも多くのリソースを必要とし、ネットワークエラーを適切に処理できないからです。
UB の利点: UB はネットワークが完璧ではないことを認め、ビル全体で「完全なコヒーレンス」を強制しようとはしません。代わりに、アプリケーションに必要な場合のみ順序を管理するためのツールを提供し、他のシステムで見られるパフォーマンスの崩壊なく、何千ものサーバーにスケールできるようにします。

まとめ

古いシステムを想像してください。それは郵便局のようなもので、すべての手紙について、カウンターまで歩き、用紙に記入し、列に並び、領収書を受け取らなければなりません。

一方、新しいOpenURMAシステムは、あなたのすぐ隣に座り、あなたが誰と話しているかを正確に知り、特別な注文がない限り、一切の書類作業なしで手元に手紙を届けてくれる私設のメッセンジャーのようなものです。

この論文は、ネットワークをこのように組織化するという新しい方法は単なる理論ではなく、現在私たちが使用しているものよりも著しく高速でスケーラブルな、実用的でオープンな設計であることを証明しています。

技術概要：OpenURMA

問題定義
現代のデータセンターにおける RDMA（リモートダイレクトメモリアクセス）は、InfiniBand および RoCE から継承された「周辺 NIC」の抽象化によって構造的にボトルネックとなっています。このモデルでは、ネットワークインターフェースカード（NIC）が PCIe バスの背後に位置し、通信はキューペア（QP）プログラミングモデルに従います。この設計は、大規模なファンアウト（数千の GPU）と小さなメッセージサイズ（64 バイトの勾配）を特徴とする AI 学習ワークロードにとって耐えられなくなった 2 つの重大なコストを課しています。

状態の爆発的増加: QP はアプリケーションの識別子とトランスポートの信頼性を融合しており、すべての（ローカルアプリケーション、リモートエンドポイント）のペアに対して接続ごとの状態を必要とします。1024x1024 の規模では、これは約 537 MB の状態を必要とし、オンチップ SRAM を超えるため、操作がコンテキストを再取得するために PCIe ラウンドトリップを支払わなければなりません。
PCIe 通過のレイテンシ: NIC が周辺機器であるため、すべての操作は PCIe 境界を 4 回通過します（ドアベル MMIO、WQE DMA フェッチ、CQE DMA 書き込み、CPU ポールミス）。64 バイトの操作において、これらの通過は約 2 µs のラウンドトリップのうち約 1.5 µs を消費し、レイテンシをワイヤ速度の 10 倍に膨張させます。

先行研究（FaSST などのソフトウェアパッチ、SRNIC などのハードウェア最適化、またはプログラム可能な基盤）は症状に対処しましたが、根本的な抽象化はそのまま残されました。

手法
本論文は、Huawei の「統一バス（UB）」仕様（2025 年）の最初のクリーンルームオープン実装であるOpenURMAを提示します。これは周辺 NIC の抽象化を置き換えるものです。UB は、アプリケーションごとのエンドポイント状態をホストごとのトランスポート状態から分離し、コントローラーをオンチップバス上に移動させ、順序付けをオプトイン機能として公開します。

実装はOpenClickNPツールチェーンを用いて行われ、単一のソース記述を 3 つのモデリング階層に落とし込み、マッチングされたOpenRoCE（RoCEv2 RC）ベースラインに対する厳密で apples-to-apples な比較を可能にします。

合成可能な RTL: Alveo U50 FPGA 上で実装され、322 MHz で動作します。
サイクルレベルシミュレーション: 両方のエンドポイント、ワイヤ、メモリ階層をモデル化する 2 ノードの SystemC シミュレーター。
フルシステム足場: 実際の ARM バイナリと Linux ドライバーを SystemC NIC に対して実行する gem5 環境。

評価手法は、ターゲット側の NIC から DRAM への転送や PCIe 通過を含む双方向のコストを明示的に考慮し、先行文献で一般的だった「送信のみ」のレイテンシ測定を回避しています。

主要なアーキテクチャ的転換
OpenURMA は、UB 仕様で定義された 4 つのアーキテクチャ的転換を実装します。

層の分割（有界状態）: トランザクション層（アプリケーションごとのJetty）をトランスポート層（ホストごとのTP チャンネル）から分離します。状態は乗法的な $O(N \cdot M)$ ではなく、加法的な $O(N+M)$ としてスケーリングします。
オンチップコントローラー: 状態が約 110 KB（オンチップ SRAM に収まる）に制限されるため、コントローラーは CPU のオンチップバス上に存在し、PCIe 境界を排除します。
ロード/ストアパス: CPU はネイティブの ld/st 命令をコントローラーに直接使用してリモートメモリにアクセスでき、作業キュー、ドアベル、DMA をバイパスします。
オプトイン順序付け: 順序付けは、サービスモード、実行順序、フェンス、完了順序という 4 つの直交軸として公開され、アプリケーションがオプトインします。ゲーティングロジックは既存のカウンターを再利用し、順序付けされていない操作に対してゼロのパイプラインサイクルを追加します。

主要な結果
64 バイトのリモートフェッチ（UB 上の LOAD 対 RoCEv2 上の READ）の標準的なケースにおいて：

レイテンシ: UB のロード/ストアパスは約 500 nsのエンドツーエンドレイテンシを達成し、マッチングされた RoCE DMA ベースライン（2186 ns）と比較して4.37 倍の削減を実現しました。ワークキューパスを必要とする操作であっても、PCIe 通過の排除により UB は約 2.2 倍高速です。
スループット: UB は OpenRoCE より2.80 倍高いワークリクエストスループットを維持します。
状態のスケーリング: 1024x1024 のエンドポイントにおいて、OpenURMA は110.6 KBの状態を使用するのに対し、RoCE は536.9 MBを必要とし、4,855 倍の削減となります。これにより、接続数が約 23（SRAM オーバーフロー点）を超えると RoCE のパフォーマンスが急激に劣化する「レイテンシの崖」を防止します。
順序付けのコスト: オプトイン順序付けは「ほぼ無料」です。ゲーティングをバイパスする操作はゼロのパイプラインサイクルを消費します。
信頼性と輻輳制御: OpenURMA は選択的 ACK（SACK）と C-AQM 輻輳制御を実装しており、Go-Back-N や DCQCN と比較して、損失下で優れた実効スループットとテールレイテンシを示します。
スケールアウト対コヒーレントファブリック: 本論文は、コヒーレントファブリック（CXL、NVLink）はディレクトリ状態の増大（ $O(N)$ ）と無効化ブロードキャストのコストにより、ラックレベルにスケールできないと主張します。UB の非コヒーレントでオプトインのアプローチはこれらの崖を回避し、クラスターサイズが増加しても平坦なレイテンシを維持します。

意義と主張
本論文は、OpenURMA がクローズドなシリコンに依存することなく、統一バスプロトコルのアーキテクチャ的約束の最初の経験的検証を提供すると主張しています。その意義は、3 つのアーキテクチャ的コミットメント——有界状態、オンバスコントローラー、オプトイン順序付け——が相互に負荷を担っていることを実証することにあります。

有界状態は、コントローラーをオンチップに保持するために必要です。
オンチップコントローラーは、ロード/ストアパスを可能にするために必要です。
層の分割は、オプトイン順序付けをコストフリーにするために必要です。

著者らは、OpenURMA が AI 学習ワークロードにスケーリングするピアツーピアモデルによって周辺 NIC の抽象化を置き換え、現在の PCIe/QP パラダイムでは構造的に不可能なサブマイクロ秒のリモートメモリアクセスへの道を開くと結論付けています。実装は、さらなる研究とプロトタイピングを可能にするオープンソースの RTL およびシミュレーションハーネスとして公開されています。