技術概要：エッジ・クラウド連続体向けの自律型フェデレーション市場オーケストレーション

問題定義

計測機器、エッジサイト、リージョナルクラウド、中央集権型 HPC 施設にまたがるエッジ・クラウドコンピューティング連続体は、重大な自己管理の課題を提示する。ワークロードは、人間の介入なしに、かつすべての自律管理ドメインにまたがるグローバルな可視性を持つ単一の調整役なしで、監視、分析、計画、配信されなければならない。既存の解決策はこの問題の全範囲に対処できていない：

• **コンテナオーケストレーター（例：Kubernetes、KubeEdge）およびバッチスケジューラー（例：Kueue、Volcano）**は、単一の制御プレーンを持つ単一の管理ドメイン内で動作し、ベンダーまたは管轄境界を越えたフェデレーションを排除している。
• **ストリーム処理システム（例：Kafka、Flink、Ray）**は、サービスリクエストのセマンティックな内容ではなく、トピックパーティションによってルーティングを行う。
• **ML パイプラインオーケストレーター（例：Kubeflow、Argo）**は設計時にパイプライン構造を決定し、ドメイン間配置や主権の強制のためのメカニズムを欠いている。
• 自己適応フレームワークは MAPE-K 原則を確立しているが、連続体に対する形式的な福利保証を欠くことが多い。

核心的な問題は、外部オーケストレーションなしに、容量、遅延、データ主権の制約に従って多段階 AI パイプラインを自律的に組織化し、提供するための自律ドメインのフェデレーションを可能にすることである。

手法：ニューラル Pub/Sub

著者は、中央集権的な制御ではなく市場ベースの価格シグナルから自己組織化が創発するフェデレーションブローカー自律基盤であるニューラル Pub/Subを提案する。このシステムは、AI Service Marketsフレームワーク [52] から導入されたワルラス収束命題に基づいている。

システムモデルと理論的基盤

• サービス依存 DAG： パイプラインは有向非巡回グラフ（DAG）としてモデル化される。依存構造が根付き木または 2 端子直並列ネットワークである場合、実行可能な割り当て領域は**多面体（polymatroidal）**である。
• ワルラス均衡： **大規模代替（gross-substitutes; GS）**評価の下では、分散型価格ベースの割り当てが中央集権型オラクルの福利と一致するワルラス均衡が存在する。本論文は、生のパイプラインバンドルはレオンチェフ（完全補完）評価を持つが、統合カプセル化（各ドメインのブローカーがサブ DAG を複合サービスにバンドルするもの）によって GS 特性が回復し、効率的な市場清算が可能になると主張する。
• 制約としての主権： データ主権（例：GDPR、EU AI 法）は、実行可能領域に対する座標ごとの上限として強制され、多面体構造を維持する。

アーキテクチャと MAPE-K ループ

各管理ドメインは、MAPE-K（Monitor, Analyse, Plan, Execute, Knowledge）制御ループを閉じるニューラルブローカーを実行する：

1. Monitor（監視）： 定期的なプローブを通じてローカルワーカーの健全性と負荷を追跡する。
2. Analyse（分析）： M/M/1 滞留時間コストモデルを用いて限界費用清算価格（$\pi_{k,t}$）を計算する。価格は混雑と本質的なワーカー能力（速度スケーリングされた入札）を反映する。
3. Plan（計画）： 多面体の実行可能領域における配置決定を行う。ブローカーは、ローカル清算価格をフェデレーションピア価格シグナル（限定された鮮度で交換される）と比較する。リモート価格に WAN 転送コストを加えたものが低い場合、そのステージはドメイン間へ配信される。
4. Execute（実行）： フェデレーションされたドメイン間 HTTP 呼び出しを通じてパイプラインステージを配信する。ラウンドごとの予約台帳が過剰コミットメントを防止する。
5. Knowledge（知識）： 限定された鮮度のピア購読サマリー（重心埋め込み）と価格シグナルを維持し、生データやワーカーの身元を明かさずにドメイン間セマンティックルーティングを可能にする。

実装の洗練

理論的なワルラスメカニズムと実用的な実装の間のギャップを埋めるため、5 つのエンジニアリング上の洗練が採用されている：

1. 速度スケーリングされた入札： 負荷に依存しない本質的なワーカー能力を符号化する。
2. M/M/1 動的混雑価格設定： 利用率を 0.99 に上限設定し、コストを制限するとともに、価格シグナルが真のキューの深さを反映することを保証する。
3. フェデレーション価格交換： ルーティング決定がフェデレーション全体の希少性を反映することを保証する。
4. ラウンド内負荷予約： 単一のパイプラインによる単一ワーカーへの過剰コミットメントを防止する。
5. ヘルスチェック同期： 負荷ビューを実際のキューの深さに即応させる。

主要な貢献

1. 自律型フェデレーション市場基盤： MAPE-K ループを通じて木および直並列 DAG に対するワルラス収束を実装する、4 ドメインのニューラルブローカーのフェデレーション。
2. 分散化対中央集権化： 等しいプロセス数において、自律基盤が中央集権型オラクルの$\pm 1.5\%$以内で取引を行う一方、ベンダーの機密性を維持し、単一の調整役なしでスケーリングすることを示す実証的証拠。
3. ストレス駆動型分化： 自己管理戦略が飽和、異質性、障害といったストレス下でのみ顕著に乖離し、市場が完了率を維持する一方で従来のヒューリスティックが崩壊することを示す実証。
4. 堅牢性と主権： フェデレーションがブローカーの死やネットワーク分割に耐え（完了率$\ge 98.7\%$）、主権の強制が実測可能な実行時オーバーヘッドをゼロにすることの証明。

実験結果

このシステムは、4 台の VM、48 個のワーカーからなるテストベッド（O-RAN エッジ・クラウドトポロジをシミュレート）において、1,005 回の実行で評価された。

• 効率性： 4 ブローカー市場は、単一プロセスの中央集権型オラクルよりも平均遅延が 2–4% 低い結果を得た（シードごとの 45 件中 45 件の勝利、$p \approx 2.8 \times 10^{-14}$）。公平なプロセス数の4 シャード中央集権型オラクルに対して、市場はすべての 9 種類のパイプライン/負荷構成において$\pm 1.5\%$以内に収まった。
• 飽和耐性： 飽和下（$\lambda \in \{5, 10, 15\}$ pps）において、従来のラウンドロビンオーケストレーターの完了率は98.8% から 3.3% へ崩壊した。市場は完了を維持し、極端な負荷でのみ優雅に劣化した。
• 障害処理： フェデレーションは、ブローカーの殺害、ネットワーク分割、ワーカーの死を通じて$\ge 98.7\%$の完了率を維持した。
• 主権オーバーヘッド： データ主権制約（特定ステージがドメインから離れるのを防ぐ）を強制した結果、制約なしのベースラインと比較して1–3 msの遅延差となり、事実上ゼロのオーバーヘッドであった。
• 戦略の同等性： 均一な負荷下では、市場はヒューリスティックベースライン（局所性のみの、遅延貪欲）と同様に動作した。分化はストレス下でのみ発生し、3 つのワルラス的特性に起因する：情報の完全性、アドミッションコントロール、価格発見。

意義と主張

本論文は、エッジ・クラウド連続体に対するフェデレーションされた市場ベースのオーケストレーションのビジョンを実現する自律型分散基盤の最初の形式的仕様と実証的検証を提供すると主張する。

• 理論的貢献： 特定の構造的条件（木/直並列 DAG）と評価タイプ（大規模代替）および限定された鮮度の情報であっても、分散型価格ベースの割り当てが中央集権型オラクルの福利と一致し得ることを実証する。
• 実用的影響： グローバル制御プレーンを必要とせず、データ主権とベンダーの機密性を尊重するドメイン間自己管理のメカニズムを提供する。
• 運用上の洞察： 自律戦略は普遍的に優れているわけではないが、ストレス下での堅牢性には不可欠であることを明確にする。市場メカニズムは、リソースが希少である場合に「再割り当ての嵐」を防止し、アドミッションコントロールを確保する調整層として機能する。
• 範囲の制限： 著者は明示的に、現在の評価はアーキテクチャおよびオーケストレーションレイヤーに焦点を当てていると指摘している。ライブエージェントランタイム（例：LangGraph）の統合や、非対称な信頼/容量を持つ異質ドメイン領域でのパフォーマンス検証は含まれておらず、これらは将来の課題として残されている。HPC 階層は設計上互換性があることが認められているが、現在のキャンペーンでは未検証である。