Distributed Precoding for Cell-free Massive MIMO in O-RAN: A Multi-agent Deep Reinforcement Learning Framework

以下は、論文「Distributed Precoding for Cell-free Massive MIMO in O-RAN: A Multi-agent Deep Reinforcement Learning Framework」の詳細な技術的サマリーです。

1. 問題定義

本論文は、Open Radio Access Network (O-RAN) アーキテクチャに統合されたセルフリー大規模 MIMO システムにおけるプリコーディングの課題に取り組んでいます。

• 背景: セルフリー大規模 MIMO では、複数の Open Radio Unit (O-RU) が協調してユーザーにサービスを提供し、均一なカバレッジと高い容量を確保します。プリコーディングは、ビームを制御し、ユーザー間干渉を軽減するために不可欠です。
• 課題:
  • 集中型方式（例：Centralized Regularized Zero-Forcing, C-RZF）は高い性能を提供しますが、スケーラビリティの問題、高い計算複雑性、および E2 インターフェース（O-DU と RIC の間）における過剰なシグナリングオーバーヘッドに悩まされています。
  • 完全分散型方式（例：Distributed RZF）はオーバーヘッドを削減しますが、O-RU 間の高い干渉とグローバルな調整の欠如により、しばしば最適ではない性能をもたらします。
  • 既存の機械学習アプローチ: プリコーディング行列を決定するために直接深層強化学習 (DRL) を適用すると、高密度展開において高次元の状態・行動空間により収束の問題が生じ、失敗することが多いです。さらに、多くの既存手法は個々のユーザーの最小データレート要件を保証することなく、単に総スループットの最大化に焦点を当てています。
• 目的: O-RAN 階層内でユーザーの最小レート要件を保証し、総スループットを最大化し、シグナリングオーバーヘッドを最小化する、分散型でスケーラブルかつ低遅延のプリコーディングフレームワークを開発することです。

2. 手法

著者は、反復最適化アルゴリズムからの専門家の知識とマルチエージェント深層強化学習 (DRL) を組み合わせたハイブリッド多タイムスケールフレームワークを提案します。このソリューションは、Non-RT RIC、Near-RT RIC、および O-DU からなる階層的な O-RAN アーキテクチャを活用します。

A. 数式定式化

• 最適化問題: 著者は、最小レート制約 ($R_{min}$) と送信電力制約に準拠して総スループットを最大化する非凸最適化問題を定式化します。
• 変換: 問題は、等価な重み付き最小平均二乗誤差 (WMMSE) 問題として再定式化されます。
• 反復解法: ブロック座標降下法 (BCD) を用いて、以下の要素を反復的に更新します：
  1. 受信フィルタ ($U$)
  2. 重み行列 ($W$)
  3. プリコーディング行列 ($V$)
• 重要な洞察: セルフリーシステムでは、プリコーディング行列は O-RU 間で結合されています。しかし、受信フィルタ ($U$) と重み ($W$) は「チャネル硬化」を示す有効チャネルの合計に依存するため、瞬時のプリコーディング行列よりも急速な変動に対して感度が低くなります。

B. 提案するマルチエージェント DRL フレームワーク

高次元のプリコーディング行列を直接予測するために DRL を使用すること（計算コストが高く、学習が困難）の代わりに、本フレームワークは反復アルゴリズムから導出された低次元の中間変数 ($U$ と $W$) を学習するために DRL を使用します。

• マルチエージェントアーキテクチャ:
  • エージェント: 各ユーザーに 1 つの DRL エージェントが割り当てられます。
  • 観測: 各エージェントは、類似した大規模フェージングプロファイルを共有する干渉ユーザーのサブセット ($I_k$) からの有効干渉チャネル ($\Xi_{k,i}$) を観測します。
  • 行動: エージェントは、受信フィルタ ($U_k$) と重み行列のチョレスキー分解因子 ($L_k$、ここで $W_k = L_k L_k^H$) を出力します。これにより、行動空間の次元が大幅に削減されます。
  • アルゴリズム: 報酬（スループット）と方策エントロピーの組み合わせを最大化するために、Soft Actor-Critic (SAC) アルゴリズムのマルチエージェント拡張版が使用されます。

C. 多タイムスケール O-RAN 展開

フレームワークは、運用タイムスケールに基づいて異なる O-RAN コンポーネントに分散されます：

1. Non-RT ループ (>1 秒):
   • コンポーネント: Non-RT RIC (rApps)。
   • タスク: DRL モデル（アクターとクリティックネットワーク）のトレーニングとパラメータの更新。
2. Near-RT ループ (10 ms – 1 秒):
   • コンポーネント: Near-RT RIC (xApps)。
   • タスク: エージェントは現在のチャネル統計に基づいて各ユーザーの $U_k$ と $W_k$ を決定します。これらは O-DU に送信されます。
3. リアルタイム (RT) ループ (<1 ms):
   • コンポーネント: O-DU (dApps)。
   • タスク: 受信した $U_k$ と $W_k$、瞬時のチャネル状態情報 (CSI)、および電力制約のための学習されたラグランジュ乗数 ($\xi_l$) を用いて、O-DU は閉形式の更新式を用いて最終的なプリコーディング行列 ($V_{k,l}$) を計算します。
   • O-DU 間通信: 結合された O-RU に必要なチャネル/プリコーディング情報を交換し、E2 インターフェースの負荷を最小化するために、新しいD2 インターフェースが提案されます。

3. 主要な貢献

1. 新規最適化定式化: コヒーレント結合送信を備えたセルフリー大規模 MIMO 用の非凸プリコーディング問題を定式化し、WMMSE 問題として再定式化し、BCD によって解きました。
2. 専門家の知識に基づく DRL: 高次元のプリコーディング行列ではなく、低次元の中間変数 ($U, W$) を DRL が学習するハイブリッドフレームワークを提案しました。これにより、最適化理論が学習プロセスを導き、収束性と安定性が向上します。
3. 階層的 O-RAN 実装: Non-RT、Near-RT、および RT ループ全体にわたる実用的な展開を設計し、リアルタイムプリコーディングには dApps を、最適化とトレーニングには xApps/rApps を活用しました。
4. 動的適応性: このフレームワークは、再トレーニングなしでリアルタイムにラグランジュ乗数を更新することで、ユーザーの最小データレート要件 ($R_{min}$) の変化に動的に適応します。
5. シグナリング削減: 集中型方式と比較して E2 インターフェース上のシグナリングオーバーヘッドを劇的に削減する分散メカニズムを導入しました。

4. 性能結果

提案されたフレームワークを C-RZF、D-RZF、WMMSE、および各種 DRL ベースライン (E2E-DRL, DRL-WMMSE) と比較する広範なシミュレーションが実施されました。

• 総スループット:
  • D-RZF より最大 24.4% 上回る性能。
  • WMMSE より最大 35.8% 上回る性能。
  • End-to-End DRL より最大 50.2% 上回る性能。
  • 集中型 RZF (C-RZF) と同等の性能を達成しつつ、複雑性は大幅に低減。
• シグナリングオーバーヘッド:
  • 完全なチャネル行列ではなく低次元の中間変数のみを交換するため、C-RZF と比較して E2 インターフェースのシグナリングオーバーヘッドが最大 99.81% 削減されます。
• スケーラビリティ:
  • 計算複雑性はユーザー数と O-RU 数に対して効率的にスケールし、3 次関数的にスケールする集中型手法とは異なります。
  • Near-RT ループあたりの推論遅延は 6.38 ms で、10 ms という目標を十分に下回っています。
• ロバスト性:
  • 移動性: 高速なユーザー移動（最大 45 km/h）においても、最小限の劣化 (<4%) で性能を維持します。
  • 不完全な CSI: 深刻なチャネル推定誤差下でも、提案する学習ベースの手法は集中型解析手法 (C-RZF) よりも優れています。
  • 公平性: $R_{min}$ を調整することで、総スループットの最大化とセルエッジユーザーの公平性の確保とのバランスを取ることができます。

5. 意義

本論文は、次世代無線ネットワークにおける理論的最適化と実用的展開の間のギャップを埋めています。

• 実用性: O-RAN の柔軟なアーキテクチャが、厳格なリアルタイム制約を遵守しながら複雑な AI/ML ソリューション (DRL) をホストできることを実証しています。
• 効率性: 最適化アルゴリズムなどのドメイン知識を用いて学習空間を削減することで、無線システムにおける DRL の「次元の呪い」を解決しています。
• 将来性: このフレームワークは、動的なネットワーク条件（ユーザーの移動、変化する QoS 要件）および不完全なチャネル情報を処理するように設計されており、6G セルフリーネットワークの実用的な候補となっています。

要約すると、本論文は、O-RAN エコシステム内で最適化理論とマルチエージェント強化学習の相乗効果を活用した、セルフリー大規模 MIMO プリコーディングのための堅牢でスケーラブルかつ効率的なソリューションを提示しています。