Multi-Agent DRL for QoS and Energy Optimization in RIS-Enabled Open-RAN Industrial 6G TN/NTN Networks

技術要約：RIS対応Open-RAN型産業用6G TN/NTNネットワークにおけるQoSおよびエネルギー最適化のためのマルチエージェントDRL

問題提起
産業用6Gネットワークは、動的で遮蔽物の多い環境において、超高信頼低遅延通信（URLLC）とエネルギー効率の要件を満たすという極めて重要な課題に直面している。従来の地上セルラーインフラストラクチャは、大規模な工場、物流拠点、および過酷な伝搬条件を特徴とする高密度な産業環境において、安定したカバレッジを提供できないことが多い。無人航空機（UAV）や高高度プラットフォーム（HAP）を介した非地上ネットワーク（NTN）の統合は解決策となるが、このようなヘテロジニアスな地上/非地上（TN/NTN）環境における、リソース割り当て、再構成可能な知的反射面（RIS）の位相シフト、スペクトラム共有、およびコンピューティング・オフローディングの結合最適化は、高次元かつ強結合な問題を生み出す。従来の集中型最適化手法は、このような動的なシナリオにおいては計算量的に実行不可能であり、既存の学習ベースのアプローチは、RISによる伝搬制御、TN/NTNの協調、およびOpen-RANのインテリジェンスの統合に欠けていることが多い。

手法
著者らは、統合されたTN/NTN型産業用6Gネットワークのための、RIS対応Open-RANフレームワークを提案している。システムアーキテクチャは以下で構成される：

• 地上層（Terrestrial Layer）： 地上無線局（GRU）および分散型産業用IoT（IIoT）デバイス。
• 非地上層（Non-Terrestrial Layer）： マルチアクセスエッジコンピューティング（MEC）サーバを搭載したHAP、およびRISを搭載した複数のUAV。
• 制御プレーン（Control Plane）： 分散制御のために、Near-RTおよびNon-RT RANインテリジェントコントローラ（RIC）を活用したOpen-RANアーキテクチャ。

核心となる技術的アプローチは、データレート、遅延、およびエネルギー消費の結合最適化を**分散部分観測マルコフ決定過程（Dec-POMDP）**としてモデル化することである。

• システムモデル： 本フレームワークは、直接リンク（GRU-IIoT、HAP-IIoT）および間接的なRIS支援リンク（UAV-RIS-IIoT）を考慮する。チャネルモデルは、航空リンクにおけるライシアン・フェージングおよび地上リンクにおけるパスロスモデルを考慮している。
• 最適化目的： 目標は、帯域幅、送信電力、コンピューティング容量、RIS位相シフト、およびQoS要件に関する制約条件下で、通信スループット（対数レート効用）と、遅延およびエネルギー消費に対するペナルティのバランスをとる効用関数を最大化することである。
• 解決アルゴリズム： Dec-POMDPを解くために、著者らは**マルチエージェント近接方策最適化（MAPPO）**フレームワークを採用している。
  • エージェント： GRU、HAP、およびUAV搭載RISコントローラが、独立したエージェントとして機能する。
  • 観測： エージェントは、グローバルな状態情報ではなく、ローカルな観測（チャネル条件、トラフィック需要、残留エネルギー）に基づいて動作する。
  • 学習： 中央集中型のクリティック（Critic）が、グローバルな状態情報を利用して結合価値関数を推定することで非定常性を緩和し、エージェントはクリップされたサロゲート目的関数を用いて方策（Actor）を更新する。
  • アクション： エージェントは、ユーザーアソシエーション、帯域幅割り当て、送信電力、コンピューティングリソース割り当て、およびRIS位相シフト構成を共同で決定する。

主な貢献

1. アーキテクチャ： 困難な環境におけるカバレッジと信頼性を強化するために、UAV搭載RISを活用した、統合型TN/NTN産業用6GネットワークのためのRIS対応Open-RANアーキテクチャの開発。
2. 定式化： 実用的な遅延およびエネルギー制約の下で、コンピューティングリソース、RIS構成、スペクトラム共有、およびQoSプロビジョニングを捉えた包括的な最適化問題の定式化。
3. アルゴリズム： 完全なグローバル状態知識を必要とせずに、学習された方策のスケーラブルで適応的かつ分散的な制御を可能にする、マルチエージェント深層強化学習（具体的にはMAPPO）フレームワークの提案。
4. 検証： MAPPO（RISなし）、MAAC、およびグリーディ・ベースラインを含む最先端のベースラインと比較した広範なシミュレーション。

結果
1000m × 1000mの産業エリアにおける100台のIIoTデバイスを用いたシミュレーション結果は、提案されたフレームワークの有効性を実証している：

• データレート： 提案されたRIS付きMAPPOは、約220 Mbpsの定常状態データレートを達成しており、これはMAPPO（RISなし）に対して75%の向上、MAACスキームに対して25%の向上を示している。
• 遅延： 本フレームワークは、MAPPO（RISなし）と比較して最大25%の遅延削減を、MAACと比較して20%の削減を達成している。
• エネルギー消費： このアプローチは、MAACと比較して最大16%のエネルギー節約を実現し、MAPPO（RISなし）と比較して約20%の改善をもたらす。
• 収束性： 提案手法は、グリーディおよび非RISベースラインと比較して、変動するネットワーク負荷に対して迅速な収束と優れた性能を示す。

意義および主張
本論文は、RIS支援型Open-RANインテリジェンスの統合が、スケーラブルでエネルギー効率の高い産業用6Gネットワークのための実行可能なソリューションを提供することを主張している。MADRLを通じた分散制御を可能にすることで、本フレームワークは動的な産業環境における集中最適化の計算量的な困難さを克服する。著者らは、提案手法がスループット、遅延、およびエネルギー消費の間のトレードオフを効果的にバランスさせ、ミッションクリティカルなIIoTアプリケーションの厳格な要件に対処できると断言している。本研究は、遮蔽物やカバレッジホールを緩和しつつ、スペクトル効率を維持するためのUAV搭載RISの可能性を強調している。今後の課題として、スケーラビリティとリアルタイムの適応性をさらに高めるために、動的なUAVモビリティ、ダウンリンク伝送、および連合学習メカニズムをフレームワークに拡張することが挙げられている。