DRL-based Power Allocation in LiDAL-Assisted RLNC-NOMA OWC Systems

技術概要：LiDAL 支援 RLNC-NOMA OWC システムにおける DRL ベースの電力割当

問題定義
非直交多重アクセス（NOMA）を利用した光無線通信（OWC）は、複数のユーザーが電力ドメインを介して光スペクトルを共有することを可能にし、高速な屋内接続のための有望な解決策を提供する。しかし、NOMA ベースの OWC システムの性能は、不完全なチャネル状態情報（CSI）と残留復号誤差によって著しく劣化する。特に、ユーザーの移動を伴う高密度ユーザーの屋内シナリオにおいて顕著である。従来の電力割当（PA）戦略は、しばしば静的なチャネル仮定や標準的な確率分布（レイリー分布、ガウス分布など）に依存しており、シャドーイング、量子化誤差、ユーザーの移動といった屋内環境の動的な実態を捉えきれていない。さらに、システムスループットを最大化するために連続的な電力割当を動的に最適化する問題は、多くの場合 NP 困難であるため、計算量的に実行不可能である。既存のヒューリスティック手法（遺伝的アルゴリズムなど）は局所最適解に収束する可能性があり、標準的な強化学習（RL）アルゴリズムは、「次元の呪い」と遅い収束に起因する大規模で連続的な状態・行動空間に対して困難を抱えている。

手法
これらの課題に対処するため、著者は Deep Reinforcement Learning（DRL）フレームワークと統合された、LiDAL 支援 RLNC-NOMA OWC システムを提案する。手法は以下の 3 つの中核コンポーネントから構成される。

1. システムモデル（LiDAL と RLNC）：

   • LiDAL の統合： 光検出・位置特定（LiDAL）システムが、時空間情報を活用するために採用される。ユーザーの存在と位置を受動的に捕捉することで、LiDAL は CSI 推定を精緻化するための補助データを提供する。このシステムは、不完全な CSI を、位置誤差のクラメー・ラオ下限（CRLB）と視距（LOS）距離の関数としてモデル化する。これは、光ソースの非線形性と目の安全制約が、RF システムとは異なり位置特定精度を再構成することを認識している。
   • RLNC の統合： 線形ランダムネットワーク符号化（RLNC）が NOMA フレームワークに統合される。光アクセスポイントは、重畳された NOMA 信号上でランダムな線形結合としてデータパケットを符号化する。これにより、受信機は十分な数の独立した結合を受信すれば、元の情報を信頼性高く再構成することが可能となり、不完全な逐次干渉除去（SIC）に起因する誤差伝播を軽減する。

2. 最適化定式化：
   著者は、ユーザーの公平性を確保し、最小データレート制約（$\gamma_{min}$）を満たしつつ、システムの平均合計レート最大化を目指す複雑な最適化問題を定式化する。この問題は、総電力、SIC 用の電力順序付け、および最小レート要件に関する制約の下で、特定の光アクセスポイント（AP）にグループ化されたユーザーに対する最適な電力割当係数（$\alpha$）を決定するものである。

3. DRL 解法（NAF アルゴリズム）：
   非凸で動的な最適化問題を効率的に解決するため、著者は**正規化アドバンテージ関数（NAF）**アルゴリズムに基づく Deep Reinforcement Learning フレームワークを提案する。

   • エージェントアーキテクチャ： NAF エージェントは、状態価値関数 $V(s)$、平均行動関数 $\mu(s)$（ポリシー）、および二次アドバンテージ関数 $A(s, a)$ の 3 つのヘッドを備えた深層ニューラルネットワークアーキテクチャを利用する。この構造により、連続空間における行動の直接最適化が可能となる。
   • 学習プロセス： エージェントは、状態に推定チャネル利得、位置ノイズ係数、現在の電力係数を含む環境（マルコフ決定過程としてモデル化）と相互作用する。報酬は平均合計レートとして定義され、制約違反の場合はペナルティが課される。NAF アルゴリズムは、ターゲットネットワークと評価ネットワークを軟更新して使用し、Deep Deterministic Policy Gradient（DDPG）などの従来のアクター・クリティック手法と比較して、学習の安定化と収束の加速を実現する。

主な貢献

• システムモデリング： 本論文は、位置ベースの情報を CSI 推定の強化に、RLNC を残留復号誤差存在下での堅牢なデータ伝送にそれぞれ活用する、新規の LiDAL 支援 RLNC-NOMA OWC システムをモデル化する。
• アルゴリズム的革新： 動的で高次元な環境における連続電力割当問題を解決するため、NAF ベースの DRL モデルが導入される。このアプローチは、収束速度と連続行動空間における安定性に関する従来の RL アルゴリズム（Q-learning など）およびアクター・クリティック手法（DDPG など）の限界を克服する。
• 性能分析： 本研究は、ユーザー位置推定精度の包括的な評価と、それがネットワーク性能に与える影響を提供する。提案された NAF アルゴリズムを DDPG、ゲイン比電力割当（GRPA）、および全探索に対してベンチマーク評価している。

結果
8 個の光 AP と最大 32 人のユーザーを有する屋内研究空間で実施されたシミュレーション結果は、以下のことを示している。

• 収束性と効率性： NAF アルゴリズムは DDPG よりも著しく速く収束し（収束時間が約 56% 短縮）、反復あたりのトレーニング時間も少ない（DDPG の 0.44 秒に対し 0.27 秒）。二次アドバンテージ構造に起因してメモリ要求がわずかに高いものの、高密度シナリオでは計算的に実行不可能な全探索に対して、明確な実装上の利点を有する。
• 合計レート性能： NAF ベースの電力割当は、平均合計レート 1.882 Gbps を達成する。これは従来の GRPA 方式に対して 4.6% の改善、DDPG エージェントに対して 1.64% の改善を示す。
• 最適性： NAF アルゴリズムの性能は、離散グリッド内での大域的最適解とみなされる全探索手法の性能とほぼ一致し、学習されたポリシーの準最適性を裏付けている。
• 公平性と堅牢性： 提案手法は、全探索と同等の高いユーザー公平性（ジャインの公平性指数）を確保し、位置推定誤差に対して堅牢であることを示している。アルゴリズムは、システム信頼性を維持するために、位置推定誤差が大きいユーザーに対してより高い電力を効果的に割当てる。

意義
本論文は、提案フレームワークが、現実的な高密度ユーザーの屋内 OWC システムにおける電力割当の最適化に対する実用的かつ効率的な解決策を提供すると主張している。LiDAL と RLNC を統合することで、システムは不完全な CSI と残留復号誤差という二重の課題に対処する。NAF ベースの DRL アプローチの採用は、計算量的に実行不可能な全探索や収束が遅い DRL 手法に対する、低複雑度かつ高性能な代替手段を提供する。結果は、このアプローチが動的屋内環境に固有の不確実性に対して堅牢であることを示唆しており、次世代の高速光無線ネットワークの実現可能な候補となっている。