Adaptive Machine Learning Framework for UAV Trajectory Optimization in O-RAN

技術要約：O-RANにおけるUAV軌道最適化のための適応型機械学習フレームワーク

問題提起
Open Radio Unit (O-RU) としての無人航空機 (UAV) の展開は、6G Open Radio Access Network (O-RAN) アーキテクチャにおいて、スケーラブルで適応的なネットワークカバレッジを実現するための有望な解決策を提供します。しかし、動的で未知の都市環境におけるUAVの軌道最適化は、大きな課題を伴います。従来の強化学習 (RL) アプローチは、単一の環境における最適化には効果的ですが、多様なシナリオ間での適応性に欠けています。UAVが異なるビルのレイアウト、地形、または通信特性を持つ新しい環境に進入すると、標準的なRLモデルは通常、ゼロからの再学習を必要とします。このプロセスは計算コストが高く、時間がかかるため、リアルタイムの運用やスケーラビリティを阻害します。さらに、既存の転移学習 (TL) 手法は、ソースモデルのターゲット環境への適用可能性を評価するメカニズムを欠いていることが多く、ソースとターゲットが異質な環境間で知識が性能を向上させるどころか劣化させてしまう「負の転移 (negative transfer)」のリスクがあります。

手法
本論文では、これらの制限に対処するために、enhanced Continual Transfer Learning (CTL) をO-RANアーキテクチャ内に統合した新しいフレームワークを提案しています。コアとなる手法は、主に以下の3つのコンポーネントで構成されています。

1. モデル選択メカニリズム： システムは、特定の都市環境（ヨーク、ロンドン、オタワなど）で学習された事前学習済みDeep Deterministic Policy Gradient (DDQN) モデルのライブラリを保持しています。UAVが新しい環境 ($E_{new}$) に遭遇すると、フレームワークは環境特性（ビルの高さ、密度、基地局の分布、マップサイズ、およびUAVの高度）を表す特徴ベクトルを抽出します。$E_{new}$ とライブラリ内の全環境との間の複合類似度スコアが算出されます。最も高い類似度スコアが規定の閾値を超えている場合、最も類似した事前学習済みモデルが転移学習のために選択されます。
2. フォールバック汎用モデル ($M_G$)： ライブラリ内に十分に類似したモデルが存在しない場合（すなわち、類似度スコアが閾値を下回る場合）、システムはフォールバックモデル $M_G$ を採用します。このモデルは、利用可能なすべての実世界の都市の主要な構造パラメータを集約・平均化した合成都市環境を用いて初期学習されます。この設計により、$M_G$ は中立的で偏りのない都市設定を代表するものとなり、特定の都市形態への過学習を防ぎ、負の転移シナリオにおける信頼できるベースラインを提供します。
3. 継続学習 (CL) の統合： フレームワークは、CLを利用してフォールバックモデル $M_G$ を継続的に更新します。UAVが新しい環境で動作し、新しいポリシーを生成するにつれ、これらのモデルはライブラリに保存されるだけでなく、重み付き集計を通じて $M_G$ を洗練させるために使用されます。既存の $M_G$ と新しいモデルに割り当てられる重みは、新しい環境と元の学習条件との間の類似性に依存しており、これにより、システムは多様なシナリオにわたって知識を漸進的に蓄積しながら、破滅的忘却を軽減することができます。

システム全体はO-RAN構造内に組み込まれています。Non-Real-Time RIC (Non-RT RIC) は、モデル選択、転移学習、および継続学習アップデートのためのrAppをホストし、Near-Real-Time RIC (Near-RT RIC) は、リアルタイムの都市類似度比較、モデルディスパッチング、および軌道推論のためのxAppを利用します。

主な貢献
本論文は、以下の具体的な貢献を概説しています。

• 適応型モデル選択： 環境類似度指標に基づいて、ライブラリから最も適切な事前学習済み軌道ポリシーを選択するメカニズムの開発。これにより、再学習のオーバーヘッドを大幅に削減します。
• 堅牢なフォールバックモデル： 継続学習によって継続的に更新される合成フォールバックモデル ($M_G$) の作成。これにより、システムは未知の環境においてベースライン性能を維持し、汎化性能を漸進的に向上させることが可能になります。
• O-RANへの統合： リアルタイムの推論と継続的な学習ループを可能にするために、xAppとrAppを活用した、O-RANアーキテクチャ内に統合されたUAV軌道システムの実装。
• 実世界での検証： 回折やマルチパス効果などの現実的な伝搬条件を組み込んだ、実世界の都市（ヨーク、北京、オタワなど）の高精度なレイートレースRSSIマップを用いたフレームワークの検証。

結果
複数の都市環境（ヨーク、オタワ、北京を含む）で実施されたシミュレーションは、提案されたフレームワークの有効性を実証しています。

• 収束速度： モデル選択ベースの転移学習アプローチは、ゼロからの再学習 (DDQN) と比較して、収束時間を 44%から56% 短縮しました。
• 従来のTLとの比較： 提案手法は、モデル選択を行わない従来の転移学習と比較して、最大 40% の収束改善を実現しました。
• 特定シナリオにおける性能：
  • ヨーク環境において、高度に類似したソースが存在しない場合、フォールバックモデル $M_G$ は880エピソードで収束し、ライブラリ内の最良のモデル（940エピソード）およびDDQNベースライン（1380エピソード）を上回りました。
  • オタワにおいて、構造的に類似したマンチェスター・モデルからの転移により、DDQNベースラインに対して44.8%の改善となる750エピソードで収束しました。
  • 北京において、類似したヨーク・モデルからの転移により、ベースラインに対して45.9%の改善となる590エピソードで収束しました。
• 負の転移： 異質な環境（例：ロスリンンからオタワへの転移）からモデルを選択すると、ゼロからの学習よりも収束が遅くなり、性能が低下することが示され、類似度ベースの選択メカニズムの必要性が検証されました。
• 継続学習の影響： CLによって更新されたフォールバックモデルは、特定の事例において必ずしも選択された最良の転移モデルを上回るわけではありませんでしたが、時間の経過とともに適応性が向上しており、ライブラリの環境が拡大してもシステムが堅牢であり続けることを保証しています。

意義と主張
著者らは、本研究が、異種混合の都市シナリオにおけるUAV軌道最適化に関する決定的なギャップに対処するものであると主張しています。モデル選択と、継続的に更新されるフォールバックメカニズムをO-RANフレームワーク内で組み合わせることで、システムは、ゼロからの再学習という膨大なコストを課すことなく、新しい環境へ迅速に適応できます。本論文は、このアプローチが学習を加速させるだけでなく、負の転移を防ぐことで、堅牢で信頼性の高い運用を保証することを強調しています。実世界のレイートレースデータとO-RANアーキテクチャの統合は、このフレームワークを、スケーラブルでインテリジェントな6Gネットワーク展開に向けた実践的な一歩として位置付けています。著者らは、今後の課題として、モデル選択戦略およびエネルギー効率の高い軌道計画のさらなる強化を探求することを述べています。