Decision Transformer for UAV-Mounted RIS-Assisted Dynamic D2D Communications

技術要約：UAV搭載RISによる動的なD2D通信のためのDecision Transformer

問題提起
本論文は、デバイス間（D2D）リンクが確率的に活性化し、遮蔽の影響を受ける動的な屋内環境において、通信性能を最適化するという課題に取り組んでいる。本研究は、無人航空機（UAV）に搭載された再構成可能知能表面（RIS）によって支援されるシステムに焦に焦点を当てている。RISを静的なものとして扱ったり、UAVの3次元（3D）回転力学を無視したりすることが多い従来の先行研究とは異なり、本研究では以下の要素が完全に結合したシステムを考慮している：

1. UAVの移動と姿勢： UAVの3D軌道およびその回転姿勢（ヨー、ピッチ、ロール）が最適化変数となる。
2. 角度依存の反射： RISは、電磁波の入射角に応じて変化する実用的な反射係数を持つ均一平面アレイ（UPA）としてモデル化されている。
3. チャネル力学： システムは、ラインオブサイト（LoS）成分がUAVの位置と方位に依存する、時変のリシアン・フェージング・チャネル下で動作する。

核心となる目的は、移動性、エネルギー、およびハードウェアの制限を遵守しつつ、すべてのD2Dペアの平均総和レートを最大化するために、UAVの飛行軌道、3D姿勢、およびRISの位相シフトを共同で最適化することである。この問題は非凸かつ高度に結合しており、従来の最適化手法を適用することを困難にしている。

手法
著者は、堅牢な制御と異なるシナリオ間での汎化を実現するために、Decision Transformer (DT) によって強化された深層強化学習 (DRL) ベースのフレームワークを提案している。

1. システムモデリング：

   • チャネルモデル： LoS成分と非ラインオブサイト（NLoS）成分を用いたリシアン・フェージングを利用する。アレイ応答は、RISに対する方位角および仰角に基づいて計算される。
   • 反射モデル： 理想的なユニタリ反射を仮定するのではなく、RIS素子の反射係が入射角の関数となる実用的なモデルを採用している。
   • 運動モデル： 3D回転行列を組み込み、UAVのヨー、ピッチ、ロールに基づいてRISの法線ベクトルと入射角を更新する。

2. 最適化フレームワーク：

   • MDP定式化： 問題はマルコフ決定過程（MDP）として定式化される。状態にはUAVの位置・速度・姿勢およびチャネル行列が含まれ、行動には軌道の更新、姿勢の調整、およびRISの位相シフトが含まれる。
     かしら。
   • エキスパートデータの生成： 複数のシナリオにおいて、いくつかのDRLアルゴリズム（DDPG、PPO、SAC、TD3）が学習される。比較分析により、この連続的かつ高次元の制御問題においてDDPGが最も優れた「エキスパート」アルゴリズムであることが特定された。
   • Decision Transformer (DT) の学習：
     • オフライン事前学習： DTは、複数の初期UAV位置におけるDDPGアルゴリズムによって生成された大規模なエキスパート・トラジェクトリ・データセットを用いて事前学習される。DTは、履歴の状態、行動、および「Returns-to-go（目標とする将来の報酬）」を条件として、行動を予測することを学習する。
     • オンライン微調整（ファインチューニング）： 未知のシナリオに対して、事前学習されたDTは「ゼロショット」方式で展開される。新しい環境に適応するために、システムは相互作用データを収集し、累積リターンに基づき上位のパフォーマンスを示すトラジェクトリを選択し、それらを用いてDTのポリシーを微調整する。これにより、直接的なポリシー転送で頻繁に見られる性能低下を回避する。

主な貢献

• 統合された3Dモデリング： 本論文は、UAVの軌道と3D姿勢（ヨー、ピッチ、ロール）をRISの位相とともに共同で最適化し、UAVの向きとRISの角度依存の反射特性との間の結合を明示的に考慮した包括的なモデルを提示している。
• Decision Transformerによる汎用的な制御： 未知の環境において標準的なDRLのみに頼ると苦戦する可能性があるため、著者はDecision Transformerを利用している。このアプローチは、強化学習を条件付きシーケンスモデリングとして捉え、オフラインのエキスパートデータからポリシーを学習し、広範な再学習なしに新しいシナリオへ汎化することを可能にする。
• ハイブリッド学習戦略： 提案されたフレームワークは、高品質なエキスパート・トラジェクトリを用いたオフライン事前学習と、新しい環境からの高リターンなトラジェクトリを選択的に使用するオンライン微調整メカニズムを組み合わせている。これにより、サンプル効率と適応性のバランスをとっている。

結果
数値シミュレーションは、4つのD2Dペアと4x4のRISアレイを用いた3D工業製造シナリオで実施された。

• DRLアルゴリズムの選択： テストされたアルゴリズム（DDPG、PPO、SAC、TD3）の中で、DDPGが最も速い収束と高い平均総和レート（約29.5 bps/Hz）を示し、学習データ生成のための最適なエキスパートとして選定された。
• 汎化性能： 未知のシナリオ（異なる初期UAV位置）において、Zero-Shot DT は、単一または隣接するシナリオで学習されたDDPGモデルを直接転送して得られたポリシーを大幅に上回った。
• 微調整の有効性： Fine-tuned DT は、シナリオ固有のDDPGエキスパートとほぼ同等の性能を達成したが、適応するために必要なオンライン相互作用の回数は大幅に少なかった。
• 安定性： DTベースのアプローチは、チャネル状態やユーザーのペアリングの分布シフトに敏感な直接転送法と比較して、変動が少なく、より安定したパフォーマンスを示した。

意義と主張
本論文は、提案されたDecision Transformerフレームワークが、動的な環境におけるUAV搭載RIS制御のための有望な解決策を提供すると主張している。オフラインのエキスパートデータと条件付きシーケンスモデリングを活用することで、この手法は従来のDRLポリシーの堅牢性の限界を克服する。著者は、このアプローチが、新しいシナリオへの効果的なクロスシナリオ汎化と、より少ない相互作用による効率的なオンライン適応を可能にすると断言している。本研究は、複雑で時変的な無線ネットワークにおいて、柔軟で信頼性の高い通信を実現するための、エキスパートデータ駆動型のシーケンスモデリングの可能性を強調している。この研究は、ゼロからの計算負荷の高いリアルタイム・オンライン学習を必要とせずに、複雑な結合最適化問題を解決する手法を提示している。