技術要約：ISACビームフォーミング最適化のための深層学習を用いた3段階ソリューション

1. 問題設定

本論文は、フルデュプレックス（FD）統合通信・感知（ISAC）システムにおけるビームフォーミング最適化の課題に取り組んでいる。このシナリオでは、均一線形アレイ（ULA）を備えた基地局（BS）が、同一の時周波数リソースを使用して、複数の単一アンテナユーザーと通信を行うと同時に、複数のターゲットに対してレーダーセンシングを実行する。

核心となる目的は、以下の2つの重要な制約を遵守しながら、すべてのユーザーの合計通信レートを最大化することである：

1. 送信電力制約： 総電力予算は最大制限値（$P_{max}$）を超えてはならない。
2. センシングレート制約： 各ターゲットは、ターゲット検出確率のプロキシ（代理指標）となる最小センシングレート（$\Gamma_{sen}^{req}$）を達成しなければならない。

著者らは、既存の深層学習（DL）によるビームフォーミング手法の限界を特定している。チャネル状態情報（CSI）からビームフォーミングベクトルへの直接的なマッピングには、以下の問題がある：

• 高次元性： 最適化変数の空間は、アンテナ数やユーザー数が増えるにつれて急速に増大し、計算量と学習の難易度を高める。
• 解釈性の欠如： ベクトルを直接最適化すると、基礎となるビームフォーミングの挙動（指向性や干渉パターンなど）を理解または制御することが困難になる。
• 複雑性： 従来の凸最適化手法は、高次元かつ非凸なシナリオにおいて計算量的に実行不可能となる。

2. 手法：3段階フレームワーク

これらの制限を克服するために、著者らはビームフォーミング最適化を3つの異なるサブモジュールに分解する3段階ソリューションを提案している。このフレームワークは、問題を直接的なベクトル最適化から、特徴抽出、ビームパターン最適化、およびベクトル再構成を含む、より構造化されたプロセスへと変換する。

モジュール1：教師なし学習によるCSI特徴抽出

• 目的： 高次元で変動するCSIデータを、本質的な情報を保持したまま、固定サイズの潜在的特徴へと圧縮すること。
• 技術： **オートエンコーダ（AE）**を採用する。
  • 入力： CSIデータセットには、ダウンリンクチャネル（$h_k$）、アップリンクチャネル（$g_{l,t}$）、レーダーチャネル（$g_{l,r}$）、および残留自己干渉チャネル（$H_{SI}$）が含まれる。これらの複素行列はベクトル化され、実部と虚部に分離されて実数値の入力ベクトルを形成する。
  • プロセス： エンコーダは高次元のCSIを低次元の潜在的特徴ベクトル（$f$）にマッピングする。デコーダは、$f$から元のCSIを再構成しようと試みる。
  • 学習： ネットワークは、元のCSIと再構成されたCSIの間の平均二乗誤差（MSE）を最小化することにより、教師なしで学習される。
  • 使用法： テストおよび最適化フェーズでは、新しいCSI入力から特徴を抽出するためにエンコーダのみが使用される。

モジュール2：強化学習（RL）に基づくビームパターン最適化

• 目的： ビームフォーミングベクトルを直接探索するのではなく、抽出された特徴に基づいて最適なビームパターン（角度方向の電力分布）を探索すること。
• 技術： Advantage Actor-Critic (A2C) アルゴリズムを使用する。
  • 状態 ($s_t$): 抽出されたCSI特徴（$f_t$）と、前時刻のスロットにおける合計通信レート（$R_{com}^{t-1}$）で構成される。
  • 行動 ($a_t$): エージェントは複素ビームフォーミングベクトルを出力する代わりに、ビームパターンサンプルを出力する。行動空間は、以下の3つの特定のビームパターンについて、角度領域（-90°から90°）にサンプリングされた$A$個の離散的な利得値で構成される：
    1. 通信ビームパターン ($p_w$)
    2. センシングビームパターン ($p_v$)
    3. 受信ビームパターン ($p_u$)
  • 報酬 ($r$): 通信およびセンシングのレートの両方の制約が満たされている場合に、合計通信レートに報酬を与える区分関数である。センシングは満たされているが通信が満たされていない場合は0を割り当て、いずれかの制約が違反された場合は-1を割り当てる。
  • 利点： ビームパターン領域で最適化を行うことで、アンテナ数やユーザー数に関わらず、行動空間のサイズを（固定値 $A$ に）抑えることができ、学習の安定性と汎用性が向上する。

モジュール3：教師あり学習によるビームフォーミング再構成

• 目的： RLエージェントによって生成された最適化ビームパターンから、実際の送信および受信ビームフォーミングベクトルを再構成すること。
• 技術： 教師ありディープニューラルネットワーク（DNN）が逆関数 $G^{-1}$ を近似する。
  • プロセス： ビームパターンからベクトルへのマッピングの解析的な逆関数は（複雑な応答曲面のため）扱いにくいため、このマッピングを学習するDNNが用いられる。
  • データセット： ビームフォーミングベクトルをランダムに生成し、それらを電力制約を満たすように正規化し、対応するビームパターンを計算することで、（入力：ビームパターン、出力：ビームフォーミングベクトル）のペアを作成して生成される。
  • 使用法： テスト段階では、学習済みの再構成ネットワークが、RLエージェントからのビームパターン出力を受け取り、実装用の対応するビームフォーミングベクトルを即座に生成する。

3. 主な貢献

本論文は以下の貢献を主張している：

1. 問題定式化： フルデュプレックスISACシステムにおいて、センシングレートおよび電力制約の下で合計通信レートを最大化するための結合最適化問題を定式化した。この問題は、アレイ応答ベクトルを介して、ビームフォーミングベクトル最適化からビームパターン最適化へと変換される。
2. 3段階フレームワーク： 以下の3つのプロセスに分解された新しいフレームワークを設計した：
   • 教師なしCSI特徴抽出（AEを使用）。
   • RLベースのビームパターン最適化（A2Cを使用）。
   • 教師ありビームフォーミング再構成（DNNを使用）。
3. 性能と解釈性： 特徴抽出を通じて汎用性を高め、ビームパターン領域での最適化により学習の安定性を向上させ、直接的なベクトル最適化と比較して優れた解釈性を提供する。

4. 数値結果

シミュレーションは、$N_t = N_r = 4$ 本のアンテナ、$K=2$ のユーザー、$L=1$ のターゲットというシナリオで実施された。結果は以下を示している：

• 特徴サイズ： 潜在的特徴サイズ16が、圧縮と性能の間の最適なトレードオフを提供した。より小さいサイズ（例：4）は情報の損失を引き起こし、より大きいサイズ（例：64）は過学習または収束の遅延を招いた。
• ビームパターン解像度： サンプルサイズ720が最高の性能を提供したが、360も収束速度と報酬のバランスにおいて良好であった。
• アブレーション研究：
  • ケース 0 (ベースライン)： CSIからビームフォーミングベクトルへの直接的なRL。約170エピソードで収束し、報酬は約800であった。
  • ケース 1 (特徴抽出のみ)： 同等の性能（報酬）を維持しつつ、より速く収束（約130エピソード）した。これは特徴圧縮の効率性を証明している。
  • ケース 2 (ビームパターン最適化のみ)： 学習は遅かったが、最終的にはベースラインを上回った（報酬 > 850）。これは、ビームパターンの方がRLエージェントにとって最適化しやすい直感的な対象であることを検証している。
  • ケース 3 (完全な3段階構成)： 特徴抽出の効率性とビームパターン最適化の構造的利点を組み合わせることで、最高の性能（報酬 > 900）を達成した。

5. 意義と主張

本論文は、提案された3段階ソリューションが、ビームフォーミングベクトルを直接最適化するベースラインのRLアルゴリズムよりも優れていると結論付けている。その意義は、高次元で解釈不可能なベクトルを最適化することから、構造化された直感的なビームパターンを最適化することへの転換にある。ビームパターンの最適化とビームフォーミングベクトルの生成を切り離すことで、本フレームワークは以下を実現している：

• 複雑性の低減： RLの行動空間における次元数の低下。
• 安定性の向上： より安定した学習ダイナミクス。
• 解釈性： 中間的なビームパターン表現により、システムの空間フィルタリング動作の理解が容易になる。

著者らは、このアプローチは、従来の凸最適化が非常に複雑になり、直接的なDLマッピングの学習や解釈が困難になる、アンテナ数やユーザー数が増加する場合において特に有利であると断言している。