Securing SIM-Assisted Wireless Networks via Quantum Reinforcement Learning

技術概要：量子強化学習による SIM 支援型無線ネットワークのセキュリティ確保

問題定義
本論文は、受動的な盗聴者の存在下におけるマルチユーザーの Multiple-Input Single-Output（MISO）ダウンリンクシステムのセキュリティ確保という課題に取り組み、特にスタック型インテリジェントメタサーフェス（SIM）を活用する。SIM は、マルチステージの波ドメイン操作を通じて物理層セキュリティ（PLS）に対して前例のない自由度を提供するが、その実用的な展開は以下の 2 つの主要な要因によって阻害されている：

1. 高次元最適化：複数の層にわたる膨大な数のメタ原子は、送信電力の割り当てと位相シフト制御の結合最適化に対して、強く結合した高次元の最適化空間を創出する。従来のモデルベースの最適化手法は計算コストが膨大であり、スケーリングが困難である。
2. 不完全なチャネル状態情報（CSI）：既存の深層強化学習（DRL）アプローチは、しばしば盗聴者の CSI を完全に知っているという前提に立っているが、これは非現実的である。不完全な盗聴者 CSI を有する動的環境において、古典的な DRL 手法（PPO、DDPG など）は、広大な行動空間の探索の複雑さにより、収束が遅く、性能が低下する。

手法
これらの限界を克服するため、著者は**ハイブリッド量子近位方策最適化（Q-PPO）**フレームワークを提案する。手法は以下の構成要素を統合している：

• システムモデル：システムは、複数のカスケード型メタサーフェス層を備えた SIM を搭載した基地局（BS）から構成され、$M$人のユーザーにサービスを提供しつつ、受動的な盗聴者に直面する。盗聴者へのチャネルは不完全な CSI を有してモデル化され、その誤差は円対称複素ガウス分布に従う。目的は、送信電力とサービス品質（QoS）の制約条件下で、長期的な平均秘匿レート（ASR）を最大化することである。
• 確率的最適化：問題はマルコフ決定過程（MDP）として再定式化され、エージェントは正規ユーザーの完全な CSI と盗聴者の不完全な CSI を観測する。行動空間には、連続的な送信電力の割り当てと SIM の位相シフトが含まれる。
• ハイブリッド量子・古典アーキテクチャ：
  • アクターネットワーク：純粋な古典的深層ニューラルネットワークの代わりに、アクターは**パラメータ化量子回路（PQC）**を採用する。アーキテクチャはハイブリッドである：事前符号化用の古典的ニューラルネットワーク（Pre-NN）が高次元の状態空間の次元を削減し、PQC が量子重ね合わせと量子もつれを用いてこれらのコンパクトな特徴を処理して方策を学習し、事後処理用の古典的ニューラルネットワーク（Post-NN）が量子測定出力を連続的な行動にマッピングする。
  • クリティックネットワーク：状態価値関数を推定するために、標準的な古典的ニューラルネットワークのまま残る。
  • 量子メカニズム：PQC はパウリ回転ゲート（$R_Y, R_Z$）と制御 Z ゲート（CZ）のエンタングルゲートを利用する。量子状態の進化により、複数の状態 - 行動対の同時表現が可能となり、理論的に探索効率を高める。
• 学習アルゴリズム：フレームワークは、安定した方策更新を確保するために PPO アルゴリズムのクリップされた代理目的関数を利用する。エージェントは環境と相互作用しながら累積報酬（ASR）を最大化するように学習し、量子強化されたアクターは古典的な対応物よりも速く収束することを目指す。

主な貢献

1. 現実的なセキュリティフレームワーク：本論文は、不完全な盗聴者 CSI下での SIM 支援型安全通信の結合最適化問題を定式化し、既存文献に prevalent な完全 CSI の理想化された仮定を超えている。
2. ハイブリッド Q-PPO アルゴリズム：著者は、SIM 制御のための最初のハイブリッド量子・古典 PPO アルゴリズムを提案する。アクターネットワークに PQC を埋め込むことで、このフレームワークは量子特性を活用して、フルスケールの量子ハードウェアを必要とせずに（学習は古典的コンピュータ上で行われる）、高次元の連続行動空間における方策表現と探索を改善する。
3. スケーラビリティと効率性：本研究は、ハイブリッドアーキテクチャが、性能を維持または向上させながら、完全に古典的な深層ネットワークと比較して学習可能なパラメータの数を大幅に削減することを示している。

結果
Q-PPO を最先端のベースライン（PPO、DDPG、TD3、およびランダム選択）と比較する広範なシミュレーションは、以下の結果をもたらした：

• 性能：Q-PPO 方式は、古典的な PPO ベースラインと比較して、約15% 高い平均秘匿レートを達成する。
• 収束性：不完全な CSI 条件下において、Q-PPO は約30% 速く収束する（PPO の約 30,000 ステップに対し、Q-PPO は約 20,000 ステップで最適性能に到達）。
• ロバスト性：提案手法は、CSI の不確実性（$\delta$）のレベルが変化しても優れた性能を維持するのに対し、古典的手法は不確実性が増大するにつれてより顕著に劣化する。
• スケーラビリティ：メタ原子の数（$N$）と SIM レイヤー数（$L$）が増加するにつれて、Q-PPO はその性能優位性を維持するのに対し、古典的 DRL 手法は拡大する行動空間に苦戦する。
• 公平性：Q-PPO アルゴリズムは、他の方式と比較して高いジャインの公平性指数（JFI）を達成し、厳格な QoS 制約下であってもユーザー間でのリソース分配が優れていることを示している。

意義と主張
本論文は、提案された Q-PPO フレームワークが、SIM 対応の安全な無線ネットワークのための強力な最適化パラダイムを確立すると主張している。大規模なプログラム可能なメタサーフェスの制御に量子機械学習の原則を統合することで、高次元かつ強く結合した環境における古典的 DRL のスケーラビリティのボトルネックを克服することが可能であると論じている。この研究は、ハイブリッド量子・古典学習を、チャネル情報が不確実でリアルタイム適応が不可欠なシナリオにおいて、次世代の物理層セキュリティのための実用的かつ効率的な解決策として位置づけている。著者は、学習が量子回路シミュレーションを用いて古典的コンピュータ上で行われるため、即座にフォールトトレラントな量子ハードウェアへのアクセスを必要とせず、この解決策が現在および近未来の展開に対して実用的に関連性があると強調している。