技術要約：ハイブリッド・アクション強化学習による量子アーキテクチャ探索 (HyRLQAS)

1. 問題提起

NISQ（Noisy Intermediate-Scale Quantum）時代において、変分量子アルゴリズム（VQA）であるVQE（Variational Quantum Eigensolver）などは、パラメータ化量子回路（PQC）の設計に大きく依存している。量子アーキテクチャ探索（QAS）を自動化するために強化学習（RL）が有望な枠組みとして浮上しているが、既存の手法には主に以下の3つの制限がある：

1. 離散空間と連続空間のデカップリング（分離）： 現在のアプローチは通常、離散的なゲート配置（トポロジー）と連続的なパラメータ最適化を切り離して扱っている。これらはパラメータの初期化を外部の独立したステップとして扱うことが多く、回路構造とパラメータ初期化の間の相互作用を無視している。
2. 非効率な最適化ループ： 標準的なRLベースのQASでは、エピソードごとに外部の古典的最適化器が独立して呼び出され、パラメータを精緻化する。これにより、エピソード間でパラメータに関連する経験を再利用することができず、過剰な反復回数を伴う非効率な最適化を招く。
3. 最適化器への感度： パフォーマンスは、回路の深さが増すにつれて、初期化や学習可能性の問題（例：バレン・プラトー）に対する外部最適化器の感性に制約されることが多い。

2. 手法：HyRLQAS

著者らは、ハイブリッドな離散・連続アクション空間内でゲート配置とパラメータ初期化を共同で学習することにより、これらの課題に対処する統一フレームワークである HyRLQAS (Hybrid-Action Reinforcement Learning for Quantum Architecture Search) を提案する。

2.1. フレームワークの概要

HyRLQASは、エージェントが量子回路を逐次的に構築するマルコフ決定過程（MDP）としてQASを定式化する。

• 状態 ($s_t$): 部分的に構築された量子回路を表し、ゲートの種類、位置、および現在のパラメータ値を捉えるテンソルベースの表現によってエンコードされる。
• アクション ($a_t$): 以下の要素からなるハイブリッド・アクションである：
  • 離散コンポーネント ($z_t$): 挿入されるゲートの種類（例：$R_X, R_Y, R_Z$, CNOT）と位置を選択する。
  • 連続コンポーネント ($x_t$): 新たに挿入されるパラメータ化ゲートの初期回転角を定義する。
• 精緻化メカニズム: 重要な点として、新しいゲートが追加される際、エージェントは以前に配置されたゲートのパラメータを更新するための連続的な増分 ($\Delta x_t$) も予測する。これにより、進化するトポロジーとの一貫性を維持しながら、回路が成長するにつれて回路全体のパラメータ化を動的に精緻化することが可能になる。

2.2. 報酬と学習

• 報酬信号: エージェントはVQEの設定で訓練される。各回路拡張の後、外部の古典的最適化器（COBYLA）がすべてのパラメータを精緻化し、分子の基底状態エネルギーを最小化する。得られたエネルギー $E_t$ は報酬信号へと変換される。
  • 終端報酬は、エネルギーが動的な閾値 $\xi$ を下回ったかどうかに基づいて割り当てられる。
  • ステップごとの報酬は、相対的なエネルギー改善に比例したフィードバックを提供する。
• 方策最適化: フレームワークは、REINFORCEアルゴリズムを介して最適化されるハイブリッド方策 $\pi(z, x | s) = \pi_d(z|s)\pi_a(x|s)$ を利用する。方策ネットワークには、ゲート選択のための離散ヘッドと、パラメータ初期化および精緻化増分のための連続ヘッドが含まれる。
• カリキュラム学習: 閾値 $\xi$ はエージェントの進捗に基づいて動的に調整され、タスクの難易度が徐々に上昇するように設計されている。

2.3. 理論的分析

著者らは、**量子ニューラル・タンジェント・カーネル（QNTK）**とその動的バリアント（dQNTK）を用いて最適化ダイナミクスを分析している。彼らは、方策による初期化が最適化ランドスケープの条件付け（conditioning）を改善し、ランダムまたはゼロ初期化と比較して、より良い勾配伝播と収束を促進すると仮験定している。

3. 主な貢献

1. 統一ハイブリッド・アクション・フレームワーク: HyRLQASは、単一の方策の下で回路構造（離散アクション）とパラメータ初期化（連続アクション）を共同で探索する初のQASフレームワークであり、トポロジーとパラメータの相互作用を捉えている。
2. 方策による初期化と精緻化: 本手法は、外部最適化器に対して情報に基づいたパラメータ初期化を提供するメカニズムを導入し、既存のゲートのパラメータを遡及的に調整する「精緻化ヘッド」を含んでいる。これにより、外部最適化器への依存を減らし、必要な反復回数を削減する。
3. QNTKに基づく分析: 本論文は、観測された性能向上の原理的な説明を提供しており、方策による初期化がカーネルの条件付けと勾配伝播を改善し、より安定した最適化をもたらすことを示している。
4. 包括的な評価: 標準的な分子VQEベンチマーク（LIH, BeH$_2$, H$_2$O）を用いた広範な実験により、HyRLQASがエネルギー誤差、回路の深さ、およびゲート数において、既存の最先端手法（CRLQAS, TensorRL, および微分可能なアプローチを含む）を凌駕することを実証した。

4. 実験結果

実験は、STO-3G基底における4、6、8個の量子ビットを持つ分子システム（LIH, BeH$_2$, H$_2$O）に対して行われた。

• パフォーマンス: HyRLQASは、LIH-4において化学精度レベルの収束（エネルギー誤差 $10^{-8}$ まで）を達成し、通常 $10^{-5}$ から $10^{-4}$ の範囲で停滞する既存の手法を大幅に上回った。
• 効率性: 本手法は、ベースラインと比較して、より少ないゲート数と浅い回路を用いて、より低いエネルギー誤差を達成した。
• 最適化器の削減: 方策による初期化により、収束に必要なCOBYLAの反復回数が、LIH-4で33%、LIH-6で46%減少した。
• アブレーション研究:
  • ハイブリッド・アクション空間（離散のみ）を除去すると、性能が著しく低下し、共同学習の重要性が確認された。
  • 精緻化ヘッドを無効にすると、より大きな精度低下を招き、回路の成長に伴って既存のパラメータを更新する必要性が浮き彫りになった。
  • 外部最適化器を取り除くと顕著な劣化が生じた。これは、HyRLQASが主に高品質な初期領域を特定するものであり、外部最適化器が必要な局所的な微調整を行うことを示している。
• QNTKの知見: 分析の結果、精緻化を伴う方策による初期化は、二次QNTK（$K_2$）のより鋭く集中した分布をもたらし、ゼロまたはランダムな初期化と比較して、より滑らかで条件の良い最適化ランドスケープを示すことが明らかになった。

5. 意義と主張

本論文は、HyRLQASが回路トポロジー設計と最適化を考慮したパラメータ化を結合するための、原理的かつ効果的なメカニズムを提供すると主張している。回路トポロジーのデザインをハイブリッド・アクション問題として扱うことで、本手法はデカップリングされたアプローチの限界を克服している。

著者らは、性能向上が単に深く、あるいは表現力の高い回路を見つけたことによるものではなく、構造探索と情報に基づいたパラメータ化の相乗効果に由来することを強調している。方策による初期化は最適化プロセスを効果的に「ウォームアップ」し、古典的最適化器の負担を軽減し、学習可能性の問題を緩和する。

結論として、ハイブリッド・アクション強化学習は、NISQデバイス向けの堅牢で効率的な変分量子回路の設計を自動化するための実行可能な道筋であり、今後の研究では、外部最適化器を完全に排除できる完全なエンドツーエンドのアプローチを探索することも可能である。