Uncovering Latent Structures in Robust Pulse Sequences: A Model-Based Reinforcement Learning Approach for Adaptable Quantum Control

技術要約：モデルベース強化学習による堅牢なパルスシーケンスにおける潜在構造の解明

問題提起
量子系のリアルタイム適応制御には、動作条件の連続的な範囲にわたって、堅牢で高フィデリティな制御パルスを迅速に生成することが不可欠である。GRAPE（Gradient Ascent Pulse Engineering）のような標準的な最適化アルゴệpは、各制御インスタンスを独立して解決する。この「記憶を持たない」アプローチは、実行間の情報を破棄するため、システムパラメータ（例：周波数デチューニング、振幅不均一性）が変化するたびに、コストの高い再初期化と再最適化を必要とする。さらに、教師あり学習は高速ではあるが、事前に計算された訓練データの品質に制約され、訓練対象となった解を超えることはできない。モデルフリー強化学習（RL）はデータへの依存性を回避できるが、サンプル効率が悪く、システムのハミルトニアンに対する知識が欠如しているため、物理的な堅牢性に欠けるという課題がある。

手法
著者らは、物理システムのハミルトニアンを訓練パイプラインに直接組み込んだ**モデルベース強化学習（RL）**フレームワークを提案している。このアプローチは、単一のニューラルネットワークを用いて、事前計算された訓練データなしに、一連の構成全体にわたる堅牢な量子ゲートを生成する。

• アーキテクチャと入力: 全結合ニューラルネットワークは、ゲート構成を定義する4つの入力（回転角 $\beta$、パルス持続時間 $T_P$、目標デチューニング範囲 $\Delta\delta$、目標振幅不均一性範囲 $\Delta s$）を受け取る。ネットワークは、一定の公称振幅に対する時間依存の位相プロファイル $\phi(t)$ を出力する。
• 訓練ループ: ネットワークは制御パルスを生成し、それが微分可能な物理シミュレーション内のシステムハミルトニアンに適用される。シミュレーションは、堅牢性のグリッドからサンプリングされたシステムパラメータのアンサンブル $\xi_m$ に対するプロパゲータ $U(T, \xi_m)$ を計算する。インフィデリティ（忠実度誤差） $J$ は、目標ユニタリ行列 $U_T$ に対して計算され、自動微分（AD）を用いて計算グラフ全体（インフィデリティからネットワークの重みまで）を通じてバックプロパゲーションされる。
• 堅牢性と平滑化: 実験的な実現可能性を確保するため、損失関数はデチューニングと振幅の変化に関するグリッド上でインフィデリティを平均化する。出力される位相シーケンスの高周波振動を抑制しつつ、時間的構造と微分可能性を維持するために、双方向指数移動平均（EMA）フィルタが適用される。
• 損失スケジューリング: 高フィデリティな解への収束を向上させるため、微調整段階では損失関数が $J^\alpha$（$\alpha < 1$）を用いて再重み付けされ、すでに高フィデリティを達成している構成に対して勾配の重みを増加させる。
• システムモデル: 本手法は、外部場によって駆動される単一スピン（二準位）系に対して実証されている。この系は、ドリフト、制御場、周波数デチューニング、および振幅スケーリング誤差を含むハミルトニアンによって記述される。

主な貢献

1. 汎用的な制御ポリシー: このフレームワークは、一連のゲート構成を最適化されたパルスへとマッピングする単一のネットワークを訓練する。一度訓練されれば、ネットワークはパラメータの組み合わせに対してミリ秒単位で高フィデリティなパルスを生成でき、再最適化の必要性を排除する。
2. 潜在構造の発見: 著者らは、ニューラルネットワークがパラメータ空間全体にわたって構造化された位相プロファイルを一貫して発見することを実証している。これらの構造は、標準的なGRAPE最適化では、確率的な初期化や独立した最適化実行によって隠されてしまうことが多い、制御ランドスケープ内の特定の解ファミリーに対応している。
3. 対称性と連続性: ネットワークは、最適なパルスがパルス中点付近で滑らかで連続的な構造変化（例：対称性または反対称性）を示すことを明らかにしている。この連続性により、パラメータ間の滑らかな補間が可能となるが、これはGRAPEが設計上持たない特性である。
4. 効率性: 訓練されたネットワークは、全パラメータ空間（回転角、持続時間、デチューニング、不均一性）を単一のフォワードパスでカバーする。マルチシードGRAPEを用いて同等のカバレッジを得ることは、評価されたスケールにおいては計算量的に実行不可能であると説明されている。

結果

• 性能比較: 100,000個のゲート構成に対し、マルチシードGRAPE（1シードおよび20シードを使用）と比較したベンチマークにおいて、ニューラルネットワークはGRAPEと同等のフィデリティを達成した。マルチシードGRAPEは、極めて低いインフィデリティ領域（$J < 10^{-4}$）において、より多くの局所解を探索することでネットワークを上回ることがあるが、ネットワークはシングルシードGRAPEを一貫して上回り、ベストなマルチシードの結果から1桁以内の誤差に収まっている。
• 構造的一貫性: ニューラルネットワークの出力を初期値として使用してGRAPEを実行すると、同じ構造化されたファミリー内で解を精緻化することが確認された。これは、ネットワークが制御ランドスケープにおける真の極小値に収束していることを裏付けている。ネットワーク生成パルス、GRAPEパルス、およびネットワークから初期化されたGRAPEパルスの堅牢性の指紋（デチューニングに対するインフィデリティ）は、生の位相プロファイルに目立った違いがあるにもかかわらず、ほぼ同一であった。
• 汎化性能: ネットワークは、未知のパラメータの組み合わせ（例：連続的なパルス持続時間や回転角）に対しても滑らかなフィデリティランドスケープをもって補間することに成功しており、訓練グリッドを超えて汎化する能力を検証している。
• 速度: ネットワークはミリ秒単位でパルスを生成するが、同等のカバレッジを得るためにマルチシードGRAPEは数時間を要する。

意義と主張
本論文は、このモデルベース強化学習アプローチが、量子制御最適化における根本的に異なるパラダイムを提供すると主張している。物理を直接学習プロセスに組み込むことで、以下のことが達成される。

• 適応性: ハミルトニアンに入るあらゆるパラメータがネットワークの入力となり得るため、このフレームワークは、訓練手順を変更することなく、異なるシステムや制御設定に直接転用可能である。
• 制御ランドスケープへの洞察: この手法は、制御ランドスケープにおける「潜在構造」——具体的には、パラメータ間で一貫した構造化された位相ファミリー——を明らかにする。これは、制御ランドスケープに、局所的な勾配法（標準的なGRAPEなど）が見逃したり、確率的に飛び移ったりしやすい、明確で堅牢な解のファミリーが存在することを示唆している。
• 実用的有用性: 本手法は、特定のハードウェアの差異に応じた個別の適応パルスのオンザフライ生成を可能にする。これは、パラレル送信MRIや連続ゲートキャリブレーションのような高度な実験プロトコルにおいて重要な要件である。

著者らは、ネットワークが非常に効率的かつ汎用的である一方で、絶対的な最小インフィデリティの観点で常にマルチシードGRAPEを上回るわけではないことを認め、控えめな立場をとっている。しかし、本手法は計算コストと性能のバランスを取りつつ、高フィデリティな代替案を提供し、量子制御ランドスケープのトポロジーに関する独自の洞察を与えるものである。