Reinforcement Learning for Adaptive Composition of Quantum Circuit Optimisation Passes

技術要約：量子回路最適化パスの適応的構成のための強化学習

問題提起
量子ソフトウェア開発キット（QSDK）は、高度に最適化された一連の回路パス（例：Cliffordサブ回路最適化、ZX計算機書き換え、Pauliガジェット最適化など）を提供している。しかし、これらのパスを適用する順序は、通常、ユーザーに委ねられているか、汎用的なデフォルトのシーケンスとして定義されている。これは主に2つの課題をもたらす。

1. 専門知識の障壁： 特定のパスがいつ有益であるかを認識するには、回路の構築と最適化に関する卓越した専門知識が必要となることが多い。
2. フェーズ・オーダリング問題（位相順序問題）： 得られる回路の品質は、適用される順序に強く依存する。汎用的なデフォルトのシーケンスは、個々の回路に特化した最適化の機会を見逃すことが多く、一方で、手動で独自のシーケンスを設計することは時間がかかり、エラーが発生しやすい。

既存の機械学習アプローチは、固定サイズの観測空間（特定の機能に限定された入力）に依存したり、簡略化された回路表現を用いた古典的なシミュレーションを使用したりすることが多く、これが予測精度を低下させる原因となる。さらに、独自のシーケンスを生成するための探索ベースのアプローチは、アクション空間や回路サイズが増大するにつれて、スケーラビリティの低下に苦しむことが多い。

手法
著者らは、特定の量子回路に合わせて最適化パスのシーケンスを反復的に選択・適用するエージェントを訓練するために、近接方策最適化（PPO）を用いた強化学習（RL）フレームワークを提案している。

• グラフ表現： 量子回路は、ゲート、入力、出力を表すノードと、量子ビットワイヤを表すエッジからなるグラフとしてエンコードされる。この表現は、3Dテンソル表現とは異なり、任意の接続性と任意の回路サイズをサポートする。ノードの特徴量には、ゲートタイプ（ZZPhase, Rz, PhasedX）、パラメータ、Cliffordフラグ、および冪等な反復を防ぐための直前に適用されたパスのインデックスが含まれる。
• アクション空間： エージェントは、PyTKET（バージョン2.9.3）で利用可能な以下のグローバル最適化パスから選択を行う：
  • KAKDecomposition（2量子ビットサブ回路の再合成）
  • CliffordResynthesis および CliffordSimp
  • ZXGraphlikeOptimisation
  • GreedyPauliSimp
  • ThreeQubitSquash
  • DoNothing（シーケンスを終了）
    各パスの適用後、回路はQuantinuumネイティブのゲートセットにリベースされる。
• アーキッチテクチャ： エージェントは、回路グラフを処理するために、修正されたGINConvオペレータを用いたグラフ畳み込み層（Graph Convolutional layers）を備えたグラフニューラルネットワーク（GNN）を採用している。ネットワークは、アクターを介してアクション・ロジットを出力し、クリティックを介して状態価値を出力する。モデルは、可変サイズの回路を扱うために平均プーリングを使用する。
• 報酬関数： 単一のアクションに対する報酬は、初期カウントに対する2量子ビットゲートの減少率として定義される（$r_t = (n_{t-1} - n_t) / n_0$）。効率性を高めるために、DoNothing 以外の行動に対しては小さなペナルティが適用される。
• 訓練： モデルは、3から7量子ビットの範囲を含む、400,000以上の回路（Random-SU4/SU8、IQP、QAOA、およびClifford混合クラスを含む）からなる合成データセットを用いて訓練される。訓練には、Tree-structured Parzen Estimatorによって最適化されたハイパーパラメータを用いたPPOが使用される。

主な結果
訓練されたエージェントは、多様なテストセット（イン分布の40,412個の回路）を用いて評価され、いくつかのPyTKETデフォルトシーケンス（FullPeepholeOptimise, QuantinuumDefaultTwo, QuantinuumDefaultThree）および個別の高性能パスと比較された。

• 性能： RLエージェントは、57.7% の平均累積報酬（除去された2量子ビットゲートの割合）と、56.7% の中央値を達成した。これは、平均41.8%、中央値**50.0%**を達成した次のベストなデフォルトシーケンス（QuantinuumDefaultTwo）を上回った。
• 適応性： エージェントは、異なる回路クラスに対して独自のシーケンスを正常に生成した。例えば、Ordered-Clifford-SU4 回路において、エージェントはCliffordSimpに続いてKAKDecompositionを行うシーケンスを99.2%のケースで正しく特定しており、より優れた後続の最適化を可能にするために即時的な報酬を遅延させる能力を示した。
• 汎用性： モデルは、訓練時に見たものよりも大きな（最大12量子ビット、450個の2量子ビットゲート）「分布外（out-of-distribution）」の回路に対しても汎用性を持ち、イン分布の結果と同等の性能を維持した。また、非常に大規模な回路（100量子ビット）に対しても有効性を示した。
• 効率 vs 探索： ビームサーチベースのオプティマイザ（網羅的または貪欲な探索を通じて独自のシーケンスを生成するもの）と比較して、RLモデルは同等または優れた2量子ビットゲート削減を実現しつつ、実行時間を大幅に短縮した。探索ベースの手法はアクション空間のサイズや探索の深さとともにスケーラビリティが悪化するが、RLモデルの推論時間はシーケンスの深さにのみ依存するため、より高いスケーラビリティを持つ。

意義と主張
本論文は、このアプローチが、独自のシーケンスの選択を自動化することにより、最適化パスの手動による調整の困難さを解決すると主張している。本研究の意義は以下の点にある：

1. デフォルトに対する優位性： 学習された回路固有のポリシーが、汎用的なデフォルトシーケンスよりも、2量子ビットゲート数の削減（ノイズのプロキシ）において大幅に優れていることを示したこと。
2. スケーラビリティ： RLベースの選択が、独自のパスシーケンスを生成する上で、探索ベースの手法よりも計算効率が高いことを示したこと（特に回路の複雑さが増大する場合）。
3. 専門知識の必要性の低減： 最適なパスの順序を決定するために人間の専門家を必要としないため、効果的な量子回路最適化への参入障壁を下げていること。
4. 拡張性： この手法は使用された特定のパスに限定されない。コアとなるアプローチを変更することなく、アクション空間を他のライブラリのパスを含むように拡張できること。

著者らは、このアプローチはグローバルな書き換えを改善するものであるが、グローバルな変換に内在するフェーズ・オーダリング問題の影響を受ける可能性があると指摘している。今後の課題として、特定の回路領域の書き換えを選択するエージェント（グローバル最適化とローカル最適化の組み合わせ）や、実際のユーザー回路を含む訓練セットの拡大などが挙げられている。