Graph Reinforcement Learning for Calibration-Aware Quantum Circuit Routing

本論文は、リアルタイムのハードウェア校正データと近接方策最適化を活用することで、標準的なSABREベースの手法よりも2量子ビットゲート数は多くなるものの、小規模から中規模の回路において大幅に高いシミュレーション忠実度を達成する、量子回路ルーティングのための校正を考慮したグラフ強化学習アプローチを提示する。

要約

あなたは、量子データである配送ドライバーのチームを、巨大で混沌とした都市（量子コンピュータ）へと導き、荷物（計算）を届けるガイドをしていると想像してください。

かつて、量子都市のためのナビゲーションアプリは、距離という一つのことしか考えていませんでした。彼らは、「たとえ橋が陥没していたり建設中であったとしても、最短ルートを通れ」とドライバーに指示していました。その論理は単純でした。走行距離が少なければ少ないほど、摩耗や損傷が少なくなるからです。

しかし、この論文は、現実世界の量子コンピュータにおいては、距離がすべてではないと主張しています。時には、壊れた橋を避けるために少し長いルートを通る方が、荷物をより良い状態で目的地に届けることができるため、実際にはずっと優れた選択となるのです。

以下は、研究者たちが何を行ったのかを、簡単な比喩を用いて解説したものです。

問題点：「完璧な」ルート vs 「現実の」ルート

量子コンピュータは、道路（コンピュータの各パーツ間の接続）の品質が常に変化している都市のようなものです。滑らかで速い道もあれば、ガタガタで壊れやすい道もあります。この品質のことを「キャリブレーション（校正）」と呼びます。

古いナビゲーションシステム（論文内で言及されている標準的な SABRE アルゴリズムなど）は、地図だけを見ているGPSアプリのようなものです。彼らは「この道は5マイルだから、こちらへ行け」と言います。しかし、その5マイルの道が現在冠水している一方で、6マイルの道は乾燥している、といったことは知りません。

解決策：「キャリブレーション対応」のGPS

著者たちは、グラフ強化学習（Graph Reinforcement Learning）を用いた、よりスマートな新しいナビゲーションシステムを作成しました。これは、単に地図を見るだけでなく、意思決定を行う前に、あらゆる道路のライブ交通情報と天気予報をチェックするGPSのようなものです。

• 「脳」： 彼らは、ナビゲーターとして機能するように、AI（近接方策最適化：Proximal Policy Optimizationという手法）を訓練しました。
• 入力： ドライバーにどこへ行くべきかを伝える前に、AIは以下の情報を確認します：
  1. 残りの配送リスト（量子回路）。
  2. ドライバーが現在停車している場所（配置）。
  3. すべての道路のライブ健康状態レポート（IBMのHeron r2チップからのキャリブレーション・データ）。
• 戦略： AIは、壊れたりノイズが多かったりすることが分かっている道を避けるためであれば、多少長いルート（「SWAP」操作、つまり迂回のようなもの）を取ることを厭いません。

実験：旧来の手法とのレース

研究者たちは、新しいAIナビゲーターを、2つの確立された「昔ながらの」GPSシステムと比較テストしました。

1. SABRE-best20： 標準的な、距離重視のナビゲーター。
2. Target-aware SABRE： 地図は理解しているものの、ライブ交通情報を活用する能力はそれほど高くない、少し賢いバージョン。

彼らは、IBMの量子ハードウェアからのリアルタイムデータを使用し、規模の異なる9つの「配送ルート」（量子回路：5、8、10ステップ）に対してテストを実施しました。

結果：量よりも質

結果は、新しいAIの明確な勝利でしたが、一つひねりがありました。

• 大きな勝利： 中小規模のルート（5および8ステップ）において、AIのルートははるかに成功率が高かったのです。「荷物」は非常に良い状態で到着しました。
  • スコア： AIは 0.727 という「フィデリティ（成功率）」を達成しましたが、旧来の手法はそれぞれ 0.440 と 0.481 でした。これは品質における劇的な向上です。
• トレードオフ： この高い品質を得るために、AIはより多くのステップを踏みました。AIは約8回の追加の迂回（2量子ビットゲート）を行い、ルートをわずかに深くしました。
  • 教訓： 荷物を守るためには、壊れた橋を避けるために数歩多く進むことは価値があるのです。
• 限界： 最大規模のルート（10ステップ）では、AIは思うような成果を出せませんでした。なぜでしょうか？ それは、彼らが与えられた「都市の地図」が、代替経路が極めて少ない、硬直したツリー構造（樹形図）だったからです。適切な迂回路が存在しない場合、AIは距離重視のGPSを出し抜くことができませんでした。

まとめ

この論文は、量子コンピュータにとって、「ステップ数を数えること」よりも「ハードウェアの現在の健康状態を知ること」の方が重要であることを証明しています。

AIに「ライブ交通状況」（キャリブレーション・データ）を観察させ、たとえルートが少し長くなったとしても、「壊れた橋」（ノイズの多いカプラー）を避ける道を選ぶように教えることで、より優れた結果を得ることができます。これは、「最短の経路は何か？」と問うことから、「最も安全な経路は何か？」と問うことへの転換なのです。

技術概要

技術要約：キャリブレーションを考慮したグラフ強化学習による量子回路ルーティング

問題提起
量子回路のルーティングは、NISQ（Noisy Intermediate-Scale Quantum）デバイスにおける極めて重要なコンパイル工程であり、論理回路を疎な接続性を持つ物理ハードウェアへとマッピングするプロセスである。従来のルーティング戦略は、SWAP操作の最小化や回路の深さといった標準的なオーバーヘッド指標の最適化に焦 heavy である。しかし、著者らは、キャリブレーション済みのハードウェアにおいては、これらの指標では不十分であると主張している。同様のオーバーヘッドを持つ2つのルートであっても、通過する物理カプラーの誤差率が大きく異なる場合、最終的な状態忠実度（state fidelity）に劇的な差が生じる可能性がある。たとえゲート数が増えたとしても、性能の低いカプラーを回避することで、理想的な状態をより良く保持できるルートが存在し得る。核心となる課題は、当日のキャリカレーション・データを利用して、追加の2量子ビットゲートの挿入を厭うことなく、厳密なシミュレーション上の状態忠実度を最大化するルーティング・ポリシーを開発することである。

手法
著者らは、近接方策最適化（PPO）を用いて訓練された、キャリブレーションを考慮したグラフ強化学習（RL）ルーターを提案している。このアプローチは、ルーティングを、物理量子ビット $P$、実行可能なカプラー $E$、およびスナップショット・キャリブレーション・データ $\kappa$（読み出し誤差、1量子ビットおよび2量子ビット誤差、コヒーレンス時間を含む）からなるキャリブレーション済みバックエンド・グラフ $G_B = (P, E, \kappa)$ 上の逐次的な意思決定プロセスとしてモデル化している。

• 状態表現: 観測状態 $s_t$ は、残りの論理回路、論理量子ビットの現在の非恒等配置、およびキャリブレーション・スナップショットを含む。これは、ノード特徴量として読み出し誤差、コヒーレンス、入射2量子ビット誤差、および先読み要求距離を捉えたグラフとしてエンコードされる。エッジ属性には、キャリブレーション済みの2量子ビット誤差確率と、有効なアクションのマスクが含まれる。
• 方策アーキッチテクチャ: 方策は、ノード埋め込みを生成するために2つのメッセージパッシング層を持つグラフニューラルネットワーク（GNN）を利用する。多層パーセプトロン（MLP）は、これらの埋め込みとエッジ属性に基づいて有効なSWAPエッジのスコアを算出し、マスク付きソフトマックスを介して有効なSWAPの確率分布を出力する。
• 訓練プロトコル: エージェントは、IBM Heron r2のキャリブレーション・スナップショット（Fez, Kingston, Marrakesh）を用い、9種類のMQT Bench回路（5q, 8q, 10qファミリー）を用いて訓練される。
  • 報酬関数: 訓練中の高コストな厳密密度行列シミュレーションを避けるため、著者らは推定成功確率（ESP）に基づく低コストなプロキシ報酬を採用している。報酬関数には、最短経路距離の削減、ルーティングの進捗、ゲート数に関する項、および無効なアクションやタイムアウトに対するペナルティが含まれる。終端報酬は、エージェントのプロキシ忠実度をベースライン（SABRE-best20）と比較し、過剰なコストに対してペナルティを課す。
• 評価: 最終評価では、ノイズモデル（デポラリゼーション誤差および熱緩和を含む）を用いた厳密な密度行列シミュレーションを使用し、真の状態忠実度 $F = \langle \psi | \rho | \psi \rangle$ を計算する。
• ベースライン: 提案手法は、再現可能な2つのベースラインと比較される。
  1. SABRE-best20: 2量子ビット数と深さのコスト関数を最小化する標準的なヒューリスティック。
  2. Target-aware SABRE: Qiskitのターゲット情報とESPを用いて選択を行う、キャリブレーションを考慮したヒューリスティック。

主な結果
評価は、3つのキャリブレーション・スナップショットと9つの回路ファミリーにわたって実施され、合計1,500組のエピソードが行われた。

• 忠実度の向上: 学習された方策は、プールされた平均厳密忠実度 0.727 を達成し、SABRE-best20 (0.440) および Target-aware SABRE (0.481) を大幅に上回った。この改善は統計的に有意であった（$p < 1.5 \times 10^{-6}$）。
• オーバーヘッドのトレードオフ: 忠実度の向上は、オーバーヘッドの増加という代償を伴った。学習されたルートは、SABRE-best20と比較して、平均で +8.63個の2量子ビットゲート および +4.61の深さ を追加した。
• 回路サイズへの依存性: パフォーマンスの向上は、回路サイズとアクション・グラフの柔軟性に強く依存していた：
  • 5qおよび8qファミリー: ルーターは、追加のゲートを使用して回路を信頼性の低いカプラーから逸らすことに成功し、大幅な忠実度の向上をもたらした。
  • 10qファミリー: 本研究で使用された固定ツリー・アクション・グラフにおいて、10qファミリーは忠実度の向上を示さず、実際にはSABRE-best20の方が優れた性能を示した。著者らは、固定されたツリー・トポロジーが、RLエージェントがキャリブレーション・データを効果的に活用するための代替経路を十分に提供していないためであると説明している。

意義と主張
本論文は、ハードウェア・グラフが十分な代替経路を提供している場合に限り、キャリブレーションを考慮した学習済みルーティングが、ゲート数駆動型のコンパイルによって達成可能なレベルを超えて、厳密な状態忠実度を向上させることができると主張している。本研究は以下のことを示している：

1. キャリブレーション・データの重要性: 当日のキャリブレーション・データにより、学習された方策は、最小のゲート数よりも忠実度を優先するルーティング決定を行うことが可能になる。
2. アクション空間の制約: キャリブレーションを考慮したルーティングの有用性は、アクション・グラフが有用な選択肢を提供できるかどうかに依存する。制約のあるトポロジー（10q回路で使用された固定ツリーなど）では、より良いカプラーを選択する能力が制限され、従来のヒューリスティックが優位であり続ける。
3. 指標の限界: キャリブレーションされたハードウェアにおける忠実度のプロキシとして、ゲート数や深さは不完全である。より高いオーバーヘッドを持つルートが、より高い忠実度を生み出すことがある。

著者らは、彼らの特定の実装は有望であることを示しているが、アプローチを完全に検証するためには、循環部分グラフ、ホールドアウト回路、および一致した学習済みルーター・ベースラインの評価が必要であると結論付けている。また、ルーティングの比較においては、従来のオーバーヘッド指標とともに、忠実度とキャリブレーションの文脈を報告すべきであると強調している。