Diagnosing Simulation and Hardware Barriers to Cross-Size Transfer in Equivariant Quantum Reinforcement Learning

問題提起

巡回セールスマン問題（TSP）のような組合せ最適化（CO）問題は、物流やネットワーク設計において中心的であるものの、NP困難であり、大規模な入力に対して厳密解を得ることは困難である。強化学習（RL）や量子強化学習（QRL）はヒューリスティックな戦略を提供するが、大きなスケーラビリティのボトルネックが依然として存在する。すなわち、ほとんどのQRL手法は、新しい問題のインスタンスやサイズごとにゼロから再学習を必要とする点である。

本論文では、パラメータ数が問題のサイズに依存しないように置換対称性をエンコードする**等変量子回路（EQC）**が、**ゼロショット・クロスサイズ転移（zero-shot cross-size transfer）**を促進できるかどうかを調査している。具体的には、小規模な$n$都市のTSPインスタンスで学習されたパラメータ$\theta_n$を、再学習なしに、より大きな$m$都市のインスタンス（$m > n$）へ直接転移できるか、また、その転移が現実的な量子ハードウェア上での実行においても維持されるかを検証する。

手法

著者らは、シミュレーション近似、ノイズ、および有限ショット・サンプリングの影響を、真の転移挙動から分離するために、5段階のプロトコル一致評価パイプラインを採用している。本研究では、Skolikら[11]のEQCアーキテクチャ（深さ$L=1$、2つの学習可能なスカラー$\beta, \gamma$）を、ユークリッドTSPインスタンスに適用している。

パイプラインは以下の通り進行する：

1. ベース段階（Base Stage）： 12ノードの検証レーンにおける安定した学習レシピ（観測値のスケーリング固定、ベスト・チェックポイントの報告）の選択。
2. N1（ソース・ポリシー）： 正確な状態ベクトル・シミュレーションを用い、$n \in \{5, 10, 15, 20\}$都市に対してゼロからの学習を実施。
3. N2（厳密な転移）： 正確な状態ベクトル・シミュレーションを用い、サイズ間（例：$5 \to 10, 10 \to 15$）でのゼロショット転移およびファインチューニングを評価。
4. N3（スケーリングの境界）： 行列積状態（MPS）シミュレーション、ノイジーなMPS（IBMノイズモデル）、および高ボンド次元スイープを用いて、最大$n=100$までのサイズへの拡張を行い、シミュレーションの忠実度の限界を特性化。
5. N4（ハードウェア実行）： 学習されたポリシーをQuantinuumのトラップイオン・ハードウェア（H2-2, Helios-1）およびエミュレータで実行し、続いて、2つの量子技術と4つのベンダーにわたる5つのデバイス（Quantinuum, IBM, Rigetti, IQM）を用いたクロスプラットフォーム・キャンペーンを実施。

理論的枠組み

本論文は、サイズ$n$での学習に基づいた、ターゲットサイズ$m$における期待パフォーマンス$P_m(\theta^*_n)$に関する**条件付き診断的転移境界（conditional diagnostic transfer bound）**を導出している。この境界は、パフォーマンスの低下を以下の要素に分解する：

• ソースの汎化（Source Generalization）： 実験的なソース・パフォーマンスと真のパフォーマンスの間のギャップを制御する項 $G^{roll}_n(\delta)$。
• 転移ペナルティ（$D_{n \to m}$）： 以下の総和：
  • パラメトリック・ミスマッチ： パラメータの$\ell_1$ノルムおよび相対的なサイズ跳躍率$(m-n)/m$に比例して線形にスケールする。
  • 構造的滑らかさ： グラフサイズ間のポリシーの滑らかさを表す項 $\Psi(n, m)$（Beardwood–Halton–Hammersleyのスケーリングに基づく$\sqrt{m} - \sqrt{n}$としてモデル化）。

著者らは、この境界は診断的かつワーストケースのものであり、数値的なギャップを高精度に予測するためではなく、スケーリング構造を特定することを意図していることを明記している。また、研究対象である特定のEQCアーキテクタ（モデルB）は、リー代数的手法（モデルA）によって古典的にシミュレート可能であることを指摘しており、このシミュラビリティを「測定器（グラウンドトゥルース）」として使用しており、量子優位性を主張しているわけではない。

主な結果

1. 検証されたイン・レジーム転移

検証されたレジーム内（例：$5 \to 10$のような小さなサイズ跳躍）では、ゼロショット転移はすべての6つの完了した評価において、ターゲットサイズでの学習を上回った。$5 \to 10$の転移は平均最適性ギャップ**5.07%**を達成し、スクラッチから学習したベースラインを上回った。これは、サイズ跳躍が緩やかな場合、EQCがスケールを超えて汎化する構造的知見をエンコードしていることを示唆している。

2. スケーラビリティに対する3つの独立した障壁

検証されたレジームを超えると、高密度な全結合（all-to-all）EQCアーキテクチャのスケールを妨げる3つの明確な障壁が現れる：

• 障壁 B1：バックエンド起因の信号消失（シミュレーション／切り捨て）

  • 観察： MPSシミュレーションにおいて、ボンド次元$\chi=64$（多くの研究で標準的）を用いると、$n=20$において壊滅的な失敗（平均ギャップ85.22%）を引き起こす。これは、同サイズ転移の場合でも発生する。
  • 原因： 全結合のエンタングルメント構造がエンタングルメントの増大を生み出し、低ボンド次元による近似を無効にする。切り捨て誤差が信号の大きさ（$\langle Z_i Z_j \rangle$）を超え、貪欲なアクションのランキングを破壊する。
  • 閾値： 信頼できるポリシーレベルの精度には$\chi \ge 256$が必要であるが、これは大規模な$n$に対して計算量的に困難である。

• 障壁 B2：クロスサイズ転移の劣化（大きな跳躍）

  • 観察： サイズ跳躍 $|m-n|$ が大きくなるにつれ（例：$5 \to 20$ではギャップが約12〜18%に上昇）、パフォーマンスは滑らかではあるが大幅に低下する。
  • 原因： これは理論的な転移境界と一致しており、パラメトリック・ミスマッチと構造的変化によって引き起こされる。ファインチューニングによって一部の性能を回復できる（例：$15 \to 20$のギャップはファインチューニングにより13.9%から10.6%に低下）ものの、ゼロショット転移単独では大きな跳躍には不十分である。

• 障壁 B3：有限ショット実行ペナルティ（ハードウェア）

  • 観察： ハードウェア上では、ギャップは状態ベクトル（~5%）から、ノイズレス・エミュレータ（4096ショット時で31.3%）、および実際のハードウェア（45.3%）へと膨張する。
  • 原因： アクションの余剰（候補となるQ値の差）が、ショットノイズの床（$1/\sqrt{N_s}$）を下回っている。4096ショットにおいて、ノイズフロアは約0.016であるが、平均アクション・マージンは約0.006である。その結果、貪欲な決定が統計的に解決不能となっている（40の決定のうち37個で$z < 2$であった）。
  • クロスプラットフォームによる確認： 5つのデバイス（Quantinuum, IBM, Rigetti, IQM）を用いたキャンペーンにより、このペナルティがショット予算ではなく、ネイティブな2量子ビットゲート数とエラー緩和によって決定されていることが確認された。
    • トラップイオン（全結合、45ゲート）：45.3%のギャップ。
    • 超伝導（ルーティングあり、153–172ゲート、未緩和）：108–125%のギャップ（事実上のランダムなツアー）。
    • 超伝導（緩和済み、172ゲート）：67.8%のギャップ。
  • 結論： シグナル・トゥ・ノイズ比が、ゲート起因のバイアスと低密度な観測量ファミリーの低いエッジコントラストによって根本的に制限されているため、単にショット数を増やしてもこの問題は解決しない。

意義と主張

著者らは、計算上の量子優位性については一切主張していない。研究対象となったEQCアーキテクチャは古典的にシミュレート可能である。むしろ、本論文の意義は以下の点にある：

1. 診断的標準の確立： QRLにおけるクロスサイズ転移を評価するための、再現可能でプロトコルが一致した方法論を提供し、転移挙動をシミュレータやハードウェアのアーティファクトから分離したこと。
2. アーキテクチャ上の障害の特定： 標準的な高密度全結合EQCアンザッツが、その結合性に起因する3つの根本的な障壁（B1, B2, B3）に直面していることを示したこと。全結合トポロジーは、効率的なテンソルネットワーク・シミュレーションを無効にし（B1）、転移ペナルティを悪化させ（B2）、現在のハードウェア上で解決できないほど小さなアクション・マージンを生み出す（B3）。
3. 今後の方向性の提示： これらの結果は、ショット予算の増加やエラー緩和だけに頼るのではなく、これら3つの障壁すべてを同時に緩和するための、疎な（sparse）等変回路設計が必要であることを示唆している。

本論文は、EQCは転移のための有望な帰納バイアスを提供するものの、現在の高密度な実装は、アーキテクチャの変更なしには既存のハードウェア上で産業的に重要なサイズへとスケールさせることはできないと結論付けている。