テクニカルサマリー：ガウス過程回帰のための能動的量子カーネル獲得（AQKA）

問題提起

量子カーネル法は、古典的には計算困難とされる特徴空間へのアクセスを提供しますが、その実用的な展開は、限られた「ショット予算（shot budget）」によって制約されます。量子カーネル推定において、グラム行列の各エントリー $K_{ij}$ は、有限回の回路実行（ショット）を介して推定されるベルヌーイ期待値です。その結果生じる推定ノイズは、$\text{Var}(\hat{K}_{ij}) = K_{ij}(1-K_{ij})/s_{ij}$ とスケールします。

近年の研究では、タスクの感度に基づいた非一様なショット割り当てが、量子カーネル分類（例：KRR、SVM）の性能を向上させることが示されていますが、これがガウス過程（GP）回帰にも転用できるかどうかは依然として不明です。GP回帰は、分類とは異なる課題を提示します。分類は予測値の符号に依存するため（スケーリングに対して頑健）、予測平均、分散、および周辺尤度を決定するために、逆カーネル行列 $(K + \sigma_n^2 I)^{-1}$ の全スペクトルに依存するGP回帰とは異なります。その結果、カーネルノイズは条件数 $1/\sigma_n^4$ に比例する係数で増幅されます。分類で機能するナイーブな感度駆動型の割り当ては、初期の「ウォームアップ」段階のカーネル推定がノイズに支配されすぎている場合、敏感なペアを確実に特定できず、壊滅的な失敗を招くリスクがあります。

手法：AQKA-GP

著者らは、ネイマン型の最小分散割り当てフレームワークをGP回帰へと拡張したAQKA-GP（Active Quantum Kernel Acquisition for Gaussian Process Regression）を提案しています。この手法は以下の3つのステージで動作します。

1. 高フロア・カバレッジ（High-Floor Coverage）： ノイズの多い感度推定への過度な集中による壊滅的な失敗を防ぐため、アルゴリズムは全カーネルペアに対して一様にサンプリングするために、総予算 $B$ の一部 $\rho$（0.5に設定）を確保します。これにより、すべてのエントリーが最小限のショットを受け取ることが保証され、グラム行列に未観測のエントリーが含まれて事前平均（0.5）にデフォルト値が設定されることを防ぎます。これは行列の逆行列を不安定化させる要因となります。
2. 感度重み付き割り当て： 残りの予算は、導出されたペアレベルの感度に基づいて非一様に割り当てられます。著者らは、それぞれ異なるダウンストリームの目的関数に対応する3つの閉形式の感度を導出しています。
   • 予測結合（Predictive Coupling, $|\alpha_i \alpha_j|$）： テストRMSEの最小化のために導出されました。これは、$\alpha = (K + \sigma_n^2 I)^{-1}y$ のもとでの、予測MSE目的関数に対する厳密なネイマン重みのランク1の特殊化です。
   • 周辺尤度勾配（Marginal-Likelihood Gradient）： ハイパーパラメータ学習のために導出されました。感度は、与えられた $-\log$ 周辺尤度に関する $K_{ij}$ の厳密な偏微分であり、$\frac{1}{2}[A^{-1}]_{ij} - \frac{1}{2}\alpha_i \alpha_j$ で表されます。
   • Leave-One-Out (LOO) 残差： 予測キャリブレーションのために導出されました。この感度は、一方の端点が大きなLOO残差を持ち、かつ $A^{-1}$ を通じて隣接点と密接に結合しているペアを強調します。
3. 推論時のジッター（Inference-Time Jitter）： $\hat{K}$ がショットノイズを含む場合の事後分布の不良条件（ill-conditioning）に対処するため、手法は観測ノイズ $\sigma_n^2$ を、校正されたジッター項 $j \propto \sqrt{n} \cdot \sqrt{\hat{K}(1-\hat{K})/s}$ によって膨張させます。このスケーリングは、事後分布が安定し続けることを保証するためのウィグナー型の行列集中不等式に基づいています。

このフレームワークは、疎な誘導点GP（VFE, SVGP, FITC）およびディープGPにも拡張されており、そこでは感度が特定の低ランク結合構造に適応されます。

主な貢献

1. GP特有の感度の導出： 本論文は、先行研究で使用されている分類特有の勾配を超え、GP回帰のための3つの閉形式のペアレベルの感度を提供します。これらの感度は、カーネルの不確実性が予測平均、分散、および尤度にどのように伝播するかを捉えています。
2. 「高フロア」失敗モードの特定： 著者らは、GP回帰が感度推定における「ウォームアップ」ノイズに対して特異的に敏感であることを特定しました。彼らは、分類において十分な低いフロア（$\rho \le 0.2$）に対し、ロバスト性を回復するためには高い一様カバレッジフロア（$\rho \approx 0.5$）が必要であることを証明しています。
3. 理論的正当化： 提案された感度は恣意的なサロゲートではなく、特定の推定誤差目的（予測MSE、周辺尤度、LOO）に対する厳密な派生、または厳密なネイマン重みのランク1の特殊化であることを確立しています。
4. 実証的検証： 広範な実験により、AQKA-GPが中程度の予算領域において一様割り当てに対して一貫した改善をもたらすことが示されました。

実験結果

著者らは、4つのUCI回帰ベンチマークと2つの合成設定（高密度GP事前分布および植え付けられたスパースデータ、$n_{tr}=200$）を用いてAQKA-GPを評価しました。

• 性能向上： 中程度の予算領域（ペアあたり50〜250ショット）において、AQKA-GPは一様割り当てと比較してテストRMSEを10〜21%削減します。この利得は、スペクトル減衰によって均質なカーネルであっても予測の不均一性が生じる、高密度データにおいて最も顕著になります。
• 堅牢性： 高フロア戦略（$\rho=0.5$）は、$\rho$ が小さい場合に低予算下で見られる壊滅的な失敗を効果的に排除しています。
• ダウンストリームタスクへの波及効果： 得られた利得は以下に転移します：
  • ベイズ求積法（Bayesian Quadrature）： 積分誤差を37%削減。
  • ヘテロスケダスティック回帰： RMSEを19〜29%改善。
  • ハイパーパラメータ学習： 真のカーネル帯域幅へのギャップを65%削減。
  • マルチ出力コクリギング（Multi-output Cokriging）： 4%の改善。
• 量子カーネル：
  • 量子自然データを用いた純粋な ZZおよびPauli-Z量子カーネル において、本手法は低予算（$p < 0.05$）で13〜15%のRMSE改善をもたらします。
  • UCI特徴量をZZカーネルに埋め込んだ場合、この利得は消失します。著者らはこれを「指数集中領域（exponential-concentration regime）」のせいであると考えています。この領域では、カーネル値が一定の平均値付近にクラスター化するため、ショット割り当てが活用すべき不均一性が失われます。
• 疎なGP： 本手法は疎なVFE GPにも拡張可能であり、オーラクル・フロアとの差を約40%縮めますが、疎な近似による平滑化効果のため、絶対的な利得は小さくなります。

意義と主張

本論文は、AQKA-GPが量子カーネルの能動的獲得の原理を、分類よりも要求の厳しい回帰の設定へと成功裏に拡張したことを主張しています。その意義は以下の点にあります：

• 逆行列による増幅への対処： 逆行列の全スペクトルへの依存により、GP回帰が分類よりも深刻にカーネルノイズを増幅するという事実を明示的に考慮しています。
• 堅牢なプロトコルの提供： 高い一様カバレッジフロアが、ショットノイズ下での安定したGP回帰において、分類には存在しない必要条件であることを確立しています。
• タスク特化型の最適化： 異なるダウンストリームタスク（予測 vs 尤度推定）には、異なる理論的根拠を持つ感度指標が必要であることを示しています。

著者らは、本手法の範囲について謙虚な姿勢を保っています。具体的には、本手法はカーネルが十分な不均一性を示す領域（すなわち、指数集中領域の外側）で最も効果的であると述べています。また、手法が、基礎となるデータ・特徴量マップの組み合わせに（UCI-ZZの研究で見られたような）必要な構造が欠けているタスクを魔法のように改善するものではないこと、および特定のジッター定数は理論的に導出されたものではなく、経験的に校正されたものであることを明記しています。