Benign Overfitting with Quantum Kernels

技術要約：量子カーネルにおける良性過学習（Benign Overfitting）

問題提起
量子カーネル法は、パラメータ化された量子回路（PQC）を介して古典データを高次元のヒルベルト空間へとエンコードすることで、量子優位性への潜在的な経路を提供します。しかし、ある重大な課題がその実用性を阻んでいます。それが「指数関数的な集中（exponential concentration）」という現象です。量子ビット数が増加するにつれ、高度に表現力豊かな量子カーネル（標準的な量子忠実度カーネルなど）はゼロ付近に集中する傾向があり、その結果、カーネル行列が単位行列に近づいてしまいます。これは「スパイク状」の挙動を引き起こし、モデルが意味のあるデータの相関を捉えられなくなることを意味します。これにより、訓練データを補間しているにもかかわらず、汎化性能が低下するという問題が生じます。これらの集中現象を緩和するために、帯域幅のチューニングや次元削減といった正則化手法が提案されてきましたが、これらはしばしば集中現象を単なる欠点としてのみ扱い、活用すべき特徴として捉えていません。

手法
著者らは、「良性過学習（benign overfitting）」および「スパイク・スムース（spiky-smooth）」カーネル分解の概念に着想を得た、**ローカル・グローバル量子カーネル（Local-Global Quantum Kernels）**と呼ばれる新しい構成を提案しています。この核となるアイデアは、2つの異なる成分を組み合わせたカーネルを構築することです。

1. ローカル成分（Local Component）： 小さな部分系（簡約密度行列）の測定から導出されます。この成分は滑らかな構造を保持しており、異なる入力間の非自明な相関を維持し、汎化をサポートします。
2. グローバル成分（Global Component）： 全量子系の測定から導出されます。この成分は強い集中効果を示し、訓練データを補間するための狭い「スパイク」を作り出します。

提案されるカーネルは、以下の加重和として定義されます：
$$k_{LG}(x, z) = \lambda_L k_L(x, z) + \lambda_G k_G(x, z)$$
ここで、$k_L$ はローカルカーネル、$k_G$ はグローバルカーネルです。

理論的解析を容易にするため、著者らは**分離可能なグローバルエンコーディング（Separable Global Encoding）**スキームを導入しています。この設定では、全量子ビット数 $t$ は部分系のサイズ $s$ の倍数（$t = q \cdot s$）となります。エンコーディング・ユニタリは $q$ 個のブロックに因数分解されます。このスキームの下では、グローバルカーネルはベースとなるカーネルの $q$ 乗となり（$k_G = k_B^q$）、一方でローカルカーネルはベースとなるカーネルに比例します（$k_L \propto k_B$）。結果として、カーネルは以下の形式をとります：
$$k_{LG}(x, z) = \tilde{\lambda}_L k_B(x, z) + \lambda_G k_B(x, z)^q$$
パラメータ $q$ が増加するにつれ、グローバル成分はますますスパイク状（局所的）になり、ローカル成分は滑らかなまま維持されます。

主な貢献

1. ローカル・グローバル量子カーネルの定義： 本論文は、量子カーネルを滑らかな成分とスパイク状の成分に明示的に分解するフレームワークを導入しています。これは、古典的な設定において Haasら [2023] が提案したスパイク・スムース・カーネルの量子版となっています。
2. 良性過学習の理論的証明： 著者らは、周期的な並進不変量子忠実度カーネル（具体的にはコサイン量子カーネル）のクラスに対して、ローカル・グローバルカーネルを用いたリッジレス回帰（ridgeless regression）が、ノイズを含む訓練データを正確に補間しつつ、統計的一致性を保つことを証明しました。これは、高次元量子カーネルの「スパイク状」の性質が、滑らかなローカル成分が存在する限り、汎化を損なうことなく補間を実現するために活用できることを示しています。
3. 回路実装： 本論文では、以下のローカル・グローバルカーネルの具体的な量子回路実装を提供しています：
   • $t$ 量子ビット上のローカル観測量とグローバル観測量の加重和を用いた完全量子実装。
   • $s$ 量子ビット上でベースカーネルを計算し、べき乗則を古典的に適用するハイブリッド量子・古典実装。これにより、量子リソースの要求量を大幅に削減できます。
4. 実証的検証： 合成データおよび実世界のデータセット（Airfoilデータセットなど）を用いた実験により、ローカル・グローバルカーネルが訓練データを補間しながら低いテスト誤差を維持できることが示されました。これは、ベースとなるカーネルを用いた標準的なリッジレス回帰よりも優れた性能を示し、場合によっては正則化されたリッジ回帰と同等以上の性能を発揮します。

結果

• 過学習のフェーズ図： 1次元における数値実験により、バイアス・バリアンスのトレードオフが悪い状態（小さな $q$）、破滅的な過学習（中間的な $q$）、そして訓練点から離れた場所では滑らかなまま訓練データを補間する「良性過学習」（大きな $q$）へと至る遷移が示されました。
• 一致性： 合成データにおいて、ローカル・グローバル・リッジレス推定量のテスト平均二乗誤差（MSE）は、訓練サイズが増加するにつれてノイズレベルへと収束します。これは、理論的な一致性の結果を裏付けるものです。対照的に、ベースカーネルのみを用いたリッジレス回帰は、一致性を欠くことが示されています。
• 汎化性能： ローカル・グローバルカーネルは、訓練セットを補間しながら実世界のデータに対して良好に汎化することに成功しており、ローカルな滑らかさとグローバルなスパイク状の性質の組み合わせが良性過学習を可能にするという仮説を検証しています。

意義
本論文は、量子カーネルに特化した良性過学習の最初の理論的および実証的な特性付けを行ったと主張しています。量子カーネルの指数関数的な集中を、単なる失敗モードとしてではなく、補間を実現するためのメカニズムとして再定義することで、著者らは、本質的に汎化を促進する量子カーネルの設計原理を提案しています。この研究は、帯域幅を縮小させる構成に依存していた古典的学習における良性過学習の分析を、グローバル成分のべき乗集中を利用して局所化を実現する量子設定へと拡張するものです。これらの知見は、注意深く設計された量子特徴量が、予測性能を損なうことなくデータを補間できることを示唆しており、NISQ時代における効果的な量子カーネル構築のための有望な戦略を提供しています。