Quantum Variational Activation Functions Empower Kolmogorov-Arnold Networks

技術要約：Kolmogorov-Arnold Networkを強化する量子変分活性化関数

問題提起
変分量子回路（VQC）は量子機械学習（QML）の中核をなしているが、その応用は主にデータのエンコーディングや特徴量マッピングに焦点を当てており、ニューラルアーキテクチャ内の学習可能な活性化関数として機能させることにはほとんど焦点が当てられてこなかった。対照的に、古典的なKolmogorov-Arnold Networks（KAN）は、学習可能な変分活性化関数（VAF）を用いることで、各エッジの固定された非線形性を学習可能な関数に置き換え、解釈性と精度を向上させる力を示している。しかし、既存のKANの実装はB-スプラインやフーリエ級数に依存することが多く、これらは計算コストが高かったり、高周波近似のために大量のパラメータを必要としたりする場合がある。さらに、マルチ量子ビットVQCは理論的な表現力を提供する一方で、現在のNISQ（Noisy Intermediate-Scale Quantum）時代における、2量子ビットゲートの高いエラー率、学習中のバレン・プラトー（不毛な平原）問題、および大規模なシステムに対する古典的シミュレーションの禁止的なコストといった、重大な実用的障壁に直面している。本論文は、量子回路の表現力と、KANの拡張性および解釈性を統合し、現在のハードウェアや古典的シミュレータでの実行を想定して設計されたフレームワークの必要性に対処するものである。

手法
著者らは、パラメータ化された量子回路が学習可能な活性化関数として機能する、**量子変分活性化関数（QVAF）と呼ばれる一般的なフレームワークを提案する。このフレームワークを現在の制約に対して実用的なものにするため、著者らはDatA Re-Uploading ActivatioN（DARUAN）**という特定の単一量子ビットによるインスタンス化を導入している。

• DARUANアーキテクチャ: 標準的なVQCがデータを一度だけエンコードするのに対し、DARUANはデータ再アップローディング戦略を利用する。これは、$r$個のブロックのシーケンスで構成され、各ブロックは学習可能なユニタリ演算 $W^{(\ell)}(\theta_\ell)$ と、データエンコーディング操作 $S(w_\ell x) = e^{-i w_\ell x H}$ を交互に繰り返す。決定的なのは、データのプリプロセッシング重み $w_\ell$ も学習可能である点である。出力は、通常パウリ観測量（典型的には $\sigma_z$）を単一量子ビット上で測定した期待値となる。
• QKANとHQKAN: 著者らは、DARUANをKANのトポロジーに組み込むことで、**量子インスパイア型Kolmogorov-Arnold Networks（QKAN）を構築した。QKANでは、すべてのエッジの活性化に、個別の単一量子ビットDARUAN回路が用いられる。KANのスケールアップの制限（入力/出力次元に対してパラメータが二次的にスケールする問題）に対処するため、著者らはHybrid QKAN（HQKAN）**を導入した。HQKANは、コンパクトなQKAN潜在コアを、古典的な全結合圧縮・拡張層で包み込むことで、高次元入力を効率的に処理することを可能にしている。
• レイヤー拡張: 学習の安定性と容量を最適化するために、著者らは「レイヤー拡張」戦略を採用している。モデルはまず少数の再アップローディング回数（$r$）で学習され、その後、新しいパラメータを恒等写像として初期化しながら、より大きな $r$ へと段階的に拡張される。これにより、モデルは低周波構造を最初に学習し、その後、ゼロからの再学習なしに高周波の詳細を洗練させることができる。
• 理論的分析: 本論文は、学習可能なプリプロセッシング重みを用いることで、単一量子ビットDARUANがアクセス可能な周波数スペクトルが再アップローディングの回数 $r$ に対して指数関数的に増大することを示す理論的証明を提供している（具体的には、幾何学的な重みの選択 $w_\ell = 2^{\ell-1}$ は $2^r - 1$ の帯域幅を満たす）。これは、同じ帯域幅を実現するためにパラメータを線形に増加させる必要がある古典的なフーリエベースのKANと比較して、容量レベルでのパラメータ削減を実現している。

主な貢献

1. QVAFフレームワーク: 量子回路を学習可能な活性化関数として定義し、QMLと古典的ディープラーニングを橋渡しする。
2. DARUAN: 計算効率が高く、古典的シミュレーションが可能であり、現在のNISQハードウェア上で直接実行可能な、単一量子ビットによるQVAFのインスタンス化。
3. QKANおよびHQKANアーキテクチャ: DARUANをKANに統合した新しいネットワーク設計を提供し、パラメータ効率、表現力、および汎化性能を向上させる。
4. 理論的保証: 学習可能なプリプロセッシング重みが、アクセス可能な周波数サポートの指数関数的な成長を可能にすることを証明し、古典的なフーリエベースの代替案に対するQKANのパラメータ効率の理論的根拠を示す。
5. 知識蒸留: 学習済みのQKANから古典的なKAN（B-スプラインを使用）への学習済みパラメータの転送手法を提供し、QKANが古典モデルの事前学習メカニズムとして機能することを可能にする。

実験結果
著者らは、以下の3つのドメインで彼らのアプローチを検証している。

• 関数回帰: ノイズを含む回帰タスク（Feynmanデータセット）において、QKANは古典的なKANおよびMLPと同等またはそれ以上の性能を一貫して示した。特筆すべきは、QKANが平均して約24%少ないパラメータで、同等またはより低い平方根平均二乗誤差（RMSE）を達成した点である。66個の記号的表現を用いた広範なベンチマークでは、QKANは古典的なKANよりも30%少ないパラメータを使用しながら、80%以上の式で最も低いRMSEを達成した。
• 画像分類: MNIST、CIF-10、CIF-100において、QKANおよびHQKANは競争力のあるTop-1およびTop-5精度を達成した。特にHQKANは優れたパラメータ効率を示し、CIF-100において、KANが約384kのパラメータを使用するのに対し、HQKANは約32kのパラメータで同等以上の精度を達成した。
• 生成モデリング: GPT-2に統合された場合（HQKANとして）、モデルはMLPベースラインと比較して、わずか3分の1のパラメータと30%少ないメモリを使用しながら、より低いパープレキシティと高速な収束を実現した。
• ハードウェア検証: 著者らはIBM Aachen量子プロセッサ上で推論検証を行った。高精度な回帰はショットノイズやハードウェアエラーに敏感であったが、分類タスク（CIF-10/100）においては、ショット数が少ない場合（100ショット）でも、厳密なソルバーの精度から2-3%以内の範囲で堅牢な性能を維持しており、NISQデバイス上での単一量子ビットDARUDR推論の実現可能性を実証した。

意義と主張
本論文は、QKANが「解釈可能な古典的アーキテクチャ」と「量子回路由来の構造化された活性化関数」の間の「架け橋」を代表するものであると主張している。その意義は以下の点にある。

• 実用性: 単一量子ビット回路を利用することで、バレン・プラトー問題やマルチ量子ビット・エンタングルゲートのフィデリティのボトルネックを回避しており、古典的シミュレータおよび現在の量子ハードウェアでの推論において即座に実行可能である。
• 効率性: 共有された回転パラメータを通じてフーリエ係数を構造的に結合することで、暗黙的な正則化として機能し、QKANが古典的な手法よりも少ないパラメータで高い表現力を達成することを可能にしている。
• 拡張性: HQKANアーキテクチャとレイヤー拡張戦略は、KAN固有のスケーリング課題に対処しており、大規模なモデル（LLMなど）への量子インスパイア型モジュールの適用を可能にする。
• 検証: 本研究は、QVAFコンセプトの「現在における検証」として機能する。著者らは、マルチ量子ビットのエンタングルメントを用いたQVAFがさらなる利点（例：深さの削減）を提供する可能性があることを認めつつも、現在のハードウェアの制限を考慮すると、現在の単一量子ビット設計が最も堅牢でスケーラブルな道筋であることを強調している。学習済みモデルは、推論のために直接NISQハードウェア上で実行可能であり、誤り耐性量子コンピュータが利用可能になる前であっても、特定の推論タスクにおいて量子優位性への直接的な経路を提供している。