Image classification via a quantum-inspired strategy involving a mixture of experts

技術要約：量子に着想を得た混合エキスパートによる画像分類

問題提起
物理的な画像処理におけるパターン認識では、ストレージや処理時間が制約されている中で、膨大なデータセットから関連する特徴量を抽出することがしばしば求められます。標準的な畳み込みニューラルネットワーク（CNN）は、データのダウンサンプリングを行うために、拡散ベースの平滑化（smearing）とブロック単位のプーリングを用いてこれに対処します。しかし、これらの古典的なメカニズムは本質的に情報を損失するものであり、計算複雑性を軽減するために微細な構造的詳細を劣化させてしまいます。量子アルゴリズムは効率性の向上という潜在的な利点を提供しますが、その大きな優位性は通常、真の量子データ入力が必要となります。本研究は、標準的な画像データセットに対する特徴抽出と分類の効率を向上させるために、ダウンサンプリング過程における情報損失を最小限に抑えるハイブリッドな古典・量子フレームワークを提案することで、この課題に対処します。

手法
著者らは、標準的なCNNの特定のコンポーネントを量子に着想を得たサブルーチンで置き換え、その後に最終分類のための古典的な全結合ニューラルネットワーク（FCL）を配置したハイブリッドシステムとして実装される、**量子混合エキスパート（Quantum Mixture of Experts: QMoE）**フレームワークを提案しています。この手法は、以下の5つの主要な段階で構成されます。

1. 状態エンコーディング（State Encoding）:

   • 入力画像（MNISTおよびFashion-MNIST、元は28×28）は、32×32にパディングされ、バイナリ値（$c_{x,y} = \pm 1$）に閾値処理されます。
   • 画像は、**振幅エンコーディング（amplitude encoding）**を用いて10量子ビットの量子状態に埋め込まれます：$|\psi\rangle = \frac{1}{32} \sum c_{x,y} |x, y\rangle$。これにより、空間的なリソース要件が指数関数的に削減され、後続の操作が生のピクセルではなく、エンコードされた状態に対して作用することを可能にします。

2. 畳み込み平滑化（Unitary vs. Diffusion）:

   • 古典的ベースライン: 反復的な拡散のために離散ラプラシアン演算子を使用します：$X^{t+1}_{i,j} = (1-\alpha)X^t_{i,j} + \frac{\alpha}{4}\sum X^t_{neighbors}$。これは情報の損失を伴うプロセスです。
   • 量子戦略: 拡散を**非損失的なユニタリ平滑化（non-lossy unitary smearing）**に置き換えます。画像のグリッドは偶数集合と奇数集合（チェッカーボードパターン）に分割されます。局所的なユニタリ演算子（$U_o, U_e$）は、パウリ行列から導出されたハミルトニアンブロックを用いて、素な正方形の角における振幅を混合します。この混合は、学習中に最適化されるパラメータ $s = \sin \theta$ によって制御されます。

3. 混合エキスパート（Mixture of Experts: MoE）:

   • 複数の「エキスパート」は、ユニタリ平滑化に使用される異なるパラメータ値（$\theta_i$）によって定義されます。
   • 独立戦略: 各エキスパートが画像を処理し、予測は多数決によって統合されます。
   • 共同戦略: すべてのエキスパートによって抽出された特徴量は結合（concatenation）され、分類器によって一括して処理されます。本論文ではこの共同アプローチを強調しています。

4. ブロック単位のプーリング（Stabilizer Codes）:

   • 古典的ベースライン: 3×3のウィンドウの加重平均によって、画像の解像度を減少させます（32×32 $\to$ 16×16 $\to$ 8×8 $\to$ 4×4）。
   • 量子戦略: **[[5,1,3]] 完全非退化スタビライザー符号（perfect nondegenerate stabilizer code）**を利用します。ピクセル座標は軸ごとに5量子ビットにエンコードされているため、この符号はシンドローム（可換な生成子の期待値）を抽出し、軸あたり16個の異なる特徴量を生み出します。これは、不可逆的なダウンサンプリングを、特定の構造的情報を保持する決定論的なシンドローム抽出に置き換えるものです。

5. 分類（Classification）:

   • 抽出された特徴量（エキスパートおよびレイヤーあたりの16個の特徴量）は、ファンネル構造（512 $\to$ 256 $\to$ 128 $\to$ 10）を持つ標準的な全結合ニューラルネットワーク（FCL）に供給されます。
   • システムは、GPUワークステーション上のPyTorchを用い、ラベルスムージングを含むCrossEntropyLossとAdamオプティマイザを使用して学習されます。

主な貢献

• ハイブリッドフレームワーク: 本論文は、古典的な拡散がユニタリ畳み込みに置き換えられ、古典的なプーリングが量子スタビライザー符号のシンドローム抽出に置き換えられた特定のアーキテクチャを導入しています。
• 混合エキスパート: 異なる平滑化パラメータ（各エキスパート）を用いた共同意思決定プロセスが、独立したエキスパートの投票や単一エキスパートの古典的ベースラインよりも大幅に優れた性能を示すことを実証しています。
• 効率的な特徴抽出: 振幅エンコーディングとスタビライザー符号を活用することで、入力次元を784ピクセルから16個の特徴量（MoEの場合は $16 \times N_{exp} \times N_{lyr}$）へと削減しつつ、古典的な損失を伴うダウンサンプリングよりも多くの関連情報を保持します。
• 実用的な実装: アルゴリズムは完全に古典的なGPUハードウェア上で「量子に着想を得た」アプローチ（量子状態をシミュレートするテンソル演算）として実装されており、実際の量子ハードウェアを必要とせずに即座に展開可能です。

結果
本フレームワークは、MNISTおよびFashion-MNISTデータセットを用いて、古典的な拡散ベースラインと比較検証されました。

• MNISTデータセット:
  • 古典的ベースライン（最適な $\alpha=1.$\alpha=1.5$）は 95.02% のテスト精度を達成しました。
  • 量子共同エキスパート戦略（16エキスパート、16レイヤー）は 97.63% のテスト精度を達成しました。
  • これは、古典的手法と比較して失敗率が約半分に減少したことを示しています。
• Fashion-MNISTデータセット:
  • 形状の曖昧性が高いため、古典的ベースラインは 76.80% でピークに達しました。
  • 量子共同エキスパート戦略（18エキスパート、16レイヤー）は 86.20% を達成しました。
  • ここでも、失敗率はおよそ半分に減少しました。
• 計算オーバーヘッド: 共同エキスパート量子着想モデルの1エポックあたりの時間は、古典的ベースラインと比較して緩やかな増加にとどまり、このアプローチが現在のGPUワークステーションにおいて計算上実用的であることを示しています。

意義と主張
本論文は、提案された量子に着想を得た戦略が、特にFashion-MNISTのような複雑な構造的特徴を持つデータセットにおいて、画像分類タスクにおける明確な優位性を提供すると主張しています。主な意義は、以下の点にあります。

1. ユニタリ畳み込みは、損失を伴う古典的な拡散よりも多くの画像情報を保持すること。
2. スタビライザー符号に基づくシンドローム抽出は、標準的なプーリングを凌駕する堅牢な特徴削減手法を提供すること。
3. 共同エキスパート分析は、独立した分析よりも多くの関連する特徴を抽出することであり、これは「混合エキスパート」のアプローチがこの量子着想の文脈において有効であることを裏付けています。

著者らは、現在の実装は古典的（シミュレーション）ではあるものの、フレームワークは（付録に詳述されている通り）量子プロセッサ上で実行可能となるよう設計されており、将来の機械学習タスクに向けたハイブリッド古典・量子プロセッサへの実行可能な道筋を示唆していると結論付けています。彼らは控えめに、この戦略はすべての古典的手法に取って代わるものではなく、適度なオーバーヘッドを伴う既存の古典的スキームに対する実用的な代替案であると述べています。