Towards interpretable AI with quantum annealing feature selection

以下は、論文「Towards interpretable AI with quantum annealing feature selection.」の詳細な技術的概要です。

1. 問題定義

深層学習（DL）モデル、特に畳み込みニューラルネットワーク（CNN）は、重要な応用分野で広く使用されていますが、しばしば「ブラックボックス」として機能します。Grad-CAM や Grad-CAM++ などの説明可能な AI（XAI）技術は、予測に影響を与える画像領域を可視化するために存在しますが、これらは重大な限界を有しています。

• 集約: これらはすべての特徴マップ（FMs）からの寄与を単一のセーレンシーマップに結合するため、個々の FMs の特定の役割を分離できません。
• 冗長性: 冗長または相関する表現をフィルタリングしないため、意思決定を駆動する特定の学習パターンを理解することが困難です。
• 組み合わせ的複雑性: 予測を説明するための最適な FMs の部分集合を選択することは、特徴の数とともに指数関数的（$2^N$）にスケールする組み合わせ最適化問題であり、古典的な全探索では計算的に実行不可能です。

著者らは、生入力ピクセルではなく内部学習表現に適用される**特徴選択（FS）**が、XAI にとって強力だが未活用なツールであると提案しています。しかし、この FS 問題を効率的に解決するには、新しいアプローチが必要です。

2. 手法

本論文は、与えられた画像予測に対して最も関連性が高く冗長でない特徴マップを選択するための、新しい**量子アニーリング（QA）**ベースのアプローチを提案します。

A. 特徴マップフィルタリング

1. 勾配解析: 著者らは、最終畳み込み層の特徴マップ（$f^{(a)}_{ij}$）に関する勾配のグローバル平均プーリングを計算します。
   $$\alpha_a = \frac{1}{H_f W_f} \sum_{i,j} \frac{\partial z}{\partial f^{(a)}_{ij}}$$
   ここで、$\alpha_a$は特徴マップ $a$ の重要性を表します。
2. 正の選択: 予測クラスを裏付ける正の勾配寄与（$\alpha_a > 0$）を持つ特徴マップのみを保持し、フィルタリングされた集合 $\{\tilde{f}\}$ を作成します。

B. QUBO 定式化

選択問題は、**二次制約なし二値最適化（QUBO）**問題（または同等のイジングモデル）に符号化されます。

• 変数: 二値変数（量子ビット）は、各フィルタリングされた特徴マップの含め（1）または除外（0）を表します。
• 目的関数（ハミルトニアン）: 選択されたマップの重要性を最大化しつつ、冗長性（幾何学的類似性）を最小化することを目的とします。
  $$\hat{H}_{QUBO} = (1 - \beta) \frac{1}{2} \sum_{p,q} J_{pq} \hat{n}_p \hat{n}_q + \beta \sum_{p} h_p \hat{n}_p$$
  • 線形項（$h_p$）: 特徴マップ $p$ の正規化された重要性（$\alpha_p$から導出）を表します。
  • 二次項（$J_{pq}$）: 特徴マップ $p$ と $q$ 間の絶対コサイン類似度を表します。高い類似性は冗長性を意味し、この項は両方を選択することを罰則付けします。
  • ハイパーパラメータ（$\beta$）: 高重要性の特徴の選択と冗長性の最小化の間のトレードオフを制御します。

C. 量子アニーリングプロトコル

• 初期化: システムは、すべての可能な特徴部分集合の重ね合わせ（ドライバハミルトニアン $\hat{H}_D = -\sum \hat{\sigma}_x$ の基底状態）から開始されます。
• 進化: システムは、時間依存ハミルトニアン $\hat{H}(s) = A(s)\hat{H}_D + B(s)\hat{H}_{QUBO}$ を介して進化します。ここで、$s$ は 0 から 1 まで変化します。
• サンプリング: 最終状態をサンプリングして、特徴マップの最適な部分集合を表すビット列を取得します。この部分集合が「説明マップ」を構成します。

3. 主な貢献

1. 新しい XAI フレームワーク: CNN の入力ピクセルではなく、内部特徴マップ（潜在表現）を選択するために量子アニーリングを適用した最初の事例です。
2. 分離: すべてを集約する Grad-CAM と異なり、この手法はスパースで冗長性の少ない FMs の部分集合を分離し、モデルが使用する特定のパターンをより明確に示します。
3. 物理学駆動型分析: 著者らは、最小エネルギーギャップ（$\Delta_{min}$）や忠実度などの量子物理学指標を用いてアルゴリズムの計算挙動を分析し、なぜこの手法が機能し、そのスケーラビリティの限界がどこにあるのかを説明しています。
4. ハイブリッドアプローチ: この研究は、NISQ（ノイズあり中規模量子）の概念をシミュレートして、古典的なヒューリスティックでは困難な高次元 FS 問題を解決する方法を実証しています。

4. 結果

この手法は、ResNet-18アーキテクチャを用いたSTL-10 データセットで評価されました。

• クラス分離:
  • 著者らは、Bhattacharyya 係数を用いてクラス間相関マップを生成しました。
  • QA ベースの手法（$N_f=16$）は、完全な ResNet-18 モデルと比較して、著しく優れた分離（より対角行列に近い）を示しました。これは、選択された FMs が個々のクラスに対してより特異的であることを示しています。
• 定量的性能（平均低下率 %）:
  • 指標: 「平均低下率 %」は、説明マップに含まれていないピクセルがマスクされたときにモデルの信頼度がどの程度低下するかを測定します。低下率が低いほど、優れた説明（マップに重要な情報が含まれている）を意味します。
  • 発見: 縮小された特徴集合（$N_f=16$）を使用した場合、QA-fGradCAM手法は、ほとんどのクラスにおいて Grad-CAM および Grad-CAM++ よりも低い平均低下率 %（優れた性能）を達成しました。
  • スケーラビリティに関する注記: シミュレーテッド・アニーリング（SA）を使用して完全な ResNet-18（$N_f=512$）にスケールした場合、性能は低下しました。著者らは、これをより大きな QUBO インスタンスにおける大域的最適解の発見の難しさと、$\beta$ の慎重な調整なしに冗長性項による特徴の過度な抑制に起因すると帰結しています。
• 物理的解析:
  • エネルギーギャップ: 最小エネルギーギャップ（$\Delta_{min}$）は比較的大きい（約 $10^{-1}$）ことが判明しました。これは、問題のランドスケープが Sherrington-Kirkpatrick モデルの「最も困難な」インスタンスではなく、処理可能であることを示唆しています。
  • 忠実度: アニーリング時間 $\tau > 50$ において、アルゴリズムは高い忠実度（基底状態への収束）を達成し、プロトコルの堅牢性を確認しました。

5. 意義と結論

• 解釈可能性: この手法は、粗いヒートマップを超えて、意思決定に責任を負う特定の冗長性のないフィルタを特定することで、DL モデルの透明性を高めます。
• 量子優位性の可能性: 現在のハードウェアは限られていますが、本研究は、XAI を QUBO 問題として定式化することで、指数関数的に大きな解空間を効率的に探索できることを実証しています。将来的な量子ハードウェアは、これらの解釈可能性の問題を、古典的なヒューリスティックよりも速く、より正確に解決できる可能性を示唆しています。
• 将来の方向性: 著者らは、ハイパーパラメータ $\beta$ の調整と、おそらく基数制約の追加が、さらに結果を改善できると提案しています。このフレームワークはアーキテクチャに依存せず、Vision Transformers などの他のアーキテクチャや生成モデルにも適用可能です。

要約すると、本論文は量子コンピューティングと説明可能な AIの間の溝を埋め、量子アニーリングが深層ネットワークにおける特徴選択の組み合わせ問題を効果的に解決し、より明確で信頼性が高く解釈可能なモデル説明をもたらすことを実証しています。