技術要約：視覚と言語の好みの学習を通じた説明可能な概念生成

問題提起

深層ニューラルネットワーク（DNN）の内部表現を理解することは、モデルの改善や規制上の評価において極めて重要である。TCAV（Testing with Concept Activation Vectors）のような概念ベースの説明手法は、高レベルな視覚的概念（例：「縞模様」）をモデルの決定に結びつけることで、人間が解釈可能な洞察を提供するが、大きなボトルネックを抱えている。それは手動による概念のキュレーションである。

既存の手法では、実務家が候補となる概念画像セットを手動で推測し、収集する必要がある。このプロセスは労力がかかる上に、重要な概念を見落とす可能性があり、人間の認知バイアスに制限される。さらに、テスト画像から直接概念を抽出する（例：セグメンテーションを介した）代替的な「検索」手法は、高レベルな抽象化を捉えることに失敗することが多く、ターゲットとなるクラスのパッチ（例：ゼブラの体の一部）を生成する傾向があり、分類を駆動する根本的な特徴（例：縞模様）を捉えることができない。特定のDNNの意思決定プロセスにおいて真に重要な、多様で高レベルな概念を、人間の介入なしに自動的に生成できる手法が不足している。

手法：強化学習に基づく好みの最適化（RLPO）

著者らは、概念セットの作成を画像生成問題として再定義するフレームワークであるRLPOを提案する。概念を検索したり手動でキュレーションしたりするのではなく、RLPOは、TCAVスコアを最大化するように深層強化学習によって導かれた生成モデルを使用して、概念画像を合成する。

コアコンポーネント

1. 生成モデル（Stable Diffusion）： システムは、テキストプロンプトに基づいて概念画像を生成するために、学習済みテキスト・トゥ・イメージ・モデル（Stable Diffusion v1-5）を利用する。
2. 深層強化学習（DQN）： 深層Qネットワーク（DQN）が生成プロセスを制御する。
   • 行動 ($a_t$): 事前に定義されたリスト（Vision-Question Answeringモデルを介して抽出）からシードプロンプトを選択する。
   • 状態 ($s_t$): 前のプロンプトから生成された好ましい概念画像。
   • 報酬 ($r_t$): 生成された画像のTCAVスコアに基づいて算出される。
3. 好みの最適化（RLPO）： 人間のランキングに依存する標準的な好みの最適化とは異なり、RLPOはTCAVスコアを好みの信号として使用する。システムは2つの生成画像グループ（$G_1$ と $G_2$）を比較し、より高いTCAVスコアを持つグループを好ましいものとする。
4. LoRAによる微調整： 生成モデルをより関連性の高い概念へと導くために、システムは低ランク適応（LoRA）を採用する。これは、好みのフィードバックに基づいてStable Diffusionモデルの重みを更新（$w_{t+1} \leftarrow w_t + \lambda ab$）し、特定のニューラルネットワークの活性化を誘発する画像を生成するように反復的にモデルを洗練させる。
5. 動的報酬スケーリング： スケーリング因子 $\xi_t$ が導入され、エージェントが「プロキシ状態」（低TCAV）から「説明可能な状態」（高TCAV）へと進展するにつれて、適切なフィードバックを受け取れるよう報酬を調整する。

主な貢献

1. 自動化された概念生成： 本論文は、概念の選択における人間の直感への依存を回避し、ニューラルネットワークの決定プロセスに関連する概念を自動的に「生成」する手法であるRLPOを導入した。
2. 非直観的な概念の発見： この手法は、人間や検索ベースの手法では予測が困難な多様な概念（例：ゼブラの分類器にとって、単なる「縞模様」だけでなく、「泥」や「走っている」木々のような背景要素）を特定することに成功した。
3. 包括的な検証： 著者らは、RLPOが内部ネットワーク表現を効果的に明らかにすることを、定性的および定量的証拠（計算指標および人間による調査）の両面から提示している。
   4.も組性と汎用性：本フレームワークはモジュール設計となっており、生成モデルなどのコンポーネントを入れ替えることが可能である。著者らは、コンピュータビジョンを超えて、NLPの感情分析タスクへの適用可能性も示している。

実験結果

本手法は、ImageNetで学習された複数の分類器（GoogleNet, InceptionV3, ViT, Swin）、CelebAデータセットのResNet-18、およびIMDBのTextCNNを用いて評価された。

• 探索戦略： RLPOは$\epsilon$-greedy探索戦略よりも優れた性能を示し、より高いエントロピーと行動空間のより良い探索を実現した（表1）。
• スコアリングメカニズム： 好みのフィードバックとしてTCAVを使用する手法（RLPO-XAIF）は、実行時間と計算コストの面で人間によるフィードバック（RLPO-HF）やAIによるフィードバック（RLPO-AIF）よりも優れており、かつモデル固有の説明を提供した（表2）。
• 概念の多様性と新規性：
  • 探索ギャップ（EG）： 人間による調査では、人間が特定できる概念とRLPOが生成した概念の間に大きな隔たりがあることが明らかになった。一般の人々にとって、検索ベースの手法におけるEGは6.54%であったのに対し、RLPOでは91.54%であり、RLPOが人間が通常考慮しない概念を見つけ出すことを示している（表3）。
  • 多様性： 生成された概念は、検索ベースの手法と比較してコサイン類似性が低く、ユークリッド距離が高かった。これは、それらが画像パッチではなく、抽象的な特徴を表していることを裏付けている（表4）。
• 検証：
  • C-Deletion： 生成された概念（例：「縞模様」）を入力画像から除去すると、モデルの精度が大幅に低下し、その重要性が検証された（図6）。
  • エンジニアの有用性： 19名の機械学習エンジニアを対象とした調査では、94.7%がRLPOによる説明がモデルの理解に役立つと同意し、84.2%が新しい洞察を得たと回答した。エンジニアは、RLPOが重要であると特定した概念（「走っている」や「泥」など）を見落とすことが多かった。
• バイアス検出： 「ブロンド」対「ブロンドではない」の分類器に適用したところ、RLPOはモデルが「女性の顔」という概念に強く依存していることを明らかにし、訓練データにおけるジェンダーバイアスを浮き彫りにした。
• NLPへの汎用性： フレームワークは感情分析のための単語の類義語を生成するように正常に適合され、クロスドメインの適用可能性を示した。

意義と主張

本論文は、RLPOが現在の概念ベースのXAI手法の根本的な限界である「概念選択における人間の直感への依存」に対処すると主張している。概念作成を強化学習によって最適化された生成問題として構成することで、著者らは、ニューラルネットワークの決定を駆動する多様で高レベルな概念を自動的に言語化することが可能であることを示した。

著者らは、本研究を以下のためのツールとして位置づけている：

1. モデルの改善： エンジニアは、生成された概念（例：モデルがトラの背景にある「ぼやけた」テクスチャに注目していることを特定するなど）を使用して、モデルを微調整し、不適切な相関への依存を減らすことができる。
2. バイアスの理解： この手法は、人間の観察者には明らかではない、訓練中に学習された望ましくないバイアスを明らかにすることができる。
3. 汎用性： このアプローチはビジョンに限定されず、NLPのような他のモダリティにも適応できる。

著者らは、生成される概念の質は初期のシードプロンプトや生成モデルの事前学習データに依存し、それが独自のバイアスをもたらす可能性があることを認め、限界についても言及している。今後の課題として、生成された説明を特定のアプリケーションのニーズにより適合させるために、ドメインエキスパートの好みを統合することなどが挙げられている。