技術概要：OCCAM – 黒箱ビジョンモデルのためのオープンセット因果概念説明とオントロジー誘導

問題定義

深層画像分類器は人間に近い性能を達成しているが、その意思決定プロセスは不透明であり、特に内部勾配、活性化、アーキテクチャの詳細にアクセスできない黒箱環境（例えば、展開済みシステムやサードパーティ API）において顕著である。既存の説明手法はこの領域において 2 つの主要な限界に直面している：

1. アトリビューションベースの手法（例えば、セリエンティマップ、LIME、SHAP）は、セマンティックな概念ではなく空間単位（ピクセル/パッチ）で動作し、明示的なセマンティック構造を欠く連続的な関連性マップを生成するため、手動による解釈が必要となる。
2. 概念ベースの手法は、通常閉じたセットの事前定義された語彙やキュレーションされた概念バンクに依存しており、実世界のオープンセットシナリオで見られる新規または微細なエンティティを説明する能力が制限される。さらに、ほとんどの手法は局所的に動作し、個別の予測を説明するだけで、一貫したグローバルな洞察を導き出すための原理的なメカニズムを提供したり、体系的なモデルバイアスを明らかにしたりするものではない。

同時に黒箱、オープンセット、かつ因果的である説明フレームワークが緊急に必要とされている。

手法

OCCAM（黒箱ビジョンモデルのためのオープンセット因果概念説明とオントロジー誘導）は、モデル解釈を構造化された介入的剪定のプロセスとして再定義する。このフレームワークはクエリ専用アクセスのみに厳密に従い、内部モデル重みを必要としない。これは 3 つの主要な段階から構成される：

1. 局所的介入的概念分析

与えられた入力画像 $x$ と事前学習済み分類器 $f$ に対して：

• オープンセット概念提案 ($\Phi$): マルチモーダル大規模言語モデル（MLLM）が、固定された語彙ではなく、オープンエンドな宇宙からインスタンス固有のセマンティック概念の集合 $\{k_1, ..., k_N\}$ を提案する。
• 概念グラウンディング ($\Psi$): テキスト条件付きセグメンテーションモデル（例：SAM）が、提案された各概念をバイナリセグメンテーションマスク $m_i$ にマッピングし、その空間的サポートを特定する。有効なマスクを生成しない概念は破棄される。
• 因果的剪定 ($R$): インペインティングモデル（例：LaMa）が、各グラウンディングされた概念の視覚的サポートを独立して除去し、介入済み画像 $\tilde{x}_i$ を作成する。
• 因果的貢献度の推定: フレームワークは、元々予測されたクラス $\hat{y}$ に対する分類器の信頼度の変化を測定する：
  $$s_{x, k_i} = f_{\hat{y}}(x) - f_{\hat{y}}(\tilde{x}_i)$$
  より大きなスコアは、その概念が意思決定に対してより強い正の因果的サポートを提供することを示す。

2. グローバルオントロジー誘導

局所的説明を超えて、OCCAM はデータセット全体にわたる介入的証拠を集約し、構造化された概念的オントロジーを誘導する。

• 構造: オントロジーは、ノードがクラス、画像、概念、および因果的証拠エンティティ（スコアとアーティファクトを含む）を表す知識グラフ（RDF/OWL）として形式化される。
• 創発: グローバルな概念 - クラス間および概念間の依存関係は、トップダウンで課されるのではなく、保存された介入的アトリビュートを集約することから創発する。
• 推論: このオントロジーは、モデルのグローバルな振る舞いに対する構造化されたクエリと推論を可能にし、個々の画像ごとの説明では見逃されがちな安定した依存関係、構成的パターン、潜在的な因果関係を明らかにする。

3. 評価指標

このフレームワークは以下の指標を用いて評価される：

• 因果的剪定指標: 概念の除去がモデルの信頼度に与える影響を定量化するための平均ドロップ率（ADP）、最大ドロップ率（MDP）、および最大絶対ロジットドロップ（MAD）。
• グラウンディング指標: 正解マスクとの空間的整合性を評価するためのエネルギーベースのポインティングゲーム（EPG）、正規化領域精度（NRA）、およびヒット率。
• 推論の質: 非構造化要約、フラットな JSON、およびオントロジーに基づく推論を使用して LLM が生成したレポートが、独立した LLM と人間の評価者によって一貫性と忠実度に基づいて評価される。

主要な貢献

1. OCCAM フレームワーク: 構造化されたオブジェクトレベルの介入によるオープンセット因果説明のための厳密な黒箱フレームワークであり、視覚分類器へのクエリアクセスのみを必要とする。
2. 原理的なオントロジー構築: 事前定義された語彙や内部表現に依存することなく、画像全体にわたる概念レベルの因果効果を集約して創発的なグローバル概念的オントロジーを構築する手順。
3. オントロジー駆動型推論: 誘導されたオントロジー上での推論がより深い説明を可能にし、個別の画像ごとの分析では検出されない安定した概念的依存関係と潜在的な因果関係を明らかにすることを示した。
4. 最先端の性能: 厳密なオープンセットおよび黒箱条件下で Broden および ImageNet-S データセットにおいて競争力のある、あるいは優れた結果を達成し、因果的剪定の有効性においてホワイトボックスの閉じたセットの競合他社を上回った。
5. マルチモーダル拡張性: このフレームワークがビジョン - ランゲージ分類器（例：CLIP、SigLIP）に自然に拡張可能であり、単一モーダルおよびマルチモーダルアーキテクチャ全体で統一された説明メカニズムを提供することを検証した。

実験結果

実験は、ResNet18、ResNet50、ViT-B/16、およびさまざまなCLIP/SigLIPバリアントを用いて、BrodenおよびImageNet-Sデータセットで行われた。

• 因果的剪定: OCCAM は、最先端の閉じたセット手法である CE-FAM よりも一貫して強い信頼度の低下を誘導した。例えば、ResNet50 において、OCCAM は平均ドロップ率（ADP）で47.19%（CE-FAM は 44.18%）、最大ドロップ率（MDP）で93.89%（CE-FAM は 84.14%）を達成した。これは、OCCAM がより意思決定に重要な証拠を特定していることを示している。
• グラウンディングの有効性: 黒箱かつオープンセットの環境で動作しているにもかかわらず、OCCAM はホワイトボックス手法に対して競争力のある局所化スコア（例：ImageNet-S における ResNet50 で EPG 0.65）を達成し、オブジェクトレベルの介入的グラウンディングが空間的に整合性があり、セマンティックに意味のある領域を生成することを示した。
• オントロジー推論: グローバル説明評価において、オントロジーに基づく推論は、非構造化要約（4.31）やフラットな JSON（4.23）と比較して、最高スコア（平均4.78/5）を達成した。これは、因果的証拠を形式的に構造化することが、グローバルなモデル説明の一貫性と忠実度を大幅に向上させることを示唆している。
• マルチモーダル堅牢性: CLIP および SigLIP に適用された際、上位 3 つの影響力の大きい概念を段階的に除去すると、ゼロショット精度が単調に減少した。特に、SigLIP は CLIP のバリアントよりも堅牢であることが判明し、その意思決定は少数の高影響領域ではなく、より分散された証拠に依存していることを示唆している。

意義と主張

本論文は、OCCAM が構造化された介入的剪定としてモデル解釈を再定義することにより、モデル解釈におけるパラダイムシフトを提供すると主張している。その主な意義は以下の点にある：

• ギャップの埋め合わせ: 既存の手法が苦労している「黒箱、オープンセット、因果的」というトリレンマを成功裏に解決する。
• グローバルな洞察: 画像ごとのアトリビューションを超えて、創発的なオントロジーを通じて一貫したグローバルな洞察を導き出し、体系的なモデルバイアスを明らかにするメカニズムを提供する。
• 行動に基づく知識: 誘導されたオントロジーは外部から課されるものではなく、測定された因果効果から直接導き出されるため、分類器が視覚的証拠をどのように組織化するかを問うことのできる表現を提供する。
• 統一メカニズム: 入力レベルの介入が、内部表現へのアクセスを必要とすることなく、従来のビジョンモデルと最新のマルチモーダルアーキテクチャの両方に適用可能な統一された説明メカニズムを提供することを示した。

著者らは、この視点が、説明可能な AI における行動に基づく知識の誘導と構造化された推論に関する将来の研究を促進すると結論付けている。