🤖 machine learning

Spatially Grounded Concept-Based Image Classification

本論文は、画像を概念に基づいた領域へと分解し、アテンションを通じてセグメントレベルの証拠を集約することで、分類精度を向上させると同時に、別途の事後的な属性付与モジュールを必要とせずに、本質的かつ人間が解釈可能な説明を提供することを可能にする、空間的に接地されたコンセプト・ボトルネック・モデルであるSEG-MIL-CBMを提案する。

原著者： Ran Eisenberg, Amit Rozner, Ethan Fetaya, Ofir Lindenbaum

公開日 2026-06-23

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Ran Eisenberg, Amit Rozner, Ethan Fetaya, Ofir Lindenbaum

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

あなたは、ある謎を解こうとしている探偵だと想像してください。「この写真には何が写っているのか？」

現代のほとんどのAI探偵（深層ニューラルネットワーク）は、この謎を解くのが非常に得意です。彼らは「それは鳥です！」と99%の精度で答えることができます。しかし、彼らは「どのようにしてそれを知ったのか」を説明することに関しては、驚くほど無能です。彼らは鳥そのものではなく、背景（湖など）を見ているかもしれませんし、人間には読めない秘密のコードを使っているかもしれません。もしあなたが「なぜ鳥だと言ったのですか？」と尋ねても、彼らはただ肩をすくめて、「数学的にそうだからです」と答えるだけです。

**コンセプト・ボトルネック・モデル（CBM）**と呼ばれる他のAI探偵たちは、もっと正直であろうとします。彼らは「『くちばし』と『羽』が見えるので、これは鳥に違いない」と言います。これは優れた方法ですが、依然として欠点があります。彼らは画像全体を「スムージー」のように扱ってしまうのです。彼らはすべての「くちばし」や「羽」を一つの大きな情報のカップの中に混ぜ合わせてしまいます。彼らは「どの特定のパーツ」を見ているのかを伝えることができません。左側にあるくちばしを見たのか？それとも右側にある尾を見たのか？彼らは単にグローバルなスコアを出すだけなのです。

新しい探偵の登場：SEG-MIL-CBM

著者たちは、この新しい探偵であるSEG-MIL-CBMを構築しました。この探偵を、単に推測するだけでなく、あらゆる決定に対して詳細で項目別に分類された「領収書」を作成する**フォレンジック・アカウンタント（法廷会計士）**だと考えてください。

その仕組みを、簡単な比喩を使って説明します。

1. 「切り貼り」チーム（前処理）

探偵が写真を見る前に、専門のロボットチーム（CLIP、GroundingDINO、SAMといった学習済みAIツール）を使用して、画像をパズルのピースへと切り分けます。

ロボットたち： 彼らは画像を見て、「ここには『明るいオレンジ色の胸』に見えるパッチがある」とか、「あそこには『黒い翼』に見えるパッチがある」と言います。
結果： 画像はもはや一つの大きな塊ではありません。ラベル付けされた、はっきりとしたパズルのピースの袋になります（セグメント）。

2. 「委員会の投票」（モデル）

今、メインの探偵（モデル）がこのパズルのピースの袋を見ます。ピースを混ぜ合わせる代わりに、各ピースを法廷における「証人」として扱います。

証人たち： 各パズルピース（セグメント）は、「私は鳥の一部であり、『鳥』という判定に対して40%寄与しています」と言います。別のピースは、「私は背景の一部であり、寄与度は0%です」と言います。
投票： 探偵はこれらの証言を精査します。特別な「アテンション（注意）」メカニズムを使用して、最も重要と思われるピースに注意深く耳を傾け、ノイズを無視します。

3. 「項目別領収書」（説明）

ここが魔法の部分です。最終的な答えは単なる証人の投票の総和であるため、探偵は項目別の領収書を印刷することができます。

領収書： 単に「鳥」と言うだけではありません。「証人1（オレンジ色の胸）：『鳥』に対して+0.42ポイント」「証人2（黒い翼）：『鳥』に対して+0.32ポイント」「証人3（青い空）：0ポイント」といった具合です。
メリット： あなたはAIがどこを見て、何を見たのかを正確に知ることができます。もしAIが間違いを犯した場合、あなたは領収書を見て、「ああ、あなたはパズルの間違ったピースに注目してしまったのだな！」と言うことができるのです。

なぜこれが重要なのか？（「ショートカット」問題）

時として、AIは怠慢になります。彼らは「ショートカット」を学習してしまうことがあります。

シナリオ： 鳥を見つけるように訓練されたAIを想像してください。そのAIは、多くの訓練用写真において、鳥が水の上にいることに気づきます。そこで、AIは「水が見えたら、それは鳥だ」と学習してしまいます。
失敗： もしあなたが木の上にいる鳥を見せたら、AIは水を探しているため、混乱するかもしれません。
古いやり方： グローバルなCBMは、「水」と「鳥」を一つのスコアに混ぜ合わせてしまうため、依然として騙される可能性があります。
SEG-MIL-CBMのやり方： このモデルはピースを個別に扱うため、「このピースは木の上にいる鳥である（良い！）、しかしこのピースは水である（悪い／ショートカット）」と見分けることができます。そして、水の方を無視して、鳥のピースに集中することを選択できます。

彼らが証明したこと

著者たちは、この新しい探偵をいくつかの課題でテストしました。

誠実であること： 彼らは、最も重要なパズルのピースを一つずつ取り除いていくテストを行いました。モデルの確信度は予想通りに低下しました。これは、説明が思考プロセスと一致していることを証明しています。
賢いこと： 彼らは単に説明が上手くなっただけでなく、他の「正直な」モデルが失敗した難しいケース（特に、AIが通常背景に騙されるデータセットにおいて）でも、実際に優れた性能を発揮しました。
十分に高速であること： 彼らは、トリッキーなケースだけでなく、標準的な画像認識タスクにおいてもうまく機能します。

結論

この論文は、AIに**「計算過程を見せる」ことを強制するシステムを紹介しています。答えを与えるだけのブラックボックスではなく、画像のハイライトマップと、ハイライトされた各領域に対するスコアカード**を提示するシステムです。

古いAI： 「それは鳥です。（私を信じて、私は賢いのです。）」
古い「正直な」AI： 「それは『羽』や『くちばし』といった概念によるものです。（しかし、どこでそれらを見たのかは言えません。）」
SEG-MIL-CBM： 「それは鳥です。こちらが左側の『羽』のパッチです（スコア：0.4）、そしてこちらが右側の『くちばし』のパッチです（スコア：0.3）。背景の水は無視しました。」

著者たちは、これによりAIの信頼性が高まり、特にAIが怠慢なショートカットを取ろうとする場合に有効であり、また、別途用意した複雑なツールを使うことなく、人間が意思決定を監査することを可能にすると主張しています。

技術要約: SEG-MIL-CBM

問題提起
深層ニューラルネットワークは、しばしば偽の相関や、検査が困難な証拠に依存することで高い精度を達成しますが、これは特に高リスクな設定において問題となります。コンセプト・ボトルネック・モデル（CBM）は、画像を人間が定義したコンセプトへとマッピングすることで、人間が解釈可能な推論を提供しますが、既存のほとんどのCBMは、コンセプトをグローバルな属性として扱います。このグローバルなアプローチでは、どの特定の画像領域がコンセプトを支持しているかを特定できず、予測とその説明の間に乖離が生じます。さらに、空間的に接地されたCBM（例：SALF-CBM）は証拠を局在化させますが、領域レベルの証拠が最終的な決定ロジットにどのように集約されるかを明示的に考慮しておらず、その結果、説明が予測を生み出す計算プロセスから分離されてしまうことがよくあります。

手法: SEG-MIL-CBM
著者らは、画像をコンセプトに基づいた領域へと分解し、セグメントレベルの証拠のアテンションベースの集約を通じて分類するモデルであるSEG-MIL-CBM（Spatially Grounded Concept-Based Image Classification）を提案しています。核心となる革新性は、予測を形成するために使用されるものと同じセグメント証拠項を、説明を生成するために直接読み取ることであり、これにより別途ポストホックな属性付与モジュールを必要としないようにしている点です。

パイプラインは以下の4つのステージで構成されます：

オフライン前処理: 学習済みの基盤モデル（CLIP、GroundingDINO、SAM）を使用し、システムは各画像に対して「バッグ」としてのコンセプト誘導型セグメントを生成します。GroundingDINOがコンセプトを局在化し、SAMがバイナリマスクを生成します。これらのセグメントは、凍結されたCLIPコンセプト類似性ターゲットと共にキャッシュされます。
セグメント符号化: 学習可能なモデルが、共有バックボーン（ $\phi$ ）を用いて各セグメントを符号化し、特徴量（ $h_i$ ）を生成します。線形コンセプトヘッドがこれらの特徴量をコンセプト空間に投影し、学習されたコンセプト活性化（ $z_i$ ）をもたらします。
説明責任のある集約 (MIL): モデルは、アテンションベースのMultiple Instance Learning（MIL）フレームワークを採用しています。モデルは、各セグメントに対してクラス条件付きアテンション重み（ $\alpha_{i,y}$ ）を計算し、セグメントクラス・スコア（ $g_{i,y}$ ）を集約して、画像レベルのロジット（ $\ell_y = \sum \alpha_{i,y} g_{i,y}$ ）を算出します。
説明生成: 最終的なロジットは、明示的なセグメントレベルの寄与の総和です。説明は、この分解から非バイアス証拠項（ $C^{sp}_{i,y}$ ）を読み取ることで導出されます。これにより、どの領域が予測に正の寄与をしたか、そしてそれらの領域内のどの特定のコンセプトがその支持を提供したのかを明らかにします。

学習目的関数は、画像レベルのクロスエントロピー損失と、学習されたコンセプト活性化と凍結されたCLIPターゲットとの間のコサイン整列損失を組み合わせたものであり、訓練中に明示的なコンセプトやグループラベルを必要とせずに、意味的な一貫性を確保します。

主な貢献

説明責任のある集約: 著者らは、表示されるすべての領域スコアがロジット分解内の非バイアス・セグメント証拠項から直接読み取られるように、空間的コンセプト予測を定式化し、統一された予測と説明を作成しました。
忠実性の検証: CUBデータセットを用いたセグメントレベルの削除および挿入実験を通じて、本論文は、学習されたセグメントのランキングがモデル自身の予測経路に対して忠実であることを定量的に検証し、生のCLIPサリエンス、セグメント面積、およびランダムなランキングに基づくコントロールを上回る結果を示しました。
解釈性と堅牢性のトレードオフ: 本モデルは、解釈性を優先した設計が、競争力のある認識精度を維持しつつ、評価されたCBMファミリーのベースラインに対するワーストグループ精度を向上させることを示しています。本モデルは、解釈性の高い設計と、非解釈的なグループ堅牢手法によって達成可能な最高レベルのワーストグループ精度との間のパレート・トレードオフを明示的に提示しています。

結果

グループ堅牢性: スプリアスな背景相関のベンチマークであるWaterbirdsデータセットにおいて、SEG-MIL-CBMはワーストグループ精度を65.1%（SALF-CBM）から72.0%へと向上させました。合成データセットであるPawriousでは、**87.4%**のワーストグループ精度を達成し、背景のショートカットを軽減できないグローバルCBMベースラインを大幅に上回りました。
標準的な認識: モデルは標準的な認識タスクにおいても競争力を維持しており、CIFAR-100で最高のCBM精度（85.3%）を達成し、Places365およびCUBにおいて従来の空間的CBMを上回る性能を示しました。
忠実性: CUBにおいて、モデルは評価されたコントロールの中で最高の削除/挿入AUC（DAUC/IAUC: 0.444/0.670）を達成しました。Top-1挿入テストでは、最もランクの高いセグメントのみを保持した場合、画像の90.5%で元の予測が維持されました。
アブレーション: 実験により、性能向上が隠れた特徴量のバイパスではなく、局在化した証拠の明示的な集約によって駆動されていること、およびコンセプト整列損失が説明に使用される意味的インターフェースを維持するために極めて重要であることが確認されました。

意義と主張
本論文は、SEG-MIL-CBMが予測自体の「監査証跡（audit trail）」として機能することで、より強力な形式の説明を提供するものであると主張しています。別の分類器にヒートマップを付加するポストホックな手法とは異なり、SEG-MIL-CBMは、表示される領域の証拠がフォワード計算に内在していることを保証します。

著者らは、SEG-MIL-CBMを、非解釈的なグループ堅牢手法（Waterbirdsのような特定のデータセットではより高いワーストグループ精度を達成する可能性がある）の代替品としてではなく、明確に異なるパレート・フロント上の点として位置づけています。これは、実務者が、なぜその決定が下されたのか（具体的には、どの物体部位や背景領域が予測を支持したのか）について、空間的に接地されたコンセプトレベルの会計（accountability）を得られる一方で、競争力のある精度と、他の解釈可能なベースラインに対する優れた堅牢性を維持できるというトレードオフを提供するものです。本研究は、このアプローチが、グローバルなボトルネックモデルよりも、失敗（例：背景のショートカットへの依存）を検査可能にするものであることを強調しています。たとえそれが、すべてのショートカットの除去を保証するものではないとしてもです。