技術的概要：LINE（視覚モデルのための LLM ベース反復ニューロン説明）

問題定義

深層ニューラルネットワーク（DNN）内の個々のニューロンを解釈することは、複雑な意思決定プロセスの理解と、医療や司法などの高リスク分野における AI の安全性を確保するために不可欠です。機械的解釈可能性は局所的な意思決定回路の解明を目指していますが、大きな課題が残っています。それは、神経活動を人間が理解できる意味概念へ自動的に変換することです。

既存のニューロンラベリング手法は、主に以下の 2 つの限界に直面しています：

1. 事前定義された語彙への依存：多くの手法（例：Network Dissection、CLIP-Dissect）は固定された概念セットに制約されており、正確なグランドトゥルースが欠けているか、高次でグローバルな概念を捉えられていないことが多いです。
2. 過度に具体的または明確すぎる記述：テキスト生成モデルを利用する手法（例：MILAN）は、しばしば狭すぎる記述を生み出し、より広範な意味抽象化への一般化に失敗します。
3. 勾配依存：視覚説明に用いられる活性化最大化（AM）手法は、通常、勾配ベースの最適化に依存します。これによりメモリオーバーヘッドが生じ、微分可能性が要求され、かつ従来のテキストから画像（T2I）モデルとの互換性しか持たないことが多く、不自然なアーティファクトを含む画像を生成します。

手法：LINE フレームワーク

著者は、視覚モデルにおけるオープンボキャブラリー概念ラベリングのために設計された、新規かつトレーニング不要のブラックボックスフレームワーク「LINE（LLM-based Iterative Neuron Explanations）」を導入します。LINE は、対象モデルの勾配やトレーニングデータへのアクセスを必要とせず、大規模言語モデル（LLM）とテキストから画像（T2I）生成器を活用するクローズドループの反復プロセスとして機能します。

このフレームワークは、ループ内で動作する 4 つの中核コンポーネントで構成されます：

1. 初期化：プロセスは、ImageNet-1K 検証セットのラベルを用いて「概念スコアボード（$H$）」を初期化することから始まります。各クラスに対して、画像のセットをターゲット視覚モデルに通して初期のニューロン活性化を抽出し、基準となるスコアベクトルを確立します。スコアボードには、上位スコアの初期ラベルと、探索と利用のバランスを取るための一連のランダムラベルが埋め込まれます。

2. 概念提案（LLM）：各反復において、LLM は現在のスコアボード（特に上位スコアの概念とその履歴）を分析し、新しい洗練された概念記述を提案します。LLM は、既存の上位スコア概念を一般化、統合、または創造的に組み合わせ、かつ以前に提案された用語を避けるよう導かれます。

3. 画像合成（T2I）：提案された概念は、T2I モデル（例：Stable Diffusion XL）に渡され、多様な合成画像のバッチを生成します。プロンプトテンプレートには、視覚的多様性を確保するための角度や照明のバリエーションが含まれます。

4. 活性化抽出とスコアリング：生成された画像はターゲット視覚モデルによって処理され、特定のニューロンの活性化ベクトルが抽出されます。スコアリング関数（$\psi_{avg}$）は、生成セット全体での平均活性化を計算します。この連続的なスコアは、提案された概念の正確性を定量化します。スコアボードは、新しい概念とそのスコアで更新されます。

最終要約ステップ：$N$ 回の反復後、最終的な要約ステップが実行されます。LLM は、最終履歴からの上位スコア概念を統合する単一の高位グローバル概念を合成するようプロンプトされ、より広範な意味抽象化を提供します。

この手法はアーキテクチャに依存せず、畳み込みニューラルネットワーク（CNN）とビジョントランスフォーマー（ViT）の両方に適用可能であり、さまざまな T2I モデル（SD1.5、SDXL、FLUX.1）をサポートします。

主要な貢献

本論文は以下の貢献を提示します：

• 最先端のニューロンラベリング：LINE は、テキストベースのニューロン説明を評価するための統合されたアーキテクチャ非依存ベンチマークである CoSy（Concept Synthesis）ベンチマークにおいて、優れた性能を達成しました。
• 事前定義された語彙の超越：反復的な洗練プロセスにより、LINE は事前定義された語彙のみに依存する手法では見逃されていた、新規かつ非常に解釈可能な概念を発見できます。
• 勾配不要の視覚説明：勾配を介してピクセル値を最適化するのではなく、テキスト記述を最適化することで、LINE は活性化最大化に対する勾配不要の代替手段を提供します。これにより、最新の T2I モデルの利用が可能となり、勾配ベースの AM に共通するアーティファクトのない、よりクリーンで自然な視覚説明が生成されます。
• 透明性と多義性の評価：単一パスの手法とは異なり、LINE は完全な生成履歴を維持します。これにより、ニューロンの多義性（複数の概念を検出するニューロン）の評価が可能となり、各概念提案の背後にある推論が提供されます。

実験結果

著者は、複数のアーキテクチャ（ResNet18/50、ViT-B/16、DINOv3）とデータセット（ImageNet、Places365）にわたって LINE を評価しました。

• 定量的性能：CoSy ベンチマークにおいて、LINE は CLIP-Dissect、INVERT、DnD などのベースラインを大幅に上回りました。

  • AUC の改善：LINE は、ImageNet 学習モデルにおいて最大0.11、Places365 学習モデルにおいて0.05の AUC 改善を、最良のベースラインと比較して達成しました。
  • MAD の改善：平均活性化差（MAD）スコアも一貫して高く、提案された概念とニューロン活性化の間の強い整合性を示しました。
  • 統計的有意性：ウィルコクソンの符号順位検定により、これらの改善がほとんどの構成において統計的に有意であることが確認されました。

• 新規概念の発見：最終的な上位スコア概念の分析により、LINE の反復プロセスがニューロンの重要な部分に対して、新規かつ非事前定義のラベルを生成したことが明らかになりました：

  • 上位概念の平均**27%**が新規発見（初期語彙からのものでない）でした。
  • 特定の層では発見率が最大**36%**に達しました（例：Places365 上の ResNet18）。

• 定性的および因果的検証：

  • 視覚説明：LINE は、DiffExplainer や DEXTER からのものよりも解釈可能で自然な視覚説明を生成しました。DiffExplainer はしばしばより高い活性化値を達成しましたが、著者はこれを、勾配ベースの最適化に共通する非記述的な視覚アーティファクト（ノイズ）の悪用によるものと帰属させました。
  • 因果的アブレーション：画像から画像への生成モデルを用いて、著者は特定された概念を画像から除去するアブレーション研究を実施しました。その結果、ニューロン活性化は大幅に低下し（多くの場合ほぼゼロ）、ラベルとニューロンの行動の間の因果関係が検証されました。

• アブレーション研究：

  • 反復回数：性能は最初の 5〜6 回の反復で急速に向上し、14 回目まで安定した増加を見せ、その後プラトーに達しました。
  • T2I モデル：FLUX.1 は SDXL よりもわずかに高い活性化スコアを生み出しましたが、その差は統計的に有意ではありませんでした。SDXL はメモリオーバーヘッドが低いため、主要な実験に選択されました。

意義と主張

本論文は、LINE をより透明で説明責任のある視覚モデルへの基礎的なステップとして位置づけています。その意義は以下の点にあります：

1. トレーニング不要かつブラックボックスとの互換性：内部勾配、トレーニングデータ、モデル重みへのアクセスを必要とせず、DNN の監査のためのスケーラブルな解決策を提供します。これにより、プロプライエタリまたはレガシーモデルへの適用が可能になります。
2. モジュール性と将来性：フレームワークのモジュール設計により、LLM や T2I モデルの将来の進歩をパイプラインの再トレーニングなしにシームレスに統合できます。
3. 安全性と解釈可能性：テキストと視覚の両方の説明を提供することで、LINE はモデルのバイアスの特定と意思決定回路の理解を支援し、安全性が重要なアプリケーションにおける AI の展開に不可欠です。

著者は、ImageNet 初期化から継承された潜在的なバイアスや、専門分野（例：医療画像）では苦労する可能性のある生成モデルへの依存といった限界を認めています。また、多義的なニューロンについては、パイプラインが単一の支配的概念に収束する可能性があり、今後の研究では二次的な意味トリガーを探索するためにパイプラインを再起動することが提案されるとも述べています。