🤖 AI

Evaluating the Interpretability of Sparse Autoencoders with Concept Annotations

本論文は、概念抽出における最適なトレードオフをもたらすのは中程度の辞書サイズであることを明らかにするために、Fully-Binary Matching Pursuit (FBMP) アルゴリズム、Targeted Attribute Perturbation Alignment Score (TAPAScore)、および合成ベンチマーク（synCUBおよびsynCOCO）を特徴とする、スパースオートエンコーダの意味的整合性と解釈可能性を厳密に定量化するための人間に基づいた評価フレームワークを導入する。

原著者： Jonas Klotz, Cassio F. Dantas, Pallavi Jain, Diego Marcos, Begüm Demir

公開日 2026-06-24

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Jonas Klotz, Cassio F. Dantas, Pallavi Jain, Diego Marcos, Begüm Demir

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

全体像：「ブラックボックス」を読み解く試み

想像してみてください。あなたは、写真を見てそこに何が写っているかを教えることができる、超スマートなロボット（ビジョンモデル）を持っています。しかし、ロボットの脳内では、情報は「犬」「木」「青空」といった整然としたラベル付きのフォルダには保存されていません。代わりに、膨大な、混沌とした数字の雲として蓄えられています。

このロボットがどのように考えているのかを理解するために、科学者たちはスパース・オートエンコーダ（SAE）と呼ばれるツールを使用します。SAEは、いわば翻訳機や**デコードリング（解読器）**のようなものです。その役割は、その混沌とした数字の雲を取り込み、シンプルで人間が理解可能な「概念」へと分解することです。

例えば、バラバラな数字の混ざり合いの代わりに、SAEはこう言います。「ああ、この特定の数字は『縞模様のお腹』がある時にオンになり、別のこの数字は『無地の腹部』がある時にオンになるのだ」と。

問題点：翻訳機は嘘をついていないか？

問題は、その翻訳機がうまく機能しているかどうかを、私たちが必ずしも判断できないことです。

「特徴の分裂（Feature Splitting）」問題： 「縞模様のお腹」という概念があまりに複雑なため、翻訳機がそれを3つの異なる数字に分割してしまう状況を想像してください。一つの数字は「縞模様」、もう一つは「お腹」、三つ目は「茶色」を意味します。もし一つの数字だけを見れば、それは何も意味していないように思えてしまいます。概念が断片化されているのです。
「特徴の吸収（Feature Absorption）」問題： 翻訳機が「鳥」という数字を持っているものの、あまりに多忙なため、「赤い翼」のような細かな詳細を無視してしまい、「鳥」という数字がすべてをカバーしていると考えてしまう状況です。
「特徴の合成（Feature Composition）」問題： 二つの異なるもの（例えば「黄色い頭」と「黄色い嘴」）が、一つの数字の中に混ざり合ってしまい、それらを区別するのが難しくなることがあります。

これまで、科学者たちは主に、元の画像をどれだけ上手く再構築できるか（パズルのピースが正しく組み合わさっているかを確認するように）を見て、翻訳機がうまく機能しているかを推測してきました。しかし、パズルのピースが正しい順番でなくても、見た目だけは完璧に見えることがあります。私たちは、その「意味」が本当に正しいかどうかを確認する方法を必要としていました。

解決策：新しい「真実テスト」

著者たちは、以下の3つの主要なステップを用いて、これらの翻訳機をテストするための新しいフレームワークを構築しました。

1. 「マッチング」ゲーム（潜在概念のマッチング）

まず、翻訳機の出力を、人間が注釈を付けた事実（例：「この鳥は無地のお腹を持っている」）と比較しました。

従来の方法： 一つの人間の事実を、正確に一つのロボットの数字に一致させようとしていました。
新しい方法（FBMP）： 彼らは、時には一つの人間の事実を説明するために、複数のロボットの数字が必要になる場合があることに気づきました。そこで、**完全バイナリ・マッチング・パースート（FBMP）**と呼ばれる手法を考案しました。
- 比喩： あなたが「赤い車」を説明しようとしているとします。従来の方法は、「赤い車」を意味する魔法の言葉を一つ探そうとしました。新しい方法は、「よし、『赤い』という言葉と『車』という言葉を組み合わせて使おう」と言います。これにより、システムは複数の数字に分かれた複雑な概念を扱うことができるようになります。

2. 「マジック編集」ベンチマーク（合成データセット）

翻訳機を真にテストするには、画像を変更し、ロボットの脳が正しい方向に変化するかどうかを見る必要があります。しかし現実の世界では、鳥のお腹の模様を変えると、意図せずポーズや背景まで変えてしまう可能性があります。

解決策： 著者たちは、二つの合成（人工）データセットを作成しました。
- synCUB： 鳥の写真のコレクションです。AIを使用して、他のすべてを全く同じに保ったまま、一つの要素（例：無地のお腹を斑点模様のお腹に変える）だけを変更しています。
- synCOCO： 賑やかな街のシーンのコレクションです。AIを使用して、他のシーンを壊すことなく、一つの物体（例：車）を「取り除く」処理を行っています。
- 比喩： それは、人の顔や髪、背景を変えることなく、服だけを魔法のように着せ替える編集ツールのようなものです。これにより、科学者はロボットが何に対して反応しているのかを正確に特定できます。

3. 「方向チェック」（TAPAScore）

ロボットの数字が「縞模様のお腹」がある時に反応しているからといって、それがその概念を「引き起こしている」とは限りません。それは単なる偶然かもしれません。

テスト： 彼らは画像を取り込み、特徴（例：斑点模様のお腹）を「追加」するように編集し、特定のロボットの数字が上昇するかどうかを確認します。次に、特徴を「削除」するように編集し、数字が低下するかどうかを確認します。
スコア： これをTAPAScoreと呼びます。特徴が現れた時に数字が上がり、消えた時に数字が下がるのであれば、その翻訳機は信頼できます。もし数字が変わらなかったり、逆方向に動いたりする場合、その翻訳機は混乱しています。

主な知見：少ないことは、より豊かであること

著者たちは、異なる種類の辞書サイズ（使用できる数字の数）を持つ様々なタイプの翻訳機を用いて、これらのツールをテストしました。

大きいことが常に良いわけではない： 翻訳機に巨大な辞書（数千の数字）を与えると、むしろ解釈性が悪化することを発見しました。辞書が大きすぎると、現実とは一致しない「ゴースト概念」を作り始めてしまうのです。
スイートスポット（最適値）： 適度な辞書サイズが、最も優れたバランスを提供しました。それは複雑な概念を理解するのに十分でありながら、焦点と明快さを保つのに十分なサイズでした。
勝者： 彼らの新しいマッチング手法（FBMP）と新しい真実テスト（TAPAScore）の組み合わせこそが、賢く訓練された翻訳機と、ランダムで未訓練の翻訳機の違いを確実に識別できる唯一の方法でした。

まとめ

著者たちは、AI翻訳機の新しい「成績表」を作り上げました。AIが画像を再構築できるかどうかをチェックする代わりに、以下の方法で、AIの内部思考が人間の概念と実際に一致しているかを検証しています。

複数の数字が一つの概念を説明することを許容する（FBMP）。
マジック編集された写真を使用して、因果関係をテストする（synCUB/synCOCO）。
画像が変化したときに、AIが正しい方向に反応するかをスコアリングする（TAPAScore）。

彼らは、これらのAIの脳が真に理解可能であるためには、大きすぎないことが重要であること、つまり適度なサイズがベストであることを発見しました。

技術要約：概念アノテーションを用いたスパース自己符号化器の解釈可能性の評価

問題提起

スパース自己符号化器（SAE）は、ビジョンおよびビジョン言語モデル（例：CLIP、DINOv2）の高次元な内部表現を、スパースで解釈可能な潜在変数へと分解するためにますます採用されている。しかし、ビジョンベースのSAEに対する既存の評価手法は、構造的なプロキシ（例：再構成忠実度、スパース性）や定性的な検査に大きく依存している。これらの手法は、意味的対応関係（semantic correspondence）、すなわち学習された潜在変数がどの程度人間の理解可能な概念と一致しているかを測定できていない。

さらに、ビジョンモデルには、特徴量の分割（feature splitting）（一つの概念が複数の潜在変数に断片化する）、特徴量の吸収（feature absorption）（一般的な特徴がブラインドスポットを持つようになる）、特徴量の合成（feature composition）（共起する概念が融合する）といった系統的な失敗モードが存在する。自然言語処理から転用された現在の指標は、ある潜在変数が特定の意味属性を真に符号化しているのか、それとも交絡因子によって単に相関しているだけなのかを検証することに苦慮している。決定的なことに、自然画像において単一の意味的な変化を隔離することは困難であるため、ビジョンにおける機能的な評価は容易ではない。

メソドロジー

著者らは、ユーザー調査を必要とせずに、SAEの潜在変数と人間がアノテーションした概念との間の整合性を定量化する人間に基づいた評価フレームワークを提案している。このフレームワークは、以下の3つのコアコンポーネントで構成される。

1. 潜在変数と概念のマッチング

統計的な整合性を測定するために、著者らは二値化されたSAEの活性化と、二値のグラウンドトゥルース属性ベクトルを比較する。

一対一マッチング（One-to-One Matching）： 与えられた属性に対してF1スコアを最大化する単一の潜在変数を選択する。
完全二値マッチング追求法（Fully-Binary Matching Pursuit: FBMP）： 特徴量が複数の潜在変数に分割されることが多いことを認識し、著者らは連合ベースのマッチング手順を導入している。FBMPは、二値ドメインに特化した貪欲な逐次選択アルゴリズムである。標準的なマッチング追求法とは異なり、これは完全に二値空間で動作する：
- 内積の代わりに二値類似度指標（例： $F_\beta$ ）を使用する。
- 寄与を合計するために論理和（ $\lor$ ）を使用し、残差を更新するために論理積および否定（ $\land, \neg$ ）を使用する。
- 属性アノテーションを共同で再構成する潜在変数の小さなサブセット（連合）を構築し、多対一のマッピングをサポートする。
$\Delta$ MATCHScore： 大きな辞書においてマッチングスコアが膨張すること（ランダムな相関が増加すること）を考慮するため、著者らは学習されていない（ランダムな重みを持つ）SAEのスコアから、学習済みSAEのスコアを減算する。

2. 合成介入ベンチマーク

機能的な検証を可能にするために、著者らは、画像ペアが正確に一つの意味属性において異なる2つの合成データセットを構築している。

synCUB： CUB-200-2011から派生しており、単一オブジェクトの鳥の画像において、微細な属性の変化（例：「無地の」腹部のパターンを「斑点のある」ものへ変更）を対象としている。これは、参照画像に基づいてベース画像を編集するためにFlux2を使用し、アイデンティティ、ポーズ、背景を保持している。
synCOCO： MS-COCOから派生しており、複雑なマルチオブジェクトシーンにおけるオブジェクトの除去を対象としている。これは、特定のオブジェクトを除去しながら他のシーンを保持することで、自然な設定における制御された介入の課題に対処している。

3. 標的属性摂動整合スコア（Targeted Attribute Perturbation Alignment Score: TAPAScore）

この指標は、マッチした潜在変数が、標的となる摂動の下で選択的かつ期待される方向に反応するかどうかをテストする。

属性が一つ異なる画像ペア $(x, \hat{x})$ に対して、著者らは、追加または削除された属性にマッチした潜在変数の連合の符号付き応答を計算する。
TAPAScore は $\Delta_{add} - \Delta_{rem}$ と定義される。ここで $\Delta$ は、マッチした潜在変数セットの最大活性化の変化の平均を表す。正のスコアは、属性が追加されたときに潜在変数が増加し、削除されたときに減少することを意味し、因果的な符号化を確認するものである。

主な貢献

FBMPアルゴリズム： 潜在変数と概念の間の多対一のマッピングをサポートする、新しい連合ベースのマッチング手順。著者らは、FBMPが一貫して一対一のベースラインを上回り、既存の指標（Feature Monosemanticity ScoreやCKNNAなど）が失敗するサニティチェックをパスすることを示している。
合成ベンチマーク（synCUBおよびsynCOCO）： 自然な画像におけるSAE評価のための、初の介入型ベンチマークであり、制御された属性およびオブジェクトの摂動を可能にする。
TAPAScore： 統計的なマッチングが因果的な意味的符号化に対応しているかどうかを、摂動下での応答の方向性をテストすることで検証する、機能的な指標。
経験的ガイドライン： 本研究は、実践者に向けた実行可能なガイダンスを提供しており、解釈可能性の最適な評価のために、適切な辞書サイズとFBMPとTAPASscoreの組み合わせを推奨している。

実験結果

本フレームワークは、様々な辞書サイズ（$128 $から$ 4096$）およびSAEのバリアント（TopK, BatchTopK, Matryoshka, JumpReLU）にわたる、CLIPおよびDINOv2の埋め込みに対して学習されたSAEを用いて評価された。

サニティチェック： TAPAScoreと $\Delta$ MATCHScore（FBMPを伴う）のみが、学習されていない、あるいはランダムなベースラインを信頼性高く区別できる唯一の指標であった。CKNNAやFeature Monosemanticity Score (FMS) などの指標は、限定的な感度しか示さないか、あるいは一貫性のない挙動（例：CKNNAが未学習のSAEに対して上昇する）を示した。
マッチング性能： FBMPは、すべてのバリアントにおいて一貫して一対一マッチングを上回った。精度を優先する $F_{0.5}$ バリアントのFBMPが、一般的に最も高いスコアを得た。
辞書サイズのトレードオフ：
- 辞書のサイズ（過剰性）を増やすことは、統計的なマッチングスコア（ $\Delta$ MATCHScore）をある地点まで向上させるが、多くの場合、摂動への整合性（TAPAScore）を低下させる。
- CUBにおけるTopK SAEでは、辞書サイズが増加するにつれてTAPAScoreは早期にピークに達した後、急激に低下した。これは、大きな辞書が統計的な整合性は向上させるものの、因果的に妥当な概念を符号化していないことを示唆している。
- 中程度の辞書サイズ（バリアントに応じて256–1024）が、意味的カバレッジと機能的選択性の間の最適なトレードオフを提供した。
相関関係： マッチングスコアとTAPAScoreは概して正の相関があったが、大きな辞書サイズにおける乖離（マッチングは改善するがTAPAScoreは低下する）は、統計的な整合性が解釈可能性を保証するには不十分であることを浮き彫りにした。

意義と主張

本論文は、解釈可能性はアーキテクチャの設計や再構成品質のみから想定されるものではなく、人間が理解可能な概念に対して明示的に評価されるべきであると主張している。提案されたフレームワークは、学習された特徴とアノテーションされた概念との間の整合性を通じて、解釈可能性を操作化し、制御された介入を通じて検証している。

著者らは、中程度の辞書サイズが最適なバランスを提供し、最も解釈可能なSAEをもたらすと結論付けている。彼らは、FBMP ( $F_{0.5}, k=3$ ) を TAPAScore と組み合わせることをデフォルトの評価プロトコルとして推奨している。本研究は、過剰性が高まることで摂動への整合性が減少する可能性があることを強調しており、これは統計的指標が向上しても解釈可能性が低下することを示唆している。

著者らは限界についても認めており、フレームワークの質は人間によるアノテーションの粒度と正確性に依存することを指摘している。今後の課題として、ビジョン言語モデルを利用して自動的に属性を生成することで、手動アノテーションへの依存を減らすことや、TAPAScoreを能動的なモデルステアリングのツールとして活用することなどを挙げている。