💬 NLP

Cross-Layer Discrete Concept Discovery for Interpreting Language Models

原著者： Ankur Garg, Xuemin Yu, Hassan Sajjad, Samira Ebrahimi Kahou

公開日 2026-06-11

📖 1 分で読めます☕ さくっと読める

原著者： Ankur Garg, Xuemin Yu, Hassan Sajjad, Samira Ebrahimi Kahou

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

大規模言語モデル（この会話の背後にあるAIのようなもの）を、巨大で多層構造の工場として想像してみてください。原材料（言葉）は最下層から入り、加工されて上の階へと移動し、最上階で最終製品（回答や決定）が作られます。

長い間、この工場がどのように機能しているかを理解しようとする科学者たちは、一度にたった一つのフロアだけを見てきました。彼らは3階の部屋を覗き込み、「ああ、この機械は何かをやっているぞ！」と言っていました。しかし、彼らは重要な詳細を見落としていました。この工場には、下の階から上の階までアイテムを運び、途中で新しいアイテムと混ぜ合わせながら進む特別なコンベアベルト・システム（「残差ストリーム」と呼ばれます）が存在するのです。

このコンベアベルトがあるため、もし一つのフロアだけを見たとしても、そこには重複したり混ざり合ったりした部品の、乱雑な塊が見えるだけです。どの部分がどこから来たのか、それが実際に何を意味しているのかを判別することはできません。

問題点：「ぼやけた写真」

従来の手法は、この混乱を整理しようと試みましたが、情報を滑らかで連続的な液体（水のようなもの）として扱っていました。彼らは水の中にパターンを見つけようとしましたが、水があまりにも流動的であるため、パターンは分裂し、混ざり合ってしまいました。それは、スムージーの中の特定の材料を、単に液体を見るだけで特定しようとするようなものです。材料があることは分かっても、イチゴとバナナを簡単に分離することはできません。

解決策：工場のアップグレード「CLVQ-VAE」

この論文の著者たちは、CLVQ-VAEと呼ばれる新しいツールを構築しました。これは、二つのフロアの間に設置されるスマートな仕分け機のようなものです。

その仕組みを、簡単な比喩を使って説明します：

適応型エンコーダー（スマート・コンベア）： 下のフロアから生の原材料をそのまま受け取るのではなく、この機械はそれらを優しく調整します。これは、シェフが原材料を取り上げ、その根本的な性質を変えることなく、次のステップに備えて精密に微調整を加えるようなものです。
離散的ボトルネック（スタンプ機）： これが最も重要な部分です。情報は、流動的な液体として流れるのではなく、この機械によって、あらかじめ定義された一連の特定の「スタンプ」（コードブックと呼ばれます）の上に「刻印」されることを強制されます。
- 例えば、1,000種類の特定のレゴブロックが入った箱があると想像してください。
- 機械が複雑なアイデアに遭遇したとき、粘土を使って新しい形を作ろうとするのではなく、「これはブロック番号42に最も近い」と判断します。
- これにより、混沌とした連続的な「ぼやけ」が、明確で離散的なラベルへと変換されます。これにより、AIは「漠然とした両方のミックス」ではなく、「私は『怒り』のブロックを使用している」と断定できるのです。
デコーダー（再構成器）： 次に、この機械はこれらの特定のレゴブロックのみを使用して、工場の「上の階」を再構築しようと試みます。もし、これらの「怒り」のブロックのみを使用して上の階をうまく再構築できたなら、その時初めて、「怒り」という概念がAIの決定において極めて重要であったことが確信できるのです。

なぜこれが優れているのか（結果）

著者たちは、映画レビュー、有害なコメントの検出、およびニュース記事の分類という3つのタスクにおいて、この新しい機械を従来の手法（単に一つのフロアを見る方法や、「液体」によるアプローチ）と比較テストしました。

判明したことは以下の通りです：

「除去テスト」（忠実性）： 研究者が、この機械が見つけた特定の「レゴブロック（概念）」をAIの脳から取り除いたところ、AIのパフォーマンスは崩壊しました。あるケースでは、AIの仕事の精度が93%低下しました。これは、この機械が、AIが意思決定を行うための実際の理由を見つけ出したことを証明しています。単なるノイズを見つけたのではありません。
「判定テスト」（LLMによる評価）： 彼らは他のAIモデルに「審判」を務めさせ、新しい機械が見つけた概念と古い手法の概念を比較させました。新しい機械の概念は、66.7%の確率で上位にランクされました。審判たちは、新しい概念の方がより理にかなっており、一貫性があると感じました。
「人間によるテスト」（解釈可能性）： 彼らは、ワードクラウド（概念の可視化）を人間のボランティアに見せました。
- 新しい機械の概念を見せられたとき、人間はAIが何を考えているかを78%の確率で当てることができました。
- 古い手法の概念を見せられたとき、人間が正解できたのは**54%**でした。
- さらに、新しい機械の結果を見たときの方が、人間同士の意見の一致度が高かったため、その概念がより明確で混乱が少ないことが示されました。

秘訣（シークレット・ソース）

論文では、この成功を支えたいくつかの「テクニック」についても強調しています：

温度サンプリング（Temperature Sampling）： 単に「最も優れた」一つのブロックを選ぶのではなく、機械は時として、最も近い上位5つのブロックの中から選択を行います。これは、機械に少しのランダム性を与えて様々な選択肢を探索させることであり、同じブロックばかりを使い続けて行き詰まるのを防ぎます。
球面 vs 平面（Spherical vs. Flat）： ブロックを単なる距離（平面）ではなく、それらが指し示す「方向（球面）」に基づいて整理することで、AIの生の数値を予測する上では「平面」の方がわずかに優れていたとしても、人間にとっての理解しやすさは「球面」の方が向上することを発見しました。

まとめ

要約すると、この論文は、大規模なAIの混沌とした、かつ重なり合った思考を、明確で整理された、個別の「概念（レゴブロックのようなもの）」のリストへと翻訳する方法を紹介しています。これによって、AIの複数のレイヤーにわたって、AIが何を考え、なぜそのような決定を下すのかを明確に把握できるようになります。これにより、AIという「ブラックボックス」は、人間にとってより透明で理解しやすいものとなるのです。

技術的要約：言語モデルの解釈のためのクロスレイヤー離散概念発見

問題提起

大規模言語モデル（LLM）の解釈は、トランスフォーマーの残差ストリームが隣接するレイヤー間で特徴量を線形に混合・複製するという性質によって困難に直面している。単一レイヤーの分析手法は、このようなクロスレイヤー構造を捉えることができず、複数のレイヤーを同時に検証したときに初めて可視化される計算パターンを見落としてしまう。最近のクロスレイヤー・アプローチであるスパース・オートエンコーダー（SAE）などは、レイヤー間の混合に対処しているものの、連続的な空間内で動作している。これらの空間では、概念が多くのニューロンに「分裂」して存在するため、境界が不明確であり、概念を孤立させるために恣意的な閾値設定やマルチベクトルによる組み合わせが必要となる。このような人間の推論（離散的なカテゴリに依存する）との不一致は、こうした手法の解釈性を制限している。

手法

著者らは、離散的なベクトル量子化ボトルネックを通じて、下位レイヤー（ $l$ ）からの表現を上位レイヤー（ $h$ ）へとマッピングすることで、離散的で解釈可能な概念を発見するために設計されたフレームワークである CLVQ-VAE（Cross-Layer Vector Quantized-Variational Autoencoder）を提案している。このフレームメントは、以下の3つのコアコンポーネントで構成される：

適応型残差エンコーダー（Adaptive Residual Encoder）: コードブックの再割り当てを可能にしつつ、意味的な情報を保持するために、このコンポーネントは入力埋め込みに対して学習可能な補間メカニメントを適用する。これは、元の埋め込みと線形変換されたバージョンのバランスを取るための混合係数 $\alpha$ （ $[0, 0.5]$ に制約）を使用し、言語的特徴の破壊を防ぎながら、クロスレイヤー再構成のためのターゲットを絞った洗練を可能にする。
ベクトル量子化器（Vector Quantizer）: これは離散的なボトルネックとして機能し、連続的なエンコーダー出力を、学習された集合 $E = \{e_j\}_{j=1}^K$ $E = {e_{j}}_{j = 1}^{K}$ からの単一のコードブックベクトルへとマッピングする。安定した学習と効果的なコードブック利用を確保するために、著者らは以下を採用している：
- 初期化: K-means（ユークリッド距離または球面）またはランダム初期化。
- 確率的サンプリング: 決定論的な選択の代わりに、温度制御された確率分布を用いてトップ- $k$ 近傍のコードブックベクトルからサンプリングを行う。これにより、コードブックの均一な利用と概念の多様性が促進される。
- EMA更新: コードブックのベクトルは、直接的なバックプロパゲーションではなく、割り当て回数と累積ベクトルの指数移動平均（EMA）を用いて更新され、安定性を確保する。
トランスフォーマー・デコーダー（Transformer Decoder）: 量子化されたコードブックベクトルを用いて、ターゲットとなるレイヤー $h$ の活性化を再構成する双方向トランスフォーマー・デコーダー。これは、非量子化されたエンコーダー出力からの情報を活用するためのクロスアテンション機構を利用しており、低レベルの再構成の詳細をオフロードすることで、コードブックが明確な高レベルの概念に集中できるようにしている。

モデルは、再構成損失（デコーダー出力とターゲットとなる上位レイヤー表現との間の平均二乗誤差）と、コミットメント損失（エンコーダー出力がコードブックベクトルにコミットすることを促す）を組み合わせた損失関数によって訓練される。

主な貢献

離散的クロスレイヤー・マッピング: 同じレイヤーを再構成する標準的なVQ-VAEとは異異なり、CLVQ-VAEはトランスコーダーとして機能し、下位レイヤーからの冗長な残差ストリームの特徴を、上位レイヤーにおけるコンパクトで解釈可能な概念ベクトルへと集約する。
確率的サンプリングメカニズム: 温度ベースのトップ- $k$ サンプリングとEMAコードブック更新の導入により、離散的な潜在空間の制御された探索を実現し、コードブックの多様性を維持し、崩壊を防ぐ。
包括的な評価: 本フレームワークは、エンコーダーベースのモデル（RoBERTa, BERT）およびデコーダーのみのモデル（LLaMA-2-7B, Qwen2.5-3B-Instruct）について、3つのデータセット（ERASER-Movie, Jigsaw, AGNews）を用いて評価されている。

結果

論文では、CLVQ-VAEをクラスタリング、単一レイヤーVQ-VAE、およびSAEのベースラインと比較し、3つの軸で評価している：

忠実度（概念アブレーション）: 文の表現から特定された概念を取り除くと、モデルの精度が著しく低下する。CLVQ-VAEは、12の設定中5つにおいて最も低い摂動後精度を達成した。概念の除去は、最大で 93.2% の精度低下を引き起こした（RoBERTa/ERASER-Movieにおいて）。SAEは、特にデコーダーモデルにおいて、一貫性のない、あるいは無視できる程度の低下しか示さなかった。
意味的コヒーレンス（LLM-as-a-Judge）: アンサンブルLLMは、比較においてCLVQ-VAEの概念を 66.7% の割合で第1位にランク付けし、平均評価は1.890であり、単一レイヤーVQ-VAE、SAE、およびクラスタリングを上回った。
人間の解釈性: ヒューマンスタディにおいて、アノテーターはCLVQ-VAEの可視化からモデルの予測を 78.2% の精度で復元できた（クラスタリングの54.1%と比較）。また、アノテーターはより高い自信（8.44 対 5.98）を報告し、「ほぼ完璧な」アノテーター間一致（ $\kappa = 0.864$ ）をCLKV-VAEの可視化とともに達成した。

さらに、著者らは初期化戦略におけるトレードオフを発見した。K-means 初期化は、より高い機能的忠実度（より優れた摂動結果）をもたらす傾向があり、一方で 球面K-means は、より高い意味的コヒーレンスと人間との整合性を持つ概念を生成した。

重要性

本論文は、CLVQ-VAEが、不透明なモデルのメカニズムを忠実かつ解釈可能な概念へと翻訳するための堅牢なフレームワークを提供すると主張している。離散的な表現学習とクロスレイヤー分析を統合することで、このアプローチは、連続的なSAE（概念の分裂）および単一レイヤー分析（クロスレイヤー構造の欠如）の限界に対処している。結果は、発見された概念がモデルの予測にとって機能的に重要であるだけでなく、人間の理解とも一致していることを裏付けており、より透明で説明責任のある言語モデルへの道筋を示している。著者らは、この手法は効果的である一方で、活性化抽出のための多大なメモリと、異なるレイヤーの組み合わせごとの個別の訓練を必要とすることも述べている。