💻 computer science

Towards Explainability of SLMs by investigating Token Level Activation

本論文は、BERT におけるトークンレベルの重要度を層 8 の隠れ状態活性化強度を分析することで定量化する軽量かつモデル非依存のフレームワークである活性化フローネットワーク（AFN）を提案し、意味的に意味のあるトークンは構造的トークンよりも著しく高い活性化の大きさを示すことを実証することで、注意中心の手法に対する解釈可能な代替手段を提供する。

原著者： Sayantani Ghosh, Rajashik Datta, Amit Kumar Das, Amlan Chakrabarti

公開日 2026-05-22

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Sayantani Ghosh, Rajashik Datta, Amit Kumar Das, Amlan Chakrabarti

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

非常に賢いものの秘密主義なロボット司書「BERT」という存在を想像してみてください。この司書はこれまで書かれたほぼすべてのものを読み、文章内の質問に答えたり感情を理解したりすることができます。しかし、一つ問題があります。誰も、それが実際にどのように考えているのかを知ることができないのです。まるで「ブラックボックス」のようです。文を入力すると答えが出てきますが、内部の歯車は隠されたままです。

長らく研究者たちは、司書の「注視」を調べることで内部を覗き見ようと試みました。「もし司書が単語を見つめているなら、その単語は重要に違いない！」と考えたのです。しかし、彼らはあるトリックを発見しました。司書はしばしば、コンマやピリオド、あるいは「the」や「is」のような退屈な単語をじっと見つめながら、「beautiful（美しい）」や「disaster（災害）」、「Canada（カナダ）」といった実際の魅力的な単語は無視しているのです。まるで、ドアを通過する人物を無視して、ドアノブだけをズームインして映す監視カメラを見ているようなものです。

新しいアイデア：「注視」ではなく「エネルギー」を測定する

この論文の著者たちは、異なるアプローチを試すことにしました。「司書はどこを見ているのか？」と問う代わりに、「司書は各単語を思考するためにどれだけのエネルギーを使っているのか？」と問いかけました。

彼らは司書の脳にある特定の部屋、第8層に焦点を当てました。司書の脳を12階建てのビルだと考えてみてください。

1階～5階： 1階です。ここでは司書は、大文字や単語が名詞か動詞かといった基本的なことに気づくだけです。
10階～12階： ペントハウスです。ここで最終的な答えが決定されます。
8階（絶好調のスポット）： ここは「統合ゾーン」です。司書は文法を見るのをやめ、物語の意味を本当に理解し始める場所です。

研究者たちは活性化フローネットワーク（AFN）と呼ばれるツールを構築しました。司書の目を観察する代わりに、各単語が8階を通過する際に流れる「電気」（数学的にはL2ノルムと呼ばれるもの）を測定しました。

彼らが発見したもの：「高電圧」の単語

このエネルギーを測定したところ、明確なパターンが見つかりました。

「高電圧」の単語： 「prime（首相）」、「minister（大臣）」、「Canada（カナダ）」、「beautiful（美しい）」、「enjoying（楽しんでいる）」といった内容に富んだ単語は、明るいネオンサインのように輝きました。これらは最も高いエネルギーを持っていました。
「低電圧」の単語： 「the」や「of」のような構造語や、「?」のような句読点は、より暗かったです。それらは存在していましたが、意味の主要な重みを担っているわけではありませんでした。

比喩： 家が梱包される様子を考えてみてください。「高電圧」の単語は、重いソファやピアノです。移動させるのに最も多くの労力を要します。「低電圧」の単語は、空の箱やテープです。仕事には必要ですが、スペースやエネルギーをあまり取りません。研究者たちは、8階で重い荷物の持ち上げが行われていることを発見しました。

「波紋効果」実験

これを証明するために、研究者たちは「違いを見つけよう」というゲームを行いました。彼らは司書に非常に似た2つの文を与えました。

「公園で美しい日を楽しんでいる！」
「ビーチで美しい散歩を楽しんでいる！」

彼らは「day（日）」を「walk（散歩）」に、「park（公園）」を「beach（ビーチ）」に置き換えたとき、エネルギーがどのように変化したかを見守りました。

明らかなこと： 変化した単語（「day」と「park」）は、エネルギーが劇的に跳ね上がりました。
驚き： 変化しなかった単語（「beautiful」や「at」など）さえも、著しいエネルギーのシフトを示しました！

比喩： これは池に石を落とすようなものです。一つの単語（石）を変えると、波紋（エネルギーのシフト）が広がり、直接当たっていない部分さえも水を変えてしまいます。これは、8階が深く接続されていることを示しました。物語の一部を変えると、文全体がその意味を再考することを余儀なくされるのです。

「バケツ」テスト

最後に、彼らは単純な規則を使って「重要な」単語と「背景」の単語を分離しようと試みました。彼らは線（閾値）を引き、エネルギーが高いすべての単語をHIGHバケツに、残りをLOWバケツに入れました。

彼らは次のことを発見しました。

HIGHバケツには、単語の約25％（重要なもの）しか入っていませんでした。
しかし、これらの少数の単語は、意味の変化の**76％**を担っていました。

比喩： これは、25％のミュージシャン（ソロ奏者）が誰もが覚えているメロディを演奏し、残りの75％が背景のリズムを演奏しているコンサートのようです。ソロ奏者をミュートすると、曲は魂を失います。背景をミュートしても、少し空虚に感じられるかもしれませんが、曲は聞こえます。

大きな教訓

この論文は単に「BERTは賢い」と述べるだけではありません。それは、BERTがどのように考えているのかを見る新しい方法を提供します。プロセスの途中（第8層）における単語の「エネルギー」を測定することで、彼らは「ブラックボックス」を「ガラスボックス」に変えました。

彼らは、BERTが単に句読点をじっと見つめているのではなく、実際の意味を担う単語に精神的なエネルギーを集中させていることを示しました。これにより、モデルが文を処理する際、世界を理解するために「内容」の単語で多くの重労働を行っている一方、「構造」の単語は枠組みを維持するだけであることが理解できました。

技術的概要：トークンレベルの活性化を調査することによる SLM の説明可能性への道

問題定義
BERT などの Transformer ベースのモデルが自然言語理解（NLU）に革命的な影響を与えているにもかかわらず、その内部メカニズムは依然として大部分が不透明なままです。アテンション重みに依存する従来の解釈可能性手法は、真のセマンティックな説明を提供することにしばしば失敗し、意味的に弱い構造的に重要なトークン（例：句読点、機能語）を強調する傾向があり、意味のあるコンテンツを強調する代わりに、その傾向が見られます。さらに、既存の解釈可能性アプローチは、モデル非依存性を欠いたり、高価な勾配計算を必要としたり、特に構文情報と意味情報が統合されると考えられる中間層（6〜9 層）における特定の中間処理ダイナミクスを分離できたりしないことが多くあります。アテンション相関ではなく、内部活性化の強さに基づいて個々のトークンの表現的重要性を定量化し、ランク付けするための軽量かつ効率的な手法が緊急に必要とされています。

手法
著者は、bert-base-uncased モデルの第 8 層に焦点を当てた、新しいモデル非依存フレームワークである**活性化フローネットワーク（AFN）**を提案します。この手法は以下の段階を経て進行します。

トークンレベル活性化強度の定量化:
アテンションヘッドを分析する代わりに、このフレームワークは第 8 層における各トークンの隠れ状態ベクトル（ $h_i$ ）を抽出します。トークンの表現的強度（ $S_i$ ）は、その 768 次元の隠れ状態ベクトルのL2 ノルム（ユークリッドノルム）として定義されます。
$S_i = \|h_i\|_2$
このスカラー値は、トークンの活性化の大きさおよび表現的優先度を直接測定する指標として機能します。
閾値ベースの活性化バケット化:
支配的なセマンティックな活性化と構造的な背景ノイズを区別するために、著者は与えられた文の活性化分布の**上位四分位数（75 パーセンタイル）**を用いて経験的な活性化境界（ $\tau$ ）を定義します。
$\tau = Q_{0.75}(S)$
トークンは 2 つのグループに分割されます。
- 高活性化: $S_i > \tau$ （意味的に顕著なトークン）。
- 低活性化: $S_i \leq \tau$ （構造的に支援的なトークン）。
  このフレームワークは、高活性化トークンが表現的なシフトを支配するかどうかを判断するために、貢献率（ $R_H$ ）を計算します。
比較活性化シフト分析:
文脈やタスク指示に対する感度を調査するために、著者はトークンレベル活性化シフト（ $\Delta_i$ ）を導入します。これは、2 つの類似した文または異なるプロンプト条件における対応するトークンの隠れ状態ベクトルの差の L2 ノルムとして計算されます。
$\Delta_i = \|h_{A,i} - h_{B,i}\|_2$
この指標は、文脈的な摂動（例："day"を"walk"に変更するなど）または目標指向のプロンプト（例："要約"対"翻訳"など）によって引き起こされるベクトル空間内の幾何学的な変位を定量化します。

主要な貢献

セマンティック統合領域としての第 8 層: この研究は、構文情報が意味的統合に道を譲り、構文処理と意味処理のバランスが取れる重要な転換点として第 8 層を特定しています。
アテンションよりも活性化の大きさ: この研究は、句読点に焦点を当てることで誤解を招くことが多いアテンション重みよりも、隠れ状態のノルム（L2）が意味的重要性のためのより信頼性の高いシグナルを提供することを示しています。
軽量な解釈可能性: AFN フレームワークは、勾配ベースの帰属手法に対する計算効率が高く、非侵襲的な代替手段を提供し、隠れ状態を抽出するために単一のフォワードパスのみを必要とします。
意味的シフトの定量化: 活性化シフト指標の導入により、特定の単語の変更やタスク指示がモデルの内部表現軌道をどのように変化させるかを定量化することが可能になります。

結果
732 件の感情を帯びた文のコーパスおよび特定のケーススタディに対する実験的分析は、以下の観察結果をもたらしました。

意味的優位性: 意味を担う単語（例："prime"、"minister"、"Canada"、"beautiful"）は、第 8 層で一貫して最も高い活性化強度を示し、冠詞や句読点などの構造的トークンよりも著しく高い順位を占めました。
層の比較: 第 8 層と第 9 層の比較により、第 8 層はコンテンツに富むトークンに対してより敏感であるのに対し、第 9 層はこれらの同じトークンに対して比較的低い活性化を示すことが確認されました。これは、より深い層において、意味コンテンツから構文構造への焦点の移行を示唆しています。
活性化バケット化: 上位四分位数の閾値はトークンを成功裏に分離し、高活性化トークン（内容語）が一貫して上位ランクを占めました。摂動実験において、高活性化トークンはトークン数の約 25% しか占めていないにもかかわらず、総意味的活性化シフトの約**76%**に寄与しました。
文脈の波紋効果: 変更されていない構造的トークン（例："at"、"the"）は、文脈が変化した際（例："day at the park"対"walk at the beach"）に著しい活性化シフトを示し、第 8 層が意味的一貫性を維持するためにフレーズ全体を動的に再エンコードすることを示しました。
プロンプト感応性: 入力に異なるタスク指示（"要約"対"翻訳"など）を接頭辞として付加した際、[CLS] トークンおよび他のトークンで活性化シフトが観察され、高レベルのプロンプトが中間表現空間を誘導することを示しました。

意義と主張
この論文は、活性化の大きさが意味的に情報豊富なトークンの周りに集中していることを明らかにすることで、BERT を「ブラックボックス」からより透明な「グラスボックス」へと変えることを主張しています。著者は、自らのフレームワークがアテンション中心の分析に対する計算効率が高く、解釈可能な代替手段を提供すると主張しています。第 8 層を分離し、L2 ノルムを利用することで、この研究は意味処理中にどのトークンが最大の表現的強度を担っているかを直接特定する方法を提供します。この研究は、これらの活性化フローを理解することが、複雑な勾配計算やモデル固有のプロビング分類器を必要とすることなく、研究者が BERT が構文情報と意味情報のバランスをどのように取っているか、およびタスク指示がモデルの内部軌道にどのように影響を与えるかをよりよく理解する助けになると示唆しています。