💬 NLP

Turn-Averaged SAEs for Feature Discovery and Long-Context Attribution

本論文は、標準的なトークンベースのSAEにおけるスケーラビリティの限界を克服するために、会話のターン全体にわたるモデルのアクティベーションの平均を再構成するターン平均スパースオートエンコーダ（SAE）を導入し、これにより、長文脈言語モデルのトランスクリプトに対するより包括的な特徴発見と簡素化された属性分析を可能にする。

原著者： Kevin Der, Harish Kamath, Ben Thompson

公開日 2026-06-30

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Kevin Der, Harish Kamath, Ben Thompson

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

あなたは、人間とAIの間の長く複雑な会話を理解しようとしているところだと想像してください。あなたは、なぜAIがそのように言ったのかという「理由」を知りたいと考えています。

AI研究の世界では、科学者たちは**スパース・オートエンコーダ（SAE）**と呼ばれるツールを使用しています。SAEは、AIの思考を、小さく具体的な「付箋」へと分解する、非常に整理整頓された司書のようなものだと考えてください。

旧来の手法：「トークンごと」の司書

従来、この司書は会話を一つの単語（または「トークン」）ごとに見ていきます。

問題点： もし会話が1,000語あれば、司書は1,000枚の付箋を書きます。もし会話が100,000語あれば、100,000枚の付箋を書きます。
結果： 付箋は信じられないほど詳細です。ある付箋には「ここに『apple』という単語が現れた」とあり、別の付箋には「あそこに『run』という単語があった」とあります。しかし、物語全体を見ようとすると、あなたは大量の付箋の海に溺れてしまいます。全体像を見ることは不可能です。AIが「失礼」だったのか、「創造的」だったのか、あるいは「数学について話していた」のかといった大きな概念を、数千もの小さな付箋に分散して捉えることは容易ではありません。

新しいアイデア：「ターン平均」の司書

著者たちは、**ターン平均SAE（Turn-Averaged SAEs）**と呼ばれる新しい手法を導入しました。彼らは、会話を一つ一つの単語ごとに見るのではなく、会話の「ターン」（人間またはAIによる一つの完全な応答）全体を見渡し、そのターンにおけるすべての思考の「平均」を取るよう司書に指示します。

独創的な比喩：「スムージー」対「フルーツサラダ」

旧来の手法（トークンごと）： 一つ一つの種、極小の皮の破片、微細な砂糖の粒までが見えるフルーツサラダを想像してください。非常に詳細ですが、そのサラダが「甘い」のか「酸っぱい」のかを知りたい場合、すべての破片を数えなければなりません。
新しい手法（ターン平均）： そのフルーツサラダをブレンドしてスムージーにした状態を想像してください。個々の単語の種や皮（細かいディテール）は失われますが、全体のフレーバーのプロファイルという完璧で明確な味わいを得ることができます。「これはストロベリースムージー」であることは分かりますし、「スパイシー」ではないことも分かります。ブレンダー（平均化のプロセス）がノイズを濾過し、大局的なイメージを保持してくれるのです。

彼らが発見したこと

研究者たちは、この新しい「スムージー」アプローチを、70億パラメータを持つAIモデル（非常に賢いが、まだ「超知能」ではないAI）を用いて、実際のチャットデータでテストしました。その結果、以下のことが判明しました。

大局的な把握に優れている： AIに会話のターンが何についてであるかを説明させたところ、「ターン平均」の付箋は、「ユーザーが失礼である」「トピックは車の安全性についてである」「AIが過度に熱狂的である」といった高レベルな概念を捉える上で、はるかに優れていました。旧来の「単語ごと」の付箋は、主に特定の単語や文法パターンを列挙するだけで、全体の雰囲気を見落としていました。
長い物語への対応： ターン全体を平均化しているため、これらの新しい付箋は、30,000語の文書に対しても短い文章に対しても同様にうまく機能します。旧来の手法は、長いテキストに対して圧倒され、混乱してしまいます。
「マトリョーシカ」人形による解決策： 彼らはまた、「入れ子構造（Nested）」のモデルも構築しました。マトリョーシカ人形を想像してください。
- 内側の人形は、「スムージー」の付箋（ターンの大局的なイメージ）を保持しています。
- 外側の人形は、「フルーツサラダ」の付箋（個々の単語の具体的な詳細）を保持しています。
  これにより、AIは一つのシステムの中で、大局的なイメージと微細な詳細の両方を持つことができるのです。

なぜこれが「属性特定（原因の追跡）」において重要なのか

これらのツールの主な用途の一つは、ある部分のAIの脳が別の部分にどのように影響を与えるかを示す「マップ（属性グラフ）」を描くことです。

旧来のマップ： 長い会話の場合、このマップには何十万もの点と線が存在していました。それは人間には読めない、絡まり合った混乱状態でした。
新しいマップ： ターン平均SAEを用いると、マップは簡素化されます。単語ごとの点ではなく、ターンごとの点が存在することになります。マップは、ユーザーの質問がいかにして特定のAIの回答へと導いたかを示す、清潔で読みやすいフローチャートになります。

本論文からの実例

研究者たちは、AIが最初は質問への回答を拒否し、徐々に屈服し、最終的に支離滅裂なテキスト（退廃的なテキスト）を吐き出し始めた会話でこれをテストしました。

旧来の手法を用いた場合： マップはあまりにも乱雑すぎて理解できませんでした。それは「化学物質の名前」や「JSONコード」といった、原因としては意味をなさないランダムな要素を指し示していました。
新しい手法を用いた場合： マップは一連の出来事を明確に示しました。
1. 初期のターンには、「AIの安全性」や「核兵器」に関連する特徴がありました。
2. これが「ジェイルブレイク（脱獄）試行の検知」に関連する特徴を誘発しました。
3. そして最終的に、「退廃的な出力」へとつながりました。
  新しい手法は、旧来の手法では明確にできなかった、AIの崩壊の背後にある「なぜ」を成功裏に追跡したのです。

結論

この論文は、AIの思考を会話のターン全体で「ブレンド」することで、特に長い会話において、AIが行っていることの意味、スタイル、および安全性を理解するための、より優れたツールを作成できることを示しています。それは、混沌とした付箋の山を、明確で読みやすい物語へと変えてくれるのです。

注：本論文は、AIモデルの分析と理解を向上させることに厳格に焦点を当てています。これらのツールが臨床での使用、医学的診断、または消費者製品への直接的な展開に準備ができていると主張するものではありません。

技術要約：特徴量発見と長文脈アトリビューションのためのターン平均SAE

1. 問題提起

Sparse Autoencoders (SAEs) は、言語モデルから解釈可能な特徴量を抽出するための主要なツールとして台頭しており、回路分析、振る舞いのステアリング、および安全性モニタリングを容易にしています。しかし、標準的なSAEアーキテクチャは個々のトークンの活性化に対して動作します。このトークン単位の粒度は、大規模な解釈可能性において2つの重大なボトルネックを生み出します。

スケーリングの限界: アクティブな特徴量の数はコンテキスト長に対して線形に増加します。長文脈のシナリオやマルチターンの会話においては、結果として得られるデータ量が膨大になり、ダウンストリームの分析（アトリビューショングラフなど）が煩雑で検査困難になります。
高レベルな文脈の喪失: 解釈可能性の目的の多くは、モデルがなぜ特定の応答を生成したのかを理解することであり、それには多くのトークンに分散している高レベルな特性（トピック、ペルソナ、安全性特性など）の特定が必要です。標準的なトークン単位のSAEは、特定の単語や構文パターンに対する低レベルな検出器を学習しがちです。訓練目的が各位置を独立して再構成することであるため、モデルが高レベルでスパン全体にわたる特性を、トークンレベルのノイズから分離する圧力は働きません。

2. 手法

2.1 ターン平均SAE (Turn-Averaged SAEs)

核心となる提案は、個々のトークンの活性化ではなく、トークンのスパン（具体的には、単一の人間またはアシスタントのターン）にわたる平均隠れ状態に対してSAEを訓練することです。

入力変換: ターン $T$ のトークンを $x_t$ とすると、入力は平均隠れ状態 $\bar{x} = \frac{1}{|T|} \sum_{t \in T} x_t$ です。
アーキテクチャ: SAEのアーキテクチャは、標準的な実装（スパース性のためにBatchTopKを使用）と同一です。 $\mathbb{R}^{d_{model}}$ におけるベクトルの平均は、個々のベクトルと同じ次元を保持するため、構造的な変更は必要ありません。
直感: 平均化はローパスフィルタとして機能します。それは、高周波でトークン固有の詳細（特定の単語の選択や構文的マーカーなど）を平滑化する一方で、トピック、スタイル、行動特性といった広範な概念に対応する低周波成分を保持します。

2.2 ハイブリッド・アーキテクチャ

平均化によって詳細なトークン情報が失われるという制限に対処するため、著者らは高レベルの構造と微細な残差の両方を捉えるための2つのハイブリッド・アプローチを提案しています。

デカップルド（分離型）SAE (Decoupled SAE): 2つの独立したSAEを訓練します。一つはターン平均（ $\bar{x}$ ）を再構成し、もう一つは残差（ $x_t - \bar{x}$ ）を再構成します。これにより信号は分離されますが、モデル同士が因果的に切り離されているため、アトリビューション分析が複雑になります。
ネステッド（入れ子型）SAE (Nested SAE / Matryoshka-style): 共有のエンコーダとデコーダを持ち、特殊な損失関数を使用する単一のSAEを訓練します。特徴量空間は、内部パーティション $[0:h]$ $[0 : h]$ と外部パーティション $[h:d_{sae}]$ $[h : d_{s a e}]$ に分割されます。
- 損失関数: $L = \sum_t \| \text{dec}(\text{enc}(x_t)) - x_t \|^2 + \alpha \cdot \| \text{dec}_h(\text{enc}(\bar{x})[0:h]) - \bar{x} \|^2$ 。
- 内部パーティションはターン平均の再構成を強制され、フルセットの特徴量はトークン単位の活性化を再構成します。これにより、単一のモデルが、高レベルのターン特性とトークンレベルの詳細を同時に学習することが可能になります。

2.3 アトリビューション・グラフの適応

著者らは、アトリビューション・グラフをターンレベルに適応させています。ノードは特定のトークン位置における特徴量を表すのではなく、特定のターンおよびレイヤーでアクティブな特徴量を表します。

エッジの重み: 勾配のアトリビューションをソースターン全体で平均化し、ターン長（ $1/|T_A|$ および $1/|T_B|$ ）で正規化することで、ターン長に依存しない重みを算出します。
介入による検証: エッジの重みは、ソース特徴量をターン内の全トークンにわたってデコーダ方向に摂動させ、ターゲット特徴量の事前活性化の変化を測定することで検証されます。

3. 主な貢献

ターン平均SAE: ターン平均の隠れ状態で訓練することで、トークン単位の特徴量よりも、高レベルなターン特性（トピック、スタイル、安全性特性）をより完全に捉える特徴量を生成できることを実証しました。
ネステッドSAEアーキテクチャ: Matryoshka型の損失関数を用いて、ターン平均とトークン単位の特徴量を共同で学習する単一モデルアーキテクチャを導入し、両方の信号成分に対して高い再構成品質を達成しました。
スケーラブルなアトリビューション: アトリビューション・グラフをターンレベルに適応させ、マルチターン会話のコンパクトな分析を可能にしました。著者らは、介入実験と充足性指標（完全性と置換）を通じてこれらのグラフを検証しました。

4. 結果

4.1 特徴量の質と再構成

再構成: ネステッドSAEは、純粋なトークン単位のSAE（nMSE 0.162）に近い、トークン単位の正規化平均二乗誤差（nMSE）0.167を達成しつつ、ターン平均のnMSE 0.116も達成しました。対照的に、標準的なトークン単位のSAEは、ターン平均の入力に対して性能が悪く（nMSE 0.355）、これは平均値がトークン訓練済みモデルにとって分布外（out-of-distribution）であることを示しています。
定性的発見: 数学的な誤り、熱狂的な技術的スタイル、規制遵守に関する例において、ターン平均特徴量は、トークン単位の特徴量が逃した、あるいは部分的にしか捉えられなかった高レベルな行動特性（例：「誤った回答」、「熱狂的な技術的スタイル」）を正常に特定しました。
長文脈への汎化: チャットターン（平均長約150トークン）で訓練されたターン平均SAEは、LongBench v2の文書（24k–32kトークン）に対して正常に汎化し、トークン単位の特徴量が検出できなかった「マクロ経済学」や「コンピュータグラフィックス」といった高レベルな概念を特定しました。

4.2 定量的評価

LLM-as-a-judgeフレームワークを用いて、特徴量の記述とターンの構造化された要約を比較した結果：

識別能 (10-way matching): トークン単位の特徴量（max-pooling適用）は、テキストを区別するために特定のトークンレベルの詳細に依存するため、ターン平均特徴量を上回りました（95.0% 対 73.9%）。
網羅性 (Pairwise および 5-way ranking): ターン平均特徴量は、ペアワイズ比較において大幅に優れていました（勝利率 87.9%）。これらは、ターンの高レベルな特性についてより完全な記述を提供しました。
埋め込み指標: ターン平均特徴量は、構造化された要約フィールドに対して最高のコサイン類似度（0.663）を達成し、その優れたセマンティックな内容の網羅性を裏付けました。

4.3 アトリビューション分析

グラフのコンパクト性: ターン平均グラフは、10ターンの会話において、ノード数を約128K（トークン単位）から約5Kへと削減し、検査を可能にしました。
ケーススタディ:
- システムプロンプトのアトリビューション: ターン平均グラフは、どのシステムプロンプトの段落が特定のユーザークエリに影響を与えたかを正しく特定しました。これは、トークン単位のグラフと同等のアトリビューションのシフトを示しています。
- 退行の追跡: モデルが反復的なテキストへと退行した14ターンの会話において、ターン平均グラフは一貫した因果鎖を追跡しました：「AI安全性免責事項」 $\to$ 「核兵器」 $\to$ 「敵対的プロンプト検出」 $\to$ 「退行した出力」。トークン単位のグラフは、敵対的検出の機能を見つけることができず、代わりに「化学化合物」のような無関係な概念へと追跡してしまいました。
介入と充足性: エッジの重みは、介入効果と有意な相関を示しました。ネステッドSAEは、最も高い「完全性」および「置換」充足性スコアを達成し、純粋なトークン単位、および事後的に集約されたトークン単位の特徴量を上回りました。

5. 意義と主張

本論文は、ターン平均SAEが、長文脈における解釈可能性技術を実用的なものにすると主張しています。分析の単位をトークンからスパンへと移行することで、本手法は以下を実現します。

トークン単位の特徴量よりも、高レベルな特性（トピック、ペルソナ、安全性）をより完全に記述する特徴量を生成する。
分析が極めて困難になるマルチターン会話に対して、コンパクトで解釈可能なアトリビューション・グラフの構築を可能にする。
訓練信号を修正すること（平均化による）で、トークン数とは独立して、望ましい粒度（高レベルな概念）の特徴量を学習するようにSAEを強制できることを示す。
訓練時に見られたスパンよりもはるかに長いスパンに対しても汎化できることを示し、フロンティアモデルの分析に対する堅牢性を提示する。

著者らは、現在の実験規模（7Bモデル、LMSYS-Chat-1Mコーパス）や、評価指標におけるLLMへの依存といった限界についても言及しており、フロンティアモデルへの適用や、グランドトゥルース（正解）ベンチマークの作成が今後の課題であるとしています。