🤖 machine learning

Feature Rivalry in Sparse Autoencoder Representations: A Mechanistic Study of Uncertainty-Driven Feature Competition in LLMs

本論文は、Gemma-2-2B におけるモデルの不確実性のメカニズム的指標として機能する負に相関したスパースオートエンコーダ特徴量対を「特徴量競合」として導入し、高エントロピープロンプトが特定の層においてより強い競合を引き起こすこと、競合軸に沿った操作が出力に因果的に影響を与えること、および競合スコアが回答の正誤を予測しうることを実証する。

原著者： Harshavardhan

公開日 2026-05-12

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Harshavardhan

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

Gemma-2のような大規模言語モデル（LLM）を、数百万人の小さな労働者（ニューロン）が互いにメモを渡し合いながら質問に答えるために絶えず活動する巨大で賑やかな都市だと想像してみてください。通常、これらの労働者は専門チームに組織化されています。しかし、モデルが答えに確信を持てない場合、異なる 2 つのチームが同時に現れ、互いに声を張り上げながら会話の主導権を奪い合おうとすることがあります。

この論文は、その混乱を**「特徴の競合（Feature Rivalry）」**と呼んでいます。

以下に、研究者たちが発見した内容を日常的な比喩を用いて簡潔に解説します。

1. 核心となる概念：脳内の「議論」

研究者たちは、**スパース・オートエンコーダ（SAE）**と呼ばれる特別なツールを使用しました。これは、最終的な答えを見るだけでなく、モデルが思考している個々の「概念」を直接見ることができるハイテクなメガネのようなものです。

モデルが確信を持っている場合： 完璧なハーモニーで歌う合唱団のようです。一つの明確なメロディ（一つの支配的な概念）が他よりも際立って聞こえます。
モデルが不確実な場合： 町内会での熱い議論のようです。対立する 2 つのアイデア（競合する特徴）が互いに叫び合い、相手を抑え込もうとします。この論文は、モデルが不確実なとき、これらの「競合する」概念が強く負の相関を示すこと、つまり互いを打ち消し合おうと積極的に戦っていることを発見しました。

2. 実験 1：争いはどこで起こるのか？

研究者たちはモデルに 400 問の質問を行いました。それらを 2 つのグループに分けました。

簡単な質問： モデルが即座に答えを知っているもの（低エントロピー）。
難しい/曖昧な質問： モデルが混乱し、毎回異なる答えを出すもの（高エントロピー）。

発見：
彼らは、概念間の「争い」が至る所で起きているわけではないことを発見しました。それはモデルの脳内の 2 つの特定の「部屋（層）」に集中していました。

部屋 0（入り口）： 争いは質問がシステムに入ってきた瞬間に始まります。モデルが論理処理を開始する前であっても、不確実性ですでに概念間の綱引きが発生しています。
部屋 12（中間）： 処理の連鎖の中間、モデルが意味を繋ぎ合わせようとしている段階で、争いが再び激化します。

比喩： 駅伝を想像してください。もし走者がルートに確信が持てない場合、スタートライン（第 0 層）でつまずき、トラックの中間でバトンタッチの直前（第 12 層）にもつまずきます。確信があれば、スムーズに走ります。

3. 実験 2：天秤を傾けられるか？

研究者たちは、この争いが実際にモデルの答えを変化させる「原因」なのか、それとも単なる副産物なのかを知りたがりました。

彼らは**活性化操作（Activation Steering）**と呼ばれる技術を使用しました。モデルの脳を船、そして「競合」を左右に押しやる強い流れだと想像してください。研究者たちは舵を取り、競合の方向（2 つの概念が戦っている方向）へ船を押し進めました。

発見：

競合の方向へ優しく押したとき、モデルはランダムな方向へ押したときよりも頻繁に答えを変えました。
比喩： 2 人の子供が頂点の座を争っているシーソーのようなものです。もしシーソーを「争っている」側へ優しく押せば、バランスを崩してモデルに相手の子供のアイデアを選ばせることができます。これは、競合が単なるノイズではなく、出力を形成する実在する能動的な力であることを証明しています。

4. 実験 3：間違いを予測できるか？

最後に、彼らは「この内部的な争いを見て、モデルが間違った答えをしようとしているかどうかを推測できるか？」と問いかけました。

彼らは各質問に対して**「競合スコア」**を作成しました。

高スコア： 概念間の争いが激しい。
低スコア： 概念は落ち着いており、合意している。

発見：

競合スコアは間違いを予測するのにかなり優れていました（約 69% の精度）。
モデル自身の「確信メーター」（約 81% の精度）ほどではありませんでしたが、独自の超能力を持っていました。最終的な答えを見ることなく、モデルが不確実であることを知ることができたのです。
比喩： モデルの確信メーターは、雨が降った後に天気予報を確認するようなものです。一方、競合スコアは、雨が降り始める前に黒い雲が集まるのを見るようなものです。これは結果ではなく、内部的な嵐に基づいた早期警告を提供します。

まとめ

この論文は、AI が混乱しているとき、その内部的な「労働者」同士が争い始めていることを示しています。この争いは：

AI の思考プロセスの特定の段階で発生します。
正しい方向へ押しやれば、AI が言うこと自体を変化させます。
AI が間違った答えを出す前であっても、AI が不確実であることを伝える「煙探知機」として利用できます。

研究者たちは、これはモデルが「何を考えているか」ではなく「どのように考えているか」を理解する方法であり、AI の不確実性という「ブラックボックス」への新たな窓を提供すると強調しています。

技術的概要：スパース自動符号化器表現における特徴競合

問題定義

スパース自動符号化器（SAE）は、大規模言語モデル（LLM）の表現を解釈可能で単義的な特徴に分解するための標準的なツールとして定着しつつあるが、不確実性の条件下でこれらの特徴がどのように相互作用するかを支配するメカニズムは未だ十分に理解されていない。具体的には、複数の特徴が同時に活性化することによる競合が、モデルの不確実性のメカニズム的シグネチャーとして機能するかどうかは不明である。本論文では、ある層において強く負の相関を持つ SAE 特徴ペアの存在として定義される「特徴競合（Feature Rivalry）」を、モデル処理における曖昧さの潜在的な指標として調査する。

手法

本研究では、13 層（0–24、ステップ 2）にわたって Gemma-2-2B と Gemma Scope SAE（幅 16k）を利用した。実験デザインは PopQA データセットに依存し、データセットレベルの交絡因子からモデルの不確実性を分離するために、ドメイン内エントロピー分割を採用した。

データ準備: 著者は各質問あたり温度 1.0 で 20 件の生成をサンプリングし、正規化されたシャノンエントロピー（ $H(q)$ ）を計算した。質問は 2 つの条件に分割された：
- 曖昧（高エントロピー）: $H(q) > 0.7$ （200 質問）。
- 明確（低エントロピー）: $H(q) < 0.5$ （200 質問）。
- このデザインにより、ドメイン、形式、回答タイプが一定に保たれ、観察された差異がモデルの不確実性にのみ起因することを保証した。
実験 1：競合の局在化:
- 指標: 「競合スコア（Rivalry Score）」は、特定の層におけるプロンプト全体での特徴活性化のすべてのペアワイズピアソン相関の 5 パーセンタイルとして定義される。より負の値は、より強い競合を示す。
- 分析: モルマン・ウィトニー U 検定を用いて、曖昧条件と明確条件の間で層をまたいで競合分布を比較した。
実験 2：因果的介入（活性化操作）:
- 設定: トップ 20 の競合特徴ペアを特定した。「競合軸（rivalry axis）」ベクトル（ $v_{rivalry}$ ）は、2 つの競合特徴のデコーダベクトルを減算すること（ $W_{dec}[A] - W_{dec}[B]$ ）によって構築された。
- 介入: 層 10 での生成中に、このベクトルを最後のトークンの隠れ状態に加えた。
- 比較: 操作倍率 5、10、20 において、競合軸操作による「フリップ率（出力が変化する割合）」を、ランダムな方向の基準と比較した。
実験 3：予測有用性:
- 指標: 層 10 において、トップ 50 の活性化特徴のデコーダベクトル間のコサイン類似度の 5 パーセンタイルを用いて、プロンプトごとの競合スコアを計算した。
- 評価: このスコアを回答の正解性（二値：出力に正解が含まれるか）の予測子としてテストし、AUROC を用いて ソフトマックス信頼度（トップトークンの確率）と比較した。

主要な結果

1. 不確実性の局在化

特徴競合は、明確な質問と比較して曖昧な質問において有意に強くなるが、この効果はネットワーク全体で均一ではない。

層 0: 非常に有意な差異（ $p = 5.3 \times 10^{-26}$ ）が認められ、不確実性が初期エンコーディング直後に特徴競合として現れることを示唆している。
層 12: 2 番目の有意なピーク（ $p = 5.8 \times 10^{-5}$ ）が認められ、中レベルの意味的統合に対応している。
その他の層では、ボンフェローニ補正後に有意な差異は認められなかった。

2. 因果的影響

競合軸に沿った活性化操作は、モデル出力に対して測定可能な因果的効果を生み出した。

低い操作倍率（5）において、競合軸操作は、20 組の競合ペアのうち 15 組（75%） で、ランダム操作よりも高い出力フリップ率をもたらした。
平均フリップ率の差は +0.06 だった（競合：0.20 対ランダム：0.14）。
この効果は、操作倍率が高くなる（10 および 20）と、摂動が大きくなり無差別になるため、減衰した。

3. 予測性能

プロンプトごとの競合スコアは、不完全ではあるが有効な不確実性シグナルとして機能する。

正解性予測の AUROC: 競合スコアは 0.689 を達成し、ランダムな確率（0.500）を有意に上回ったが、ソフトマックス信頼度（0.808）には及ばなかった。
較正: 両方のシグナルは、スコアが高いほど精度も高くなるという単調な傾向を示した。
固有の価値: ソフトマックス信頼度とは異なり、競合スコアは出力サンプリングや正解へのアクセスを必要とせず、純粋に内部表現から導き出される。

意義と主張

本論文は、特徴競合が、不確実性のメカニズム的に根拠のあるシグナルであり、以下の 3 つの主要な貢献を提供すると主張している：

メカニズム的局在化: 不確実性がモデルの単一な性質ではなく、概念表現間の競合として現れる、残差ストリーム内の特定の段階（初期エンコーディングおよび中レベルの意味的統合）を特定する。
因果的検証: 競合特徴間の競合がモデル出力の上流に位置することを示す因果的証拠を提供する。競合方向に沿って操作を行うことで生成が直接影響を受けることは、これらの特徴が推論中に能動的に競合していることを確認する。
解釈可能な不確実性シグナル: 内部特徴競合が出力分布に依存することなく回答の正解性を予測できることを示す。ソフトマックス信頼度ほど正確ではないが、どの概念が競合しているかを特定する解釈可能性と、単一パスシナリオでの計算可能性を提供する。

著者は、ドメイン内エントロピー分割が、クロスデータセット比較に対する方法論的改善であり、競合の差異がデータセットのアーティファクトではなくモデルの不確実性に起因することを保証していると強調している。彼らは結論として、競合は短文 QA における生粋の予測力においてソフトマックス信頼度を凌駕しないものの、不確実性の内部ダイナミクスに対する独特で解釈可能な窓を提供すると述べている。