🤖 machine learning

Size Doesn't Matter: Cosine-Scored Sparse Autoencoders

本論文は、スパース・オートエンコーダーにおける標準的な内積によるスコアリングを、コサイン類似度とノルムの大きさの学習された混合へと置き換えることで、高ノルムのトークンが特徴量選択を支配することを防ぎ、それによって正規化された表現におけるより人間にとって解釈可能な概念の発見を可能にすると主張するものである。

原著者： Silen Naihin, Lev Stambler

公開日 2026-06-16

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Silen Naihin, Lev Stambler

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

大きな問題：「声の大きさ」による間違い

想像してみてください。あなたは混雑した部屋の中での会話を理解しようとしています。そこには、特定のアイデア（例えば「政治」、「プログラミング」、「悲しみ」など）を見つけ出すように訓練された、65,000人の小さな探偵（特徴量と呼ばれます）が耳を澄ませています。

標準的な探偵の働き方（内積を使用する方法）では、彼らは次の2つの要素に基づいて興奮します：

何を話しているか： そのトピックが彼らの専門分野と一致しているか？
話し手がどれほど大きい声を出しているか： 話し手が叫んでいるのか、それとも囁いているのか？

問題は、現代のAIモデルにおいて、単語の「音量」（数学的なサイズ、すなわちノルム）は劇的に変化することです。自然に巨大な単語もあれば、極めて小さな単語もあります。

標準的な探偵は「音量」を気にするため、ある単語（珍しく複雑なトークンなど）が非常に大きいと、たとえトピックが一致していなくても、あらゆる探偵が同時に「見つけたぞ！」と叫んでしまいます。これは、火事が発生したからではなく、誰かが重い箱を落としたという理由だけで火災報知器が鳴り響くようなものです。

AIモデル自体は、実は音量には関心がありません。モデルが本当に気にしているのは、会話の「方向」（意味）だけなのです。しかし、標準的な探偵は音量について叫ぶことに時間を浪費してしまい、そのせいで本当の意味を聞き取るための余裕を失っています。

解決策：「コサイン」探偵

著者らは、音量を無視して、言葉の方向（角度）だけに耳を傾ける新しいタイプの探偵を提案しています。これを**コサイン・スコアリング（Cosine Scoring）**と呼びます。

次のように考えてみてください：

標準的な探偵： 「話し手が叫んでいるし、しかも猫について話しているから、私は興奮している！」
コサイン探偵： 「話し手が猫について話しているからのみ、私は興奮している。声が囁き声か叫び声かは気にしない。」

これを実現するために、著者らは探偵が音量をどの程度重視するかを正確に学習できる柔軟なシステムを作成しました。彼らは探偵に「音量つまみ」（ $a$ と呼ばれるパラメータ）を与えました。

$a=1$ の場合、彼らは音量を重視します（従来の方法）。
$a=0$ の場合、彼らは音量を完全に無視します（純粋なコサイン）。

試してみた結果、何が起きたのか？

著者らは、この新しい探偵を大規模言語モデル（Qwen3-8B）で訓練し、従来の探偵と比較しました。判明したことは以下の通りです。

1. 「音量つまみ」が絞られた
探偵たちが音量を気にすることを許可されていたにもかかわらず、訓練プロセスによって音量つまみはほぼゼロまで自動的に下げられました。システムは、方向こそが重要であり、音量は単なるノイズであるということを学習したのです。どの探偵も、音量を重視すると判断した割合は50%を超えることはありませんでした。

2. 真の概念を見つける能力の向上
探偵たちが人間の概念（「プログラミング」や「地理学」など）を特定できるかどうかをテストしたところ、新しいコサイン探偵は、従来の探偵よりも14.9%優れた性能を示しました。

従来の方法： 多くの探偵が「音量検出器」になっていました。彼らは、単語が何を意味しているかに関わらず、単に単語が「大きい」時にだけ反応していました。そのせいで、彼らは貴重な枠を無駄に消費していました。
新しい方法： 音量について叫ぶことを止めたことで、彼らには実際の概念を見つけるための余裕が生まれました。その結果、「辞書」は単なる騒音ではなく、有用なアイデアで満たされることになりました。

3. 「高ノルム」の罠
論文では、従来のシステムが「大きな声（高ノルム）」の単語を扱うのが非常に苦手であることが示されました。大きな声の単語が入ってくると、従来のシステムは文章を現実の9.5倍の音量で再構成してしまい、事実上モデルの理解を壊してしまいます。新しいシステムはこの大きな声の単語を完璧に扱い、音量を現実的な状態に保ちました。

4. 単なる「データの量」の問題ではない
著者らは、これが単に新しいシステムの方が規模が大きい、あるいは長く訓練されたからではないことを証明しました。従来のシステムに3倍の数の探偵を与えたとしても、その「スコアリングの規則」自体が壊れていたため、優れた概念を見つけることはできませんでした。問題は、彼らがどのように聴くかという「幾何学」にありました。

結論

この論文は、AIモデルが特定の種類の正規化（RMSNormと呼ばれるもの）を使用している場合、標準的な特徴量検出方法は、「音量」と「意味」を混同してしまうため欠陥がある、と主張しています。

コサイン・スコア（大きさではなく、整列度を測定するもの）に切り替えることで、以下の特性を持つ特徴量の辞書が得られます：

モデルの再構成品質と一致する（モデルを壊さない）。
人間が認識可能な概念をより頻繁に見つけ出す。
「音量検出器」としてスペースを浪費することを防ぐ。

著者らは、これら正規化された表現を用いるあらゆるAIモデルにおいて、コサイン・スコアリングをデフォルト設定にすべきであると結論付けています。なぜなら、それが辞書の学習を、モデルが実際に「読み取っている」内容と一致させるからです。

技術要約：Size Doesn't Matter: Cosine-Scored Sparse Autoencoders（サイズは重要ではない：コサイン・スコアを用いたスパース自己符号化器）

1. 問題提起

スパース自己符号化器（SAE）は、モデルの活性化を人間が解釈可能な特徴量の辞書へと分解するために設計された、メカニスティック・インタープリタビリティにおける標準的なツールである。標準的なSAEは、内積スコア $\langle w_i, x \rangle$ を通じて特徴量を検出するが、これは入力 $x$ の方向的な整合性と、入力の大きさ $\|x\|$ の両方に依存してスケールする。

このスコアリングの幾何学は、現代のトランスフォーマー・アーキテクチャ（特にRMSNormを採用しているもの）において、根本的な不一致を生じさせる。これらのモデルでは、サブレイヤーは正規化された活性化 $x/\|x\|$ を読み取り、計算の前に大きさの情報を実質的に破棄している。しかし、残差ストリームに接続されたSAEのエンコーダーは、依然としてフルサイズの大きさ（magnitude）を観測してしまう。その結果、内積スコアは「内容の整合性」と「トークンのノルム」を混同してしまう。

BatchTopK選択（標準的なスパ Sparsity メカニズム）の下では、この不一致が病理的な選択圧を生み出す。高ノルムのトークンは、方向的な整合性に関係なく、すべての特徴量の事前活性化（pre-activation）を膨張させる。これらのトークンは辞書のスロットを不当に占有し、その結果、SAEは「内容の検出器」ではなく「ノルム検出器」（トークンの大きさに基づいて発火する特徴量）を学習してしまう。これは、辞書がモデル自身が無視している量（quantity）をエンコードする特徴量によって支配されることを意味し、スパース・プロービング、特徴量ステアリング、および回路分析の信頼性を損なう。

2. 手法

著者らは、標準的な内積エンコーダー・スコアを、学習可能な指数を持つコサイン・スコアに置き換えることを提案している。新しい事前活性化 $s_i(x)$ は以下のように定義される：

$s_i(x) = e^b \|x_c\|^a \cdot \cos(x_c, w_i) + b_{enc,i}$

ここで：

$x_c = x - b_{dec}$ は、デコーダー・バイアスで中心化された入力である。
$w_i$ は、単位正規化されたエンコーダーの行である。
$a$ は、入力の大きさへの依存性を制御する学習可能な指数である。
$b$ は、学習可能なスケール・パラメータである。
項 $e^b \|x_c\|^a$ は、純粋なコサイン類似度（ $a=0$ ）と内積（ $a=1$ ）の間を補間する。

本論文では、2つのパラメータ・レジームを調査している：

Global $a$ : すべての特徴量で共有される単一のスカラー指数。
Per-feature $a_i$ : 各特徴量が独自の指数を学習できる（ $a_i = a_{base} + \delta_i$ ）拡張版であり、ノルム依存性の異質性を許容する。

主要な設計上の選択：

単位正規化（Unit Normalization）: $a=0$ のときにスコアが真のコサイン類似度となることを保証するため、毎回のフォワードパスにおいてエンコーダーの行を単位正規化する。
初期化: $a$ は 0（純粋なコサイン）に、 $b$ は $\log \sqrt{d_{model}}$ に初期化される。
安定性: わずかに高い初期勾配を持つ特徴量が指数を成長させて高ノルム・トークンを支配するという「勝者総取り（winner-take-all）」のカスケードを防ぐため、特徴量ごとのバリアントでは base+delta パラメータ化（ $a_i = a_{base} + \delta_i$ ）を使用し、グローバルなスケールを固定しつつ個別のオフセットを許容する。

3. 主な貢献

アーキテクチャ

本論文は、標準的なエンコーダーの置き換えとして、大きさ（magnitude）を特徴検出に有用な信号とするデフォルトの仮定を取り除く、コサイン・スコア型SAEを導入している。最適化によってノルム依存性の指数 $a$ を学習させることで、大きさが本当に有用な場合には内積を回復できるが、デフォルトでは方向のみのスコアリングに設定される。

実証結果

Qwen3-8B（レイヤー18、5億トークン）および Gemma-2-2B に対する実験により、コサイン・スコア型SAEが以下の特性を持つことが示された：

一致した再構成（Matched Reconstruction）: 分散説明率（FVE）およびモデルの振る舞いの保存性（KL/CEスコア）は、標準的なSAEと統計的に区別がつかない。
顕著な解釈性の向上: 再構成レベルを一致させた状態で、特徴量ごとのコサイン・バリアントは、8つのSAEBenchデータセットにおいて、スパース・プロービングの top-1 正解率を +14.9% 向上させた。
特徴量の発見: この向上は、共有された特徴のエンコードが改善されたためではなく、むしろ新しい、解釈可能な特徴を発見したことによるものである。標準的なSAEは、辞書スロットがノルム検出器によって占有されてしまうため、これらの特徴を学習できない。
学習された幾何学: 学習プロセスは、学習された指数 $a$ を一貫してゼロへと向かわせる。Global レジームでは $a \approx 0.26$ であり、Per-feature レジームでは平均 $a_i \approx 0.08$ である。どの特徴も内積の限界（ $a=1$ ）には決して到達せず、方向が大きさではなく有用な信号であることを裏付けている。

メカニズムの特定

本論文は、標準的なSAEが失敗する原因を、ノルムの膨張下での Forward-pass TopK 選択として特定している。

勾配の再重み付けの失敗: 標準的なSAEにおいて、損失の再重み付け（loss reweighting）を通じてノルムの四分位間の勾配の大きさを等価にしようとしても、性能差のわずか 1.9–6.8% しか解消できなかった。これは、問題がバックプロパクションの勾配フローではなく、選択の幾何学（どの特徴がTopKの競争に勝つか）にあることを裏付けている。
ノルム条件付き特徴量: 標準的なSAEは、容量の大部分を、高ノルム・トークンに対して圧倒的に発火する特徴量（上位四分位における活性化の86%）に割り当てる。これらの特徴量は、内容ではなく大きさをエンコードしている。
再構成の病理: 高ノルム・トークンにおいて、標準的なSAEは入力よりも 9.5倍大きい出力ノルムで再構成するが、コサイン型SAEは 1× の比率を維持し、モデルの実際の読み出しと一致している。

4. 意義と主張

本論文は、正規化された表現に対する辞書学習においては、コサイン・スコアリングをデフォルトにすべきであると主張している。特定された失敗モード（内積型SAEが、内容特徴を過小評価してノルム検出器を優先してしまう現象）は、ポストRMSNorm サイトで訓練されたあらゆるSAEに影響を与える可能性がある。

実用的な影響: 提案された変更は、最小限のアーキテクチャ修正（1つまたは2つのスカラーパラメータの追加）であり、再構成コストを増やすことなく、より解釈可能な辞書をもたらす。
範囲と限界:
- メリットは RMSNorm において最も顕著である。LayerNorm モデル（例：Pythia, Falcon）では、深いレイヤーにおいてメリットが減少または消失しており、LayerNorm の平均減算が、内積スコアリングが利用可能な、大きさと相関した構造を保持していることを示唆している。
- Sentiment（感情） は、標準的なSAEがコサイン・バリアントを上回る唯一のタスクであり、これは「大きさ（magnitude）が感情分析においてタスクに関連する信号を運んでいる」という仮説と一致している。
- 結果はレイヤーやモデルを横断して堅牢であるが、普遍的ではない。利得の大きさはモデルの次元と深さに依存する。

著者らは、「サイズは重要ではない（size doesn't matter）」という原則が成立すると結論づけている。正規化された表現にとって、活性化の大きさは特徴検出のためのノイズであり、エンコーダーのスコア幾何学は、意味のある人間が認識可能な概念を回復するために、これ（大きさ）を反映しなければならない。