On the Non-Identifiability of Steering Vectors in Large Language Models

本論文は、大規模言語モデルにおけるアクティベーション・ステアリング手法が、入力と出力の挙動からステアリングベクトルを一意に特定できないという根本的な非識別性の問題を抱えており、直交する摂動でも同様の効果が得られることを示し、行動テストのみに依存した解釈には限界があることを明らかにしています。

要約

この論文は、**「AI（大規模言語モデル）の性格を操作する『魔法の杖』は、実は無限に存在する」**という驚くべき発見について書かれています。

専門用語を抜きにして、日常の言葉と面白い例え話を使って解説しますね。

🧙‍♂️ 結論：AI の「性格」を操る魔法の杖は、実は「偽物」だらけ？

最近、AI に「もっと丁寧な口調で話して」「もっと皮肉っぽくして」と指示する技術（ステアリング）が注目されています。研究者たちは、AI の頭の中にある特定の「方向（ベクトル）」を少しずらすだけで、AI の性格が変わると信じていました。まるで、AI の脳内の「誠実さスイッチ」や「ユーモアスイッチ」を指で押しているようなイメージです。

しかし、この論文は**「それは間違いです。スイッチは一つだけではありません。同じ効果を出す『偽のスイッチ』が無限に存在します」**と告げています。

---

🌊 例え話：川とボート

この現象を理解するために、**「川を渡るボート」**の話を想像してみてください。

1. 川（AI の出力）:
   あなたが川を渡りたいとします。川は「AI が生成する文章」です。
2. ボート（AI の内部状態）:
   ボートは AI の頭の中にある情報です。
3. 漕ぎ手（ステアリング）:
   あなたはボートを漕いで、川を「北（丁寧な文章）」へ進ませたいとします。

🔍 従来の考え方（研究者の思い込み）

「北へ進むためには、**『北を向く漕ぎ棒（特定のベクトル）』**を一本だけ使えばいいんだ！」
研究者たちは、この「北を向く棒」を見つけ出し、それを使えば AI が丁寧になると信じていました。

💥 この論文の発見（真実）

しかし、実は**「北を向く棒」は一つだけではありません。**

• 本物の棒（Row Space）: 川を北へ運ぶ力がある棒。
• 見えない棒（Null Space）: 川の流れに対して「横方向」や「垂直方向」に動く棒。これらは川を進ませる力（出力）には全く影響しません。

ここがポイントです！
もしあなたが「北へ進む棒」に、「横方向に動く見えない棒」をくっつけて使っても、ボートの進路（AI の出力）は全く同じ北に進みます。

• 棒 A = 北へ進む力
• 棒 B = 北へ進む力 ＋ 横に動く力（無視される）
• 結果 = どちらもボートは北へ進みます。

つまり、「北へ進むための棒」は、横に動く力がどれだけ混ざっていても、見た目（出力）は同じなのです。

🎭 なぜこれが問題なのか？

研究者たちは「AI の『誠実さ』という概念を、この棒（ベクトル）が表している！」と主張していました。
しかし、この論文によると：

「その棒は、たまたま『誠実さ』を表現していたのではなく、『横に動く力』を混ぜた偶然の組み合わせに過ぎないかもしれません」

例え話で言うと：
あなたが「美味しい料理を作る魔法のレシピ」を見つけたとします。
でも、実はそのレシピには「味に影響しない粉（塩と砂糖の代わりに、見た目は同じだが味が変わらない粉）」が大量に混ぜ込まれていました。
その粉を別の粉に置き換えても、料理の味は変わりません。
だから、「この粉が『美味しさ』の正体だ！」と断定することはできないのです。

🧪 実験でわかったこと

研究者たちは、実際に AI（Qwen や Llama）を使って実験しました。

1. 元の棒（AI から抽出した「丁寧さ」の棒）で操作する。
2. 元の棒に、**「横に動く見えない棒（直交するベクトル）」**をランダムに混ぜて操作する。

結果：
AI が生成する文章の「丁寧さ」は、ほぼ 100% 変わらないことがわかりました。
混ぜた「見えない棒」がどれほど大きくても、AI の出力（川の流れ）は同じだったのです。

💡 この発見が意味すること

1. AI の「心」は読めない:
   「このベクトルは『嘘』を表している」という主張は、科学的に証明されていません。たまたまその方向にたどり着いただけで、他にも無数の「嘘のベクトル」が存在するからです。
2. AI の制御は「魔法」ではなく「ハック」:
   今の技術は、AI の内部構造を正しく理解して制御しているのではなく、たまたま「同じ結果が出る偶然の組み合わせ」を見つけ出しているに過ぎない可能性があります。
3. 今後の課題:
   AI の振る舞いを本当に理解し、信頼できる制御をするためには、単に「出力が変わったか」を見るだけでなく、**「なぜその方向が選ばれるのか」を決める、もっと強いルール（構造の制約）**が必要だと示唆しています。

📝 まとめ

この論文は、**「AI の性格を操る魔法の杖は、実は『正解』が一つしかないのではなく、同じ効果を出す『偽物』が無限に存在する」**と警告しています。

私たちは「AI の脳内のスイッチ」を操作しているつもりが、実は**「同じ結果を出す何千通りもの組み合わせ」の一つを、たまたま選んでいただけ**なのかもしれません。

AI をより深く理解し、安全に制御するためには、この「正解の多さ（非識別性）」というジレンマを乗り越える新しいアプローチが必要なのです。

技術概要

論文要約：大規模言語モデルにおけるステアリングベクトルの非識別性について

タイトル: On the Non-Identifiability of Steering Vectors in Large Language Models
著者: Sohan Venkatesh, Ashish Mahendran Kurapath
所属: マニパル工科大学ベンガルール校

1. 問題設定と背景

大規模言語モデル（LLM）の振る舞いを制御する手法として、「アクティベーション・ステアリング（Activation Steering）」が広く用いられています。これは、モデルの中間層のアクティベーションに学習された方向ベクトル（ステアリングベクトル）を加えることで、モデルの出力を特定のセマンティックな方向（例：丁寧さ、フォーマルさ、ユーモアなど）へ誘導する技術です。

既存の研究では、抽出されたステアリングベクトルが意味のある内部表現（潜在変数）を一意に反映しており、そのベクトルを操作することで因果的な制御が可能であると暗黙的に仮定されています。しかし、本研究は以下の根本的な疑問を提起します。

• 問い: 入力 - 出力の振る舞いのみから、ステアリングベクトルを一意に復元（識別）することは可能か？
• 仮説: 従来の手法は、多くの「振る舞い的に区別できない」方向のいずれかを単に利用しているに過ぎず、ベクトル自体は本質的に非識別（non-identifiable）であるのではないか？

2. 方法論と理論的枠組み

2.1 理論的モデル

著者は、事前学習済みトランスフォーマーモデルにおけるステアリングを、局所的な線形近似を用いて分析しました。

• モデル: 入力 $x$ に対する隠れ表現 $h_\ell$ にベクトル $v$ を加え、出力ログイット $o$ が得られると仮定します。
• 近似: 出力ログイットの変化は、ヤコビアン $J_\ell = \frac{\partial o}{\partial h_\ell}$ を用いて $o \approx o_0 + \alpha J_\ell v$ と近似されます。
• 非識別性のメカニズム: ヤコビアンの核（Null space, $\ker(J_\ell)$）に属する任意のベクトル $v_0$ に対して、$J_\ell v_0 = 0$ が成り立ちます。したがって、元のベクトル $v$ に $v_0$ を加えた $v' = v + v_0$ は、線形近似において $v$ と全く同じ出力変化をもたらします。

2.2 実験的検証

理論的な予測を検証するため、以下の実験を行いました。

• 対象モデル: Qwen2.5-3B-Instruct と Llama-3.1-8B-Instruct の 2 種類。
• 対象特性: フォーマルさ（Formality）、丁寧さ（Politeness）、ユーモア（Humor）の 3 つ。
• 手法:
  1. 対照的なプロンプトペアから基準となるステアリングベクトル $v$ を抽出。
  2. $v$ に直交するランダムなベクトル $v_\perp$ を生成し、$v' = v + v_\perp$ を作成（$v_\perp$ は理論上の核空間成分を含むと仮定）。
  3. 元のベクトル $v$ と摂動ベクトル $v'$ を用いて生成されたテキストのセマンティックスコアを比較。
  4. コーエンの $d$（効果量）や相関係数を算出し、両者の振る舞いが統計的に同等かどうかを評価。
• 分布シフトの検証: 異なるドメイン（医療、法務、SNS など）やセマンティックな文脈において、この同等性が維持されるかを確認。

3. 主要な貢献と結果

3.1 理論的貢献：非識別性の証明

命題 1: 局所的な線形近似の下、追加的な構造的制約がない限り、ステアリングベクトルは本質的に非識別です。

• 証明の要点: ヤコビアン $J_\ell$ のランクが隠れ次元 $d$ より小さい場合（過剰パラメータ化されたモデルでは一般的）、核空間の次元は正になります。したがって、無限に多くの幾何学的に異なるベクトル $v'$ が、観測可能な出力に対して $v$ と完全に同等（Observational Equivalence）となります。
• 意味: 特定のベクトルが「ある概念を表現している」という主張は、測定や投影のアーティファクトに過ぎず、科学的に確立されたものではない可能性があります。

3.2 実験的結果

• 直交摂動の効果: 抽出されたベクトル $v$ と、それに直交成分 $v_\perp$ を加えたベクトル $v + v_\perp$ を比較した結果、両者のセマンティックな効果量（Cohen's $d$）は 0.08〜0.10 程度であり、統計的に無視できるレベル（$d < 0.2$）でした。
• 同等性の高さ: 純粋な直交成分のみでステアリングを行った場合でも、元のベクトルの 95〜100% の効果を示しました。
• 頑健性:
  • モデル間: 異なるアーキテクチャ（Qwen と Llama）やパラメータ数（3B と 8B）間で同様の結果が得られました。
  • 分布シフト: プロンプトのドメインやスタイルを変えても、非識別性は維持されました。これは、この現象が特定のデータ分布のアーティファクトではなく、モデルの幾何学的な構造に起因するものであることを示しています。
  • スケーリング: ステアリング強度（$\alpha$）を変化させても、両者の振る舞いは同等でした。

3.3 追加的検証（ログイットレベル）

Appendix A では、セマンティックなスコアリングだけでなく、直接ログイット分布を比較しました。その結果、直交摂動によるログイットの変化はランダムな方向よりも小さく、出力分布の保存性が確認されました。

4. 意義と結論

4.1 解釈可能性の限界

本研究は、アクティベーション・ステアリングが「因果的な介入」を可能にするという解釈には根本的な限界があることを示しました。

• 振る舞い vs. 構造: 入力 - 出力の振る舞いが制御できても、それがモデル内部の「意味のある」特定の方向を操作しているとは限りません。無限の等価クラスが存在するため、発見された方向がカノニカルな特徴に対応している保証はありません。
• 構造的制約の必要性: 信頼性の高いアライメント介入や解釈可能性の主張を行うためには、単なる振る舞いベースのテストを超え、独立性制約（ICA）やスパース性正則化などの構造的制約を導入して、対称性を破り、意味のある因子を特定する必要があります。

4.2 今後の展望

• 非識別性を克服するための構造的アプローチの有効性検証。
• 異なる層やアーキテクチャにおける非識別性の度合いの分析。
• 敵対的攻撃や分布シフト下でのステアリング手法の頑健性評価。

総括

本論文は、LLM のステアリングベクトルが、観測データからは一意に決定できない「非識別」な性質を持っていることを理論的・実証的に証明しました。これは、現在の解釈可能性研究における「ベクトルは意味を表現している」という前提への重要な警告であり、より信頼性の高いモデル制御と解釈のためには、モデルの幾何学的構造に対するより深い理解と制約が必要であることを示唆しています。