🤖 machine learning

High-Dimensional Random Projection for Activation Steering in Language Models

本論文は、高次元のランダム射影を利用して非線形な特徴部分空間における識別信号を捉えることで、既存の線形平均差分アプローチを凌駕し、大きな計算オーバーヘッドを伴わずに大規模言語モデルの振る舞いを制御する、学習不要のアクティベーション・ステアリング手法であるHiDRAを導入するものである。

原著者： Minh-Hieu Pham, Bach Do, Laziz Abdullaev, Tan Minh Nguyen, Khoat Than

公開日 2026-06-16

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Minh-Hieu Pham, Bach Do, Laziz Abdullaev, Tan Minh Nguyen, Khoat Than

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

大規模言語モデル（LLM）を、交響曲を奏でる巨大で複雑なオーケストラだと想像してみてください。「アクティベーション（活性化）」とは、ある特定の瞬間における演奏家たちの個々の音符です。研究者たちは、もしオーケストラに特定のスタイル（例えば、より誠実である、あるいは逆に、より反抗的であるなど）で演奏させたい場合、オーケストラ全体を再学習させる必要はないことを発見しました。代わりに、指揮者に特定の指示をささやいたり、演奏の途中でいくつかの楽器のボリュームを微調整したりするだけでよいのです。これは「アクティベーション・ステアリング（活性化制御）」と呼ばれます。

しかし、現在の手法は、部屋全体の平均的な音の高さだけを聞いてピアノを調律しようとするようなものです。それでもある程度は機能しますが、音楽を真に独特なものにするための、繊細で複雑なハーモニーを見落としてしまいます。

ここで、HiDRA（High-Dimensional Random Projection for Activation Steering）という論文が、どのようにゲームチェンジャーとなるのかを、簡単に説明します。

問題点：「平面的」な視点

現在の手法は、オーケストラの演奏を「平面的」な方法で捉えています。彼らは、「優れた」演奏と「悪い」演奏の間の平均的な差異を計算します。

限界： 3Dの彫刻を、壁に映った平面的な影としてのみ描写しようとしている状況を想像してみてください。それでは、奥行きや曲線、隠れた細部を見落としてしまいます。同様に、現在の手法は、モデルの脳内に隠された複雑で非線形な信号を見逃しています。彼らは「平均的な」違いしか見ておらず、特定の振る舞いを定義する微妙な二次的なパターンを無視しているのです。

解決策：「魔法のプリズム」（HiDRA）

著者たちは、HiDRAという新しいツールを提案しています。HiDRAを、オーケストラの楽譜の前にスライドさせる**「魔法のプリズム」**だと考えてください。

視点を引き上げる（プリズム）： 音符を元の平坦な形のまま見るのではなく、HiDRAはそれらをより高次元で多次元的な空間へと投影します。これは、彫刻の平らな影をプリズムを使って、隠れた曲線を持つ完全な3Dオブジェクトとして明らかにするようなものです。
隠れた信号を見つける： この新しく拡張された3D空間では、「誠実な」回答と「不誠実な」回答の間の微妙な違いが、より明確になり、特定しやすくなります。旧来の手法を混乱させていた「ノイズ」が、ここでは「信号」から分離されます。
調整： システムが音楽をこの3D空間内で押し進めるための完璧な方向を特定したら、プリズムを逆方向に使い、その押し進める力を元の平らな楽譜へと翻訳します。
結果： オーケストラは、新しい曲を学んだり演奏家を再学習させたりすることなく、新しいスタイルを完璧に奏でます。

なぜ機能するのか（理論）

この論文は、**「重ね合わせ仮説（Superposition Hypothesis）」**という概念を用いています。モデルの脳は、多くの異なるアイデアが同じ周波数上で重なり合いながら同時に話している、混み合った部屋のようなものだと想像してください。

旧来の手法： 平均的なノイズのボリュームを上げることで「真実」のステーションを探そうとします。そのため、しばしば静電気（スタティック）まで一緒に混ぜ込んでしまいます。
HiDRA： プリズムを使用して、重なり合ったラジオ局を分離します。それは、たとえ以前は静電気の中に隠れていたとしても、真実の信号が最も強い特定の「周波数」（あるいは数学的な方向）を見つけ出します。

実験内容

研究者たちは、この「魔法のプリズム」を3つの異なるタスクでテストしました。

ジェイルブレイク（脱獄）： モデルに安全規則を無視させようとすること。HiDRAは、旧来の手法よりもこれらの要求に従わせることに優れていました。
誠実さ（真実性）： モデルに真実を語らせようとすること。HiDRAは、ロボットのような話し方になったり、優れた文章を書く能力を失ったりすることなく、モデルをより正確で情報量豊かな状態にしました。
多肢選択問題： モデルを特定の回答へと誘導しようとすること。HiDRAは、従来の技術と比較して、モデルを正しい答えへと押し進める（あるいは間違った答えから遠ざける）精度がより高かったです。

注意点（限界）

論文では、HiDRAは強力である一方で、演奏中にプリズム効果を実行するために、多少の「筋肉」（計算力）を必要とすることを指摘しています。これは、より優れた制御を得るための小さな代償ですが、コンピュータにわずかな追加作業を強いることになります。

結論

HiDRAは、AIを制御するための巧妙な「プラグアンドプレイ」型のアップグレードです。AIを再学習させたり、そのアーキテクチャを変更したりする必要はありません。単に、数学的なレンズを追加することで、以前の手法では見ることができなかった微妙な信号を捉え、AIの振る舞いをより明確に可視化し、制御できるようにするのです。

技術要約：言語モデルの活性化ステアリングのための高次元ランダム射影

問題提起

活性化ステアリング（Activation steering）は、コストのかかる再学習を行うことなく大規模言語モデル（LLM）を制御するための主要な手法として台頭している。現在の最先端の手法、例えば「Activation Addition」や「Directional Ablation」は、**差分平均（Difference-in-Means; DiM）**ベクトルに依存している。これらの手法は、元の残差ストリームにおけるターゲットクラスとソースクラスの活性化の線形な平均差を計算することで、ステアリング方向を推定する。

しかし、著者らはこれらの線形手法には根本的な限界があると主張している。重ね合わせ仮説（Superposition hypothesis）の下では、ニューラルネットワークは、特徴量を活性化空間内で重複させることで、ニューロン数よりも多くの特徴をエンコードする。その結果、行動に関連する信号は、一次の平均シフトだけでは十分に捉えられない可能性がある。代わりに、判別信号は非線形な特徴部分空間や、二次の統計的構造（例：分散の差）として存在する可能性があるが、線形なDiM推定器ではこれらを回収できない。これに対処するために疎オートエンコーダ（SAE）を用いる試みも存在するが、線形ベースラインを下回ることが多く、また学習を必要とするため、高次の信号にアクセスするための学習不要なアプローチには空白が生じている。

手法：HiDRA

著者らは、ステアリング方向を推定および適用する空間を修正する、学習不要のフレームワークである**HiDRA（High-Dimensional Random-projection for Activation steering）**を提案する。

コアメカニズム

HiDRAは、ステアリングを行う前にモデルの活性化を高次元の非線形空間へと持ち上げ、その後、修正された活性化を元の残差ストリームへと射影することで動作する。パイプラインは以下の3つのステップで構成される。

リフティング（射影）： レイヤー $\ell$ における活性化ベクトル $x \in \mathbb{R}^d$ が与えられたとき、HiDRAはガウス行列 $A \in \mathbb{R}^{m \times d}$ （ここで $m \gg d$ ）を用いたランダム射影と、それに続く非線形活性化関数 $\sigma$ （デフォルトはLeakyReLU）を適用する。
$x' = \sigma(Ax)$
これにより、データを高次元の特徴空間 $\mathcal{H}$ へと写像する。
リフトされた空間でのステアリング： ステアリングベクトル $d^{(\ell)}$ は、射影された活性化を用いて、リフトされた高次元空間内において差分平均ベクトルとして計算される。
$d^{(\ell)} = \frac{1}{|D_{target}|} \sum_{t \in D_{target}} x'^{(\ell)}(t) - \frac{1}{|D_{source}|} \sum_{t \in D_{source}} x'^{(\ell)}(t)$
注入と再構成： 推論中、ステアリングベクトルは強度 $\alpha$ で射影された活性化に加算される。結果は、射影行列の擬似逆行列（ $A^\dagger$ ）と非線形関数の逆関数（ $\sigma^{-1}$ ）を用いて、元の空間へと射影される。
$x^{(\ell)}_{steered} = A^\dagger \sigma^{-1} \left( \sigma(Ax^{(\ell)}) + \alpha d^{(\ell)} \right)$

理論的基礎

本論文は、**ガウス重ね合わせモデル（Gaussian superposition model）**に基づく理論的正当性を提示している。

命題 3.1: 特徴空間が線形部分空間と残差部分空間に分解できる場合、特徴空間におけるフィッシャー比（判別力の尺度）は、残差判別信号が存在する場合（ $v_{res} \neq 0$ ）、線形空間におけるそれよりも厳密に大きくなることを示す。
定理 3.5: ガウス重ね合わせモデルの下では、リフトされた空間における残差成分のノルムは、二次の判別信号（クラス間の分散の差）によって下限付けられることを証明している。これは、ランダム射影と非線形性が、線形空間では不可視である信号を線形推定器（DiMなど）が捉えることを可能にすることを示唆している。

主な貢献

理論的分析： 著者らは、重ね合わせ仮説の下で、行動部分空間には二次の判別信号が存在することを証明した。彼らは、特徴空間のDiMが、標準的な線形平均シフト手法では到達できないこれらの残差信号を確実に捉えられることを示した。
HiDRAフレームワーク： 既存のパイプラインとシームレスに統合可能な、プラグイン型の学習不要なステアリング手法を導入した。これはモデルの再学習を必要とせず、固定されたランダム初期化された射影行列を使用する。
実証的検証： 多様なLLMファミリー（Gemma, Llama, Qwen）およびタスクにわたる広範な実験により、HiDRAが一般的なモデル能力を維持しながら、一貫してベースラインを上回る性能を示すことを示した。

実験結果

著者らは、3つの異なるステアリングタスクにおいてHiDRAを評価した。

1. ジェイルブレイク（Jailbreaking）

設定： 有害な要求に従うようモデルをステアリングする（ADVBENCHやMALICIOUSINSTRUCTなどのデータセットを使用）。
ベースライン： Mean-AcT（標準的なDiMステアリング）と比較。
結果： HiDRAは、テストされたすべてのモデル（Gemma 2, Llama 3.2, Qwen 2.5）において高い攻撃成功率（ASR）を達成した。例えば、Gemma2-9B-ITにおいて、全トークン設定でのASRは、Mean-AcTの84.00%からHiDRAの90.00%へと上昇した。決定的なことに、一般的な言語モデリング能力（TINYBENCHMARKSで測定）はベースラインと同等であり、有用性の著しい低下がないことを示している。

2. 真実性（Truthfulness）

設定： TRUTHFULQAベンチマークを用い、より真実かつ情報量の多い回答を生成するようにモデルをステアリングする。
結果： HiDRAは、Gemma-2-2BおよびLamma-3-8Bの両方において、Mean-AcTおよびステアリングなしと比較して、「真実 $\times$ 情報量」の指標を向上させた。この手法は一般的なベンチマークにおける性能を維持しており、真実性の向上が一般的な能力を犠牲にして達成されたものではないことを示唆している。

3. CAAスタイルの多肢選択式質問回答

設定： 特定の行動概念（例：「おべっか使い（Sycophancy）」、「幻覚（Hallucination）」）の確率を多肢選択形式で制御し、Contrastive Activation Addition (CAA) および Sparse Activation Steering (SAS) と比較する。
結果： HiDRAは、ターゲットとなる概念に対して優れた制御能力を示した。テストされた6つの概念すべてにおいて負の属性（トークン確率の低下）を抑制することにおいて最高の成績を収め、6つのうち5つの概念において正の属性を促進することにおいても、CAAおよびSASを上回る結果を出した。

アブレーション研究

ベクトル抽出： ベクトル抽出において、DiMと線形判別分析（LDA）を比較した。結果は、HiDRAの性能向上は主に高次元射影に由来するものであり、共分散の条件付けによるものではないことを示している。これは、元の空間におけるHiDRA（DiM使用）がLDAを上回ったことからも裏付けられる。
非線形性： 非線形写像の選択が重要である。多項式写像（Cube, Cubic）は高いASRを示したが、退化した生成を引き起こした。一方、LeakyReLUおよびSkip-softplusの変種は、グローバルにリプシッツ連続であるため、残差ストリームへの写像時に安定した摂動を保証し、最適であることが判明した。

意義と主張

本論文は、高次元ランダム射影の幾何学を利用することで、HiDRAが証明可能なほど優れた活性化ステアリングのアプローチを提供すると主張している。

線形の限界を超えて： 線形ステアリング手法の限界に対処し、重ね合わせによる潜在的特徴の非線形な残差構造に存在する判別信号を捉える。
効率性と互換性： SAEベースの手法とは異なり、HiDRAは学習不要であり、疎な辞書を学習する必要がない。モデルのアーキテクチャや重みを変更することなく、既存のあらゆるステアリング・パイプラインと組み合わせることができる「プラグイン」として機能する。
堅牢性： HiDRAは、強力な行動制御（高いASR、より高い真実性、より微細な概念制御）を実現しながら、再学習に伴う大きな計算オーバーヘッドや、他の介入手法で見られるような能力の低下を引き起こさない。

著者らは、HiDRAは射影と再構成のステップにより推論時の計算オーバーヘッドを導入するものの、LLMにおける高次の制御信号を解き放つための、原理に基づいたサンプル効率の高い経路を提供するものであると結論付けている。