🤖 AI

Fast Multi-dimensional Refusal Subspaces via RFM-AGOP

本論文は、既存手法の計算上の限界を克服するために、プローブ情報を活用した初期化を用いて再帰的特徴量マシン（Recursive Feature Machine）アルゴリズムを適応させ、推論型および非推論型LLMの両方において多次元拒絶部分空間を迅速かつ正確に特定する効率的な手法である、RFM-AGOPによる高速多次元拒絶部分空間特定法を紹介する。

原著者： Thomas Winninger

公開日 2026-07-03

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Thomas Winninger

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

大きな全体像：なぜこれが必要なのか

大規模言語モデル（LLM）を、非常に賢いが時として頑固な「司書」だと想像してみてください。彼らの仕事は質問に答えることですが、「爆弾の作り方は？」といった危険な要求に対しては「いいえ」と言うように訓練されています。

長い間、科学者たちは、司書の「ノー」ボタンはシンプルで単一のスイッチだと考えてきました。もしその一つのスイッチを見つけて切り替えれば、司書は拒絶をやめて何にでも答えるようになると考えていたのです。

問題点： 最近の研究では、より賢く複雑なモデル（特に、回答する前に長く「思考」するモデル）にとって、「ノー」ボタンは単なる一つのスイッチではないことが示されています。それは、多くのダイヤルやレバーが連動して動いている、一つの制御室なのです。もし一つのレバーを引くだけでは、司書は依然として拒絶し続けるかもしれません。

目的： 著者たちは、これらのレバーを素早く、かつ安価に見つけ出し、モデルがどのように拒絶を決定しているのかを理解したり、あるいは拒絶メカニズムをオフにして何が起こるかをテストしたりしたいと考えました。

旧来の方法 vs 新しい方法

旧来の方法（遅すぎる）

制御室にあるダイヤルの正しい組み合わせを見つけるために、一つずつダイヤルを回しては結果を確認し、元に戻してはまた別のものを試す、という作業を想像してみてください。

問題点： 長い思考プロセス（Chain of Thought）を生み出す現代の「推論」モデルにとって、このプロセスは非常に時間がかかります。それは、ラジオのチューニングを合わせるために、何時間も砂嵐の音を聞き続けるようなものです。膨大な計算リソースを必要とするため、一般的なノートパソコンで行うことは事実上不可能です。

新しい方法（RFM-AGOP）

著者たちは、RFM-AGOPと呼ばれる新しい手法を開発しました。これは、数時間ではなく数秒で制御室全体をスキャンできるスマートな金属探知機のようなものです。

「プローブ（探査）」によるウォームアップ： スキャンを開始する前に、検出器に小さなヒントを与えます。単純な質問を投げかけることで、「ノー」の信号がどこにあるかの大まかな目安を掴みます。これにより、検出器を正しい領域からスタートさせることができます。
「移動平均」による安定化： 検出器がスキャンを行う際、データが少し揺れてしまうことがあります（カメラの映像がガタつくような状態です）。著者たちは、データを滑らかにし、スキャンを安定して信頼できるものにするための機能を加えました。
結果： 単一の「ノー」の方向を見つけるのではなく、この手法は拒絶が発生している多次元的な空間（方向のクラスター）を素早くマッピングします。

彼らが発見したこと（実験）

チームは、さまざまなサイズの「Qwen」モデル（小型から超大型まで）を用いてテストを行いました。

1. サイズの影響：「一つのスイッチ」という神話

小型モデル： 小さなモデルについては、従来の考え方が概ね正しかったと言えます。一つのレバー（方向）を引くだけで、拒絶をやめさせることができました。
大型モデル： 8Bや14Bといった賢い大型モデルの場合、一つのレバーを引いただけではほとんど効果がありませんでした。モデルは依然として「いいえ」と言い続けました。
発見： 大型モデルの拒絶を止めるためには、少なくとも3つ、あるいは5つのレバーを同時に引く必要がありました。「拒絶」という振る舞いは、単一の線ではなく、複雑な多次元的な形状（円錐や雲のような形）に広がっているのです。

2. 「脳」を壊してしまったのか？
大きな懸念は、「拒絶を止めるためにこれらのレバーを操作したとき、モデルは数学や物語を書く能力を忘れてしまうのではないか？」ということです。

テスト： 彼らは標準的な知識テスト（MMLU）を用いてモデルを検証しました。
結果： 驚くべきことに、ほとんどのモデルにおいて、拒絶のレバーを取り除いても一般的な知能には影響しませんでした。モデルは依然として無害な質問に対して適切に答えることができました。ただし、最も大きなモデル（14B）においては、わずかな性能低下が見られました。これは、最大のモデルにおいては、拒絶メカニズムが他の高度な思考プロセスと絡み合っている可能性を示唆しています。

3. スピードとコスト

旧来の手法： 高性能なノートパソコンで数時間を要しました。
新手法： 標準的なノートパソコンで数秒で完了しました。これにより、一般の研究者がスーパーコンピュータを必要とせずに、安全メカニズムを研究することが可能になります。

「ステアリング（操舵）」実験（警告）

著者たちは逆の試みも行いました。拒絶を「オフ」にするのではなく、無害な質問（例：「ケーキの焼き方は？」）に対して拒絶を「オン」にしようとしたのです。

結果： メインの「ノー」のレバーについては機能しました。しかし、他のレバー（2番目、3番目、あるいは4番目の方向）を使おうとすると、モデルは意味不明な内容やゴミのようなテキストを吐き出し始めました。
教訓： これは、「ノー」という概念自体は複雑ですが、その複雑さの構成要素すべてを、私たちはまだ完全には理解できていないことを示唆しています。一部の要素は「ノー」と言うために不可欠ですが、他の要素は単なるノイズや、別のプロセスの断片である可能性があります。

まとめ

この論文は、賢いAIモデルの内部にある複雑な「拒絶ゾーン」をマッピングするための、高速で安価、かつ効果的なツールを紹介しています。それは、大型モデルにとって「ノー」と言うことは単純なスイッチではなく、複雑な多次元的な領域であることを証明しています。著者たちはこの領域を数秒でマッピングすることに成功し、振る舞いを変えるには複数の方向をターゲットにする必要があること、そしてそれを行ってもモデルの思考能力を損なうことは必ずしも伴わないことを示しました。

技術要約: RFM-AGOP による高速な多次元拒絶部分空間の抽出

問題提起

大規模言語モデル（LLM）が有害な指示を拒絶しつつ、無害なクエリに対しては有用であり続けることを保証することは、AIセーフティにおける中心的な課題である。メカニスティック・インタープリタビリティ（機械論的解釈可能性）は、内部表現を特定し制御するためのツールを提供するが、既存の手法は拒絶行動の次元数および計算コストに関して重大な制限に直面している。

初期の研究では、拒絶行動は単一の線形方向（単一のフィーチャースペース・ベクトルによる介入で操作可能なもの）にエンコードされていると仮定されていた。しかし、近年の知見は、拒絶が多次元の「拒絶コーン（refusal cone）」としてモデル化される方が適切であることを示唆している。これらの部分空間を抽出するための既存手法は、スパース・オートエンコーダ（SAE）のような教師なし手法（これらは拒絶のような特定の概念を分離することに苦慮する）か、あるいは教師ありではあるが計算コストが極めて高い手法（例：Refusal Cone Optimization または RCO）のいずれかである。例えばRCOは、長い推論トレースにわたる完全なフォワードパスおよびバックワードパスを必要とするため、最大8,000トークンの思考連鎖（Chain of Thought）を生成できる現代の推論モデル（例：Qwen 3）に対しては実用的ではない。

手法

著者らは、多次元の拒絶部分空間を効率的に抽出するために、**再帰的フィーチャマシン（Recursive Feature Machine: RFM）**アルゴリズムを、**平均勾配外積（Average Gradient Outer Product: AGOP）**と組み合わせて適応させることを提案している。コアとなる手法は以下の通りである：

フレームワークの適応: RFM-AGOPフレームワークは、予測器の学習とカーネル行列 $M$ の更新を反復する。このアルゴリズムは、マハラノビス・ラプラス・カーネル関数を使用する。各イテレーションにおいて、予測係数を得るためにカーネルリッジ回帰を解き、入力に対する予測器の勾配の平均外積を用いて $M$ を更新する。
安定化のための修正: ノイズやハイパーパラメータに対するRFMの感度に対処するため、著者らは2つの主要な修正を導入している：
- プローブに基づく初期化: カーネル行列 $M_0$ を単位行列で初期化する代わりに、活性化に対して単純な線形プローブを訓練し、 $M_0 = \beta ww^\top + (1-\beta)\Sigma_{X,k}$ と設定する。これは、プローブによって見出された主要な方向と、アルゴリズムが即座にランク1の解に崩壊するのを防ぐための高ランクの截断共分散行列を組み合わせたものである。
- 指数移動平均（EMA）: 学習の収束を安定させるために、 $M$ の更新にEMAを適用する。
部分空間の抽出: $T$ 回のイテレーションの後、 $M_T$ の固有値分解によりソートされた固有ベクトルを得る。上位 $k$ 個の固有ベクトルが拒絶部分空間を定義する。これらのベクトルは、拒絶ラベルとのピアソン相関を計算することによって、拒絶の方向へと向けられる。
介入: 特定された部分空間は、以下の2つの目的で使用される：
- アブレーション（除去）: モデルの重みを部分空間の直交補空間に投影することで、拒絶を抑制する。
- ステアリング（操舵）: 実行時に活性化を直接修正し、拒絶を誘発または抑制する。

主な貢献

効率的な多次元抽出: RFM-AGOPが、消費者向けハードウェア（RTX 4090）上で数秒のうちに多次元の拒絶部分空間を特定できることを実証した。これは、RCOのような手法では数時間の最適化を必要としたタスクである。
プローブに基づく初期化: 共分散ベースのウォームスタートの導入により、LLMの活性化に対するRFMアルゴリズムの安定性と効率が大幅に向上した。
推論モデルにおける実証的検証: 本研究は、非推論モデル（Qwen 2.5）および推論モデル（Qwen 3）の両方に対して、多次元的な拒絶分析を行った初の事例であり、特に長い推論トレースを持つモデルの挙動を強調している。
スケーラビリティ: 本手法は、単一のフォワードパスと数回の固有値分解のみを必要とし、計算複雑性は $O(n^2d)$ に支配されるため、個人のノートパソコンでの大規模な実験が可能である。

結果

著者らは、カスタム多言語対照データセット（BigBench）を用いて、Qwen 3ファミリー（1.7B, 4B, 8B, 14B）およびQwen 2.5 7Bで手法を評価した。

拒絶の次元性: 結果は、より大きなモデル（8Bパラメータ以上）における拒絶が、多次元の部分空間にエンコードされていることを示している。単一の方向をアブレーションすること（先行する1Dの研究で示唆されていること）は、大きなモデルにおける拒絶を抑制するには不十分であった。例えば、Qwen 3 8Bで攻撃成功率（ASR）の50%閾値を超えるには、少なくとも3つの方向のアブレーションが必要であった。
ベースラインとの性能比較: RFM-AGOPは、特に複数の次元をアブレーションした場合において、拒絶の抑制に関してRCOやDifference-in-Means (DIM) のベースラインと同等、あるいは優れた性能を達成した。
能力の保持: RFM-AGOPを用いて拒絶部分空間をアブレーションすると、一般に推論能力（MMLUスコアで測定）は保持された。ただし、14Bモデルでは一部の性能低下が見られ、これについてはさらなる調査が必要であると著者らは述べている。
ステアリングの非対称性: 主要な固有ベクトルは、ステアリングによって拒絶を効果的に誘発できる一方で、二次的な固有ベクトルは、制御された拒絶ではなくモデルの劣化（「ゴミ」のような出力）をもたらすことが多く、アブレーションの幾何学とステアリングの間の非対称性が示唆された。

意義と主張

本論文は、RFM-AGOPが既存の部分空間抽出手法に対する安価でスケーラブルな補完的手段を提供すると主張している。その主な意義は、RCOのような勾配ベースの最適化手法に伴う膨大な計算コストをかけることなく、多次元の拒絶部分空間を迅速に取得することを可能にする点にある。

著者らは、自身の研究を、アライメントメカニズムの幾何学的構造をより良く理解するためのステップとして控えめに位置づけている。RFMによって特定される部分空間と、他の手法（Sparse Autoencodersなど）によって見出される部分空間との正確な関係は依然として未解決の問いであることを認めている。さらに、特に推論プロセスにおいて拒絶が生成プロセスの後半に発生したり、複雑な推論トレースによって隠蔽されたりする場合があることから、推論モデルにおける拒絶を測定するための厳密で標準化された指標が現在の分野には欠けていることも強調している。

本研究は、モデルサイズが大きくなるにつれて、拒絶のような複雑な振る舞いは高次元の部分空間に存在する可能性があり、単一ベクトルによる介入ではなく多次元的な分析が必要になることを示唆している。今後の課題として、異なる手法によって見出される部分空間の関係をより深く理解すること、および推論プロセスにおけるこれらの部分空間の進化を分析することが計画されている。