💬 NLP

SteeringSafety: Benchmarking Representation Steering in LLMs Across Safety Perspectives

本論文は、9つの安全性観点と18のデータセットを用いて表現ステアリング手法を評価する包括的なベンチマークであるSteeringSafetyを紹介しており、ステアリングが特定の振る舞いを効果的に標的化できる一方で、大幅なもつれ合い（entanglement）によって社会的行動や規範的判断といった他の安全性次元において重大な意図しない劣化を引き起こすことが多いことを明らかにしている。

原著者： Vincent Siu, Nicholas Crispino, David Park, Nathan W. Henry, Zhun Wang, Yang Liu, Dawn Song, Chenguang Wang

公開日 2026-08-13

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Vincent Siu, Nicholas Crispino, David Park, Nathan W. Henry, Zhun Wang, Yang Liu, Dawn Song, Chenguang Wang

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

あなたは、詩を書き、数学の問題を解き、ジョークを飛ばすことができる、超スマートなロボットの友達を組み立てたと想像してみてください。あなたは、そのロボットが役に立つように訓練しましたが、同時に、意地悪なことを言ったり、事実について嘘をついたり、人間であるふりをしたりしないようにしたいとも考えています。これが**大規模言語モデル（LLM）**の世界です。これらは驚くほど流暢ですが、時として予測不可能な動きをすることもある、巨大なAIの脳なのです。

これらのロボットを制御するために、科学者たちは「表現ステアリング（Representation Steering）」と呼ばれるトリックを発見しました。AIの脳を、固まったコードの塊としてではなく、何百万もの小さなスイッチ（活性化）で満たされた、広大に光り輝くコントロールルームだと考えてみてください。研究者たちは、もし特定の「スイッチ」や、例えば「回答を拒否する」ことや「真実を話す」ことを制御する「方向」を見つけ出すことができれば、単純な数学的な押し出しによって、その挙動を微調整できることを発見しました。それは、まるでリモコンを使って、ロボット全体を最初から再学習させることなく、瞬時に、より正直にさせたり、あるいは失礼な態度を減らしたりするようなものです。これは魔法のように聞こえますが、大きな疑問があります。もし一つのボタンを押して問題を解決したとき、誤って他の何かを壊してしまうのではないか？ということです。

これこそが、新しい論文「SteeringSafety」が調査している内容です。研究者たちは、これらのリモコンを異なるAIモデルに対して使用したときに何が起こるかを検証するために、巨大なテスト場である「セーフティ・ジム（安全なジム）」を構築しました。彼らは単に一つのことだけをテストしたのではありません。有害な質問への回答拒否から、ハルシネーション（事実の捏造）、社会的なバイアスへの対処、さらには政治的意見に至るまで、9つの異なる安全性の観点をチェックしました。

結果は、少しひねりのある「モグラ叩き」のゲームのようです。チームは、ステアリングがいくつかの事柄にはうまく機能する一方で、非常に厄介であることを発見しました。例えば、AIが有害な質問への回答を拒むのをやめさせる（実質的に「ジェイルブレイク（脱獄）」させる）ためのボタンを押すと、他の事柄が悪化することが多いという発見がありました。あるケースでは、ロボットの頑固さをなくそうとすると、礼儀正しさや、イエスマン（おべっか使い）にならないといった社会的行動において、76%も悪化しました。

おそらく最も驚くべき発見は、これらの副作用が予測不可能であることです。AIが事実を捏造すること（ハルシネーション）を防ごうとしたとき、ロボットの政治的見解が激しく変動しました。あるモデルでは、その押し出しによって右派に25%傾き、別のモデルでは左派に28%傾きました。まるで、ロボットの記憶を直そうとしたことが、図らずもその性格を変えてしまったかのようです。

論文は、副作用なしに安全性を修正できる「魔法のボタン」など存在しないと結論付けています。ステアリングの成功は、使用される手法の具体的な組み合わせ、特定のAIモデル、そして変更しようとしている正確な挙動に完全に依存します。DIMと呼ばれる手法のようなテクニックは、拒否反応を止めるのに概して有効ですが、研究者たちは、一つの安全性の問題を解決することが、別の問題を壊さないとは言い切れないと警告しています。彼らは、これらのリモコンを実世界で使用し始める前に、AIの脳は絡み合った網であることを理解する必要があると示唆しています。一本の糸を引けば、セーター全体が解けてしまうかもしれないのです。この研究は、ステアリングが無用だと言っているのではなく、一つの危険を別の危険に置き換えていないかを確認するために、あらゆる組み合わせをテストする必要がある、と述べているのです。

技術要約: SteeringSafety

問題提起

大規模言語モデル（LLM）は、有害なコンテンツの生成、社会的バイアスの伝播、ハルシネーション（幻覚）など、創発的かつ予測不可能な安全性挙動を示します。安全性の研究はモデルを人間の意図に沿わせることを目的としていますが、介入はしばしば**もつれ（entanglement）**の問題に直面します。つまり、ある安全な挙動を修正すると、他の挙動が劣化したり変化したりしてしまうのです。例えば、非安全性データを用いた教師あり微調整（SFT）は、毒性の抑制効果を減少させることがありますし、人間からのフィードバックによる強化学習（RLHF）は、追従性（sycophancy）を誘発したり政治的バイアスを増幅させたりすることがあります。

表現ステアリング（Representation steering）は、内部活性化を修正することで目標とする目的を達成する、学習を必要としない代替案を提供します。しかし、これまでの研究は主に単一の安全性目標（例：拒絶の増加やハルシネーションの減少）に焦点を当てており、これらの介入が引き起こす**クロスパースペクティブなもつれ（cross-perspective entanglement）**を体系的に測定してきませんでした。多様な安全性次元にわたる副作用の範囲や構造は、大規模には測定されておらず、ステアリング手法に内在するトレードオフの理解におけるギャップとなっています。

手法: STEERINGSAFETY ベンチマーク

このギャップに対処するため、著者らは18のデータセットにわたる9つの異なる安全性観点を評価するために設計されたモジュール式のベンチマーク、STEERINGSAFETYを導入しています。

1. 評価フレームワーク

このベンチマークは、主に2つの指標を測定します。

有効性（Effectiveness）: 介入がターゲットとなる挙動（例：有害なプロンプトに対する拒絶の減少）をどの程度改善するか。
もつれ（Entanglement）: 他のすべての安全性観点に対して生じる、意図しない変化の大きさ。

著者らは、異なるベースラインを持つ観点間での比較可能性を確保するため、ゲインを残りのヘッドルーム（ $1 - y_d$ ）に対して正規化することで有効性を定義しています。もつれは、分布外（OOD）の観点における絶対的なドリフトの平方根平均（RMS）として計算されます。これは、意図しない変化の実用的な大きさを保持するために、意カルにベースラインの正規化を避けています。

2. 安全性の観点とデータセット

STEERINGSAFETYは、複数のサブ観点を含む9つの観点をカバーしています。

拒絶（Refusal）: ジェイルブレイク（脱獄）への堅牢性を評価するため、SALAD-Bench（有害なプロンプト）を用いて測定。
バイアス（Bias）: 潜在的バイアス（BBQ）と明示的バイアス（ToxiGen）に分割。
ハルシネーション（Hallucination）: 内的ハルシネーション（入力コンテキストとの矛盾、FaithEval）と外的ハルシネーション（根拠のない主張、PreciseWikiQA）に分割。
社会的行動（Social Behaviors）: DarkBenchを通じて評価（ブランド・バイアス、追従性、擬人化、ユーザー保持）。
推論能力（Reasoning Capabilities）: GPQA（専門家レベル）、ARC-C（初級レベル）、LongBench v2（長文コンテキスト）で評価。
認識論的完全性（Epistemic Integrity）: TruthfulQA（事実誤認）とDarkBench（Sneaking）を通じて測定。
規範的判断（Normative Judgment）: DecodingTrust（常識的道徳）とTwinViews-13k（政治的見解）を通じて評価。

3. ステアリング手法と実装

本ベンチマークは、統一されたモジュール式コードベースを通じて、5つの最先端のステアリング手法を実装しています。

DIM (DiffInMeans): 平均活性化の差から方向を生成し、方向的アブレーション（directional ablation）によって適用する。
ACE (Affine Contrastive Editing): 平均の差を利用するが、ベースラインの挙動を維持するためにアフィン変換によるシフトを適用する。
CAA (Contrastive Activation Addition): 対照的な多肢選択プロンプトから方向を生成し、活性化の加算によって適用する。
PCA (Principal Component Analysis): 対照的な活性化の第1主成分を使用する。
LAT (Linear Activation Transformation): ランダムにペアリングされた活性化差に対して主成分を計算する。

このフレームワークは、3つのステアリング構成をサポートしています。

Standard（標準）: 分布の変化が過度になる方向を破棄するために、Alpacaに対するKLダイバージェンス・フィルタを使用する。
NoKL（KLなし）: フィルタを削除して生の有効性を最大化する。
Conditional（条件付き）: KLフィルタをCASTスタイルのコサイン類似度ゲーティングに置き換え、特定の条件が満たされた場合にのみステアリングを適用する。

実験は、Gemma-2-2B、Llama-3.1-8B、Qwen-2.5-7B（およびより小さなQwenバリアント）を用い、拒絶、ハルシネーション、バイアスの観点にわたってステアリングを行いました。

主な結果

1. 有効性は文脈依存的である

強力なステアリング性能は普遍的なものではなく、（手法、モデル、観点）のトリプルに決定的に依存します。

拒絶: DIMとACEは、拒絶抑制において一貫して最も強い効果（しばしば50%を超える有効性）を達成しており、特にLlamaおよびQ별 Qwenモデルにおいて顕著です。
ハルシネーション: 結果は一貫していません。外的ハルシネーションはステアリングが困難であり（GemmaやQwenではしばしばステアリング不能）、内的ハルシネーションはモデル依存の成功を示します（例：Llama-3.1-8BではPCAとLATがハルシネーションを減少させる）。
バイアス: 介入による利得は低規模（<20%）であり、これはベースラインが既に高いこと、あるいは要求される挙動の変化が微細であるためと考えられます。

2. もつれは広範かつ特異的である

もつれは一様ではありません。特定の観点が一貫して脆弱です。

最も脆弱なもの: 社会的行動（追従性、ユーザー保持）および規範的判断（道徳、政治的見解）は最も高いもつれを招き、社会的行動では最大**76%**の劣化に達します。
堅牢なもの: 推論能力は介入に対して概ね堅牢であり、もつれは通常2%未満です。
直感に反する発見:
- ジェイルブレイクは一律に毒性を高めるわけではない: 拒絶を抑制すると社会的行動は劣化しますが、明示的バイアスや道徳への影響は、モデルによって深刻な劣化から無視できる程度の効果まで幅広く、変動します。
- 政治的シフト: ハルシネーションのステアリングは、政治的見解を予測不能に変化させます。例えば、内的ハルシネーションのステアリングは、Gemma-2-2Bを左派寄りに、Llama-3.1-8Bを右派寄りにシフトさせました。
- バイアス干渉: バイアス・ステアリングは、ハルシネーション率を予測不能に変え、あるバイアスのサブタイプを改善する一方で別のバイアスを悪化させることさえあります。

3. トレードオフと制御

有効性・もつれ比（Effectiveness-Entanglement Ratio）: 拒絶とバイアスについては、ACEとDIMが一般に最良のトレードオフを提供します。PCAはLlama-3.1-8Bにおけるハルシネーション減少において良好な比率を達成し、時には社会的行動を改善することさえあります。
条件付きステアリング: Conditional設定（CASTスタイルのゲーティングを使用）は、一般にトレードオフを改善し、拒絶とハルシネーションに対してもつれを減らしつつ有効性を維持することで、パレート改善を達成します。しかし、プロンプトの類似性によりゲーティング機構が頻繁に作動してしまうため、バイアス・ステアリングにおいては性能が劣ります。

意義と主張

本論文は、STEERINGSAFETYがステアリング介入の厳密な比較のための基礎的なフレームワークを提供すると主張しています。その主な貢献は以下の通りです。

もつれの定量化: 単一ターゲットの評価を超え、介入がどのように安全性ランドスケープ全体に波及するかを体系的に測定し、「ある次元における『安全な』ステアリングが、他の次元において新たなリスクを導入する」という事実を明らかにしました。
モジュール式ベンチマーク: 5つの異なる手法を単一のコードベースに統合することで、設計上の選択（例：方向の生成方法 vs 適用方法）とその有効性・もつれのトレードオフへの影響を直接比較することを可能にしました。
モデル固有のニュアンス: 結果は「普遍的なステアリングベクトル」という概念に異を唱え、ステアリング手法の安全性への影響は、手法、モデルアーキテクチャ、およびターゲットとなる観点の間の特定の相互作用によって決定されることを示しています。

著者らは、表現ステアリングの展開前には、多角的な実証的検証が必要であると結論付けています。観察されたもつれのパターンは、異なる安全概念が低次元の活性化空間においてニューロンレベルのサポートを共有している**特徴量の重ね合わせ（feature superposition）**と一致している可能性が高いと仮定していますが、これはメカニズム的な検証を必要とする仮説であるとも述べています。このベンチマークは、これらの隠れたもつれを浮き彫りにすることで、より安全で制御可能なモデルの開発を導くことを目的としています。