MASCing: Configurable Mixture-of-Experts Behavior via Activation Steering Masks

以下は、「MASCing: Configurable Mixture-of-Experts Behavior via Activation Steering Masks」という論文の詳細な技術的概要です。

1. 問題定義

Mixture-of-Experts (MoE) 構造を採用する大規模言語モデル（LLM）は、スパースな活性化を通じて推論コストを低く保ちながらパラメータ数を拡張できる能力により、支配的な地位を築いています。しかし、このスパースな活性化のパラダイムは、以下のような固有の安全性課題をもたらします。

• 結合された振る舞い: モデルの振る舞いは、動的なルーティング決定と密接に結合しています。トークンごとに「エキスパート」のサブセットのみが活性化されるため、攻撃者がルーターを操作して安全性に整合したエキスパートを回避した場合、安全性メカニズムが回避され得ます。
• 既存の防御策の柔軟性の欠如: 従来の安全性整合は、フルファインチューニングまたは再トレーニングに依存しています。これらの手法は大規模な MoE モデルに対して計算コストが過大であり、急速に変化する安全性ポリシー（例：新しいジャイルブレイク戦略や変化するコンテンツガイドライン）に適応する俊敏性が欠けています。
• ギャップ: モデルの重みを再トレーニングすることなく、特定の安全性シナリオ（例：ジャイルブレイクに対する防御の強化、または特定ドメインにおける制限の緩和）のために MoE の振る舞いを柔軟に再構成するための軽量かつトレーニング不要なメカニズムが存在しません。

2. 手法：MASCing フレームワーク

MASCing (MoE Activation Steering Configuration) は、モデルの重みを一切変更することなく、ルーティングゲートレベルで介入し、モデルの振る舞いを誘導する、3 フェーズのトレーニング不要なフレームワークです。

フェーズ 1: 振る舞いの逐次モデル化

• サロゲートモデル: 微分不可能な離散的な top-$k$ エキスパート選択を最適化する代わりに、MASCing は連続的な未正規化ルーティングロジット上で軽量なLSTM サロゲートモデルをトレーニングします。
• 入力: LSTM は、一連のトークンにわたるすべての層のすべてのエキスパートのルーティングロジットを処理します。
• 目的: LSTM は、これらのルーティングパターンを目標の振る舞い（例：「拒否」対「順守」）にマッピングすることを学習します。連続的なロジットを使用することで、選択されていないが依然としてルーティング分布に影響を与えるエキスパートに関する微細な情報を保持します。
• トレーニング: LSTM は、ロジットの系列が特定の振る舞いにつながるかどうかを分類するようにトレーニングされます（二値分類）。

フェーズ 2: スティ어링マスクの作成

• 回路の同定: トレーニング済みの LSTM を微分可能な代理として使用し、目標の振る舞いを担うエキスパートを特定するスティ어링行列（$S$）を最適化します。
• 最適化: 行列は、以下の複合損失関数を最小化するように最適化されます。
  1. 二値交差エントロピー (BCE): サロゲートの予測を目標クラスに導くため。
  2. $L_1$ 正則化: 重要でない重みをゼロに強制し、スパース性を付与するため。
• 適応的スケーリング: 層間のばらつきを処理するため、スティ어링値は、各層における未スティ어링されたロジットの標準偏差によってスケーリングされます。
• プルーニング: 最適化された行列に対称的な大きさゲート（閾値 $\tau$）を適用し、最終的なスパースなスティ어링マスクを生成します。このマスクは、特定のエキスパートを強化（正の値）または抑制（負の値）する対象を特定します。

フェーズ 3: スティ어링マスクの適用

• 推論時の介入: 推論中、静的なスティ어링マスクは、プリアヘッドフックを介して対象 MoE モデルのルーティングロジットに直接適用されます。
• メカニズム: 介入は、ロジットにスケーリングされたバイアスを追加します：$g'_{l,t} = g_{l,t} + \alpha(\sigma_l \cdot \hat{S}_l)$。
• 結果: これによりルーターの確率分布がシフトし、実質的に top-$k$ 選択を上書きして、特定のエキスパート回路を有効化または無効化します。介入はスパースで標的型であるため、モデルは一般的な言語有用性を維持します。

3. 主な貢献

1. 新規フレームワーク: 再トレーニングなしで MoE の安全性振る舞い（強化と緩和の両方）を柔軟に双方向に再構成可能にする、MASCing の導入。
2. 連続ロジット分析: 離散的な top-$k$ 選択の分析から、連続的なルーティングロジットの分析への方法論的転換。これにより微分不可能なボトルネックを回避し、選択されなかったエキスパートに潜む安全性情報を捉えます。
3. サロゲートガイド回路発見: 複雑なクロスレイヤーのルーティング依存関係を特定の行動回路にマッピングする LSTM サロゲートの使用により、最小限かつ高影響なエキスパート介入の特定を可能にします。
4. 双方向の柔軟性: 同じモデルアーキテクチャ上で、安全性の強化（ジャイルブレイク防御）と制約の緩和（ドメイン固有のポリシー準拠）の両方を実証的に可能にすること。

4. 実験結果

本フレームワークは、2 つの対照的なシナリオにおいて、7 つのオープンソース MoE モデル（DeepSeek-MoE、Mixtral、Qwen、GPT-OSS などを含む）で評価されました。

A. 多ターン・ジャイルブレイク防御

• 目的: 複数のターンにわたってモデルを有害なコンテンツへと徐々に誘導する敵対的プロンプトに対する防御を強化すること。
• 性能:
  • ベースライン: 平均防御成功率 52.5%。
  • MASCing: 平均成功率を 83.9% に改善。
  • ピーク性能: 最大 89.2% (Qwen3-30B-A3B-Instruct-2507)。
• 比較: 離散的なエキスパート選択に依存し会話履歴の文脈を無視する最先端の SteerMoE (平均 58.4%) を大幅に上回りました。

B. 成人向けコンテンツ生成（ポリシー緩和）

• 目的: 適切な文脈において成人向けコンテンツを生成できるようにし（ポリシーの転換をシミュレート）、「過剰な拒否」を削減すること。
• 性能:
  • ベースライン: 平均生成成功率 52.6%。
  • MASCing: 平均成功率を 82.0% に改善。
  • ピーク性能: 最大 93.0% (Phi-3.5-MoE-Instruct)。

C. 有用性の維持

• ベンチマーク: MMLU（事実知識）および GSM8K（数学的推論）で評価。
• 結果: MASCing による有用性の平均的な低下は**約 4.1%**と無視できるレベルでした。モデルは複雑な推論や一般的なタスクを実行する能力を維持しており、スティ어링が破滅的な忘却を引き起こさないことが証明されました。

D. 効率性

• トレーニング: LSTM サロゲートは、単一の NVIDIA H100 GPU 上で約 5 分でトレーニング可能です。
• 推論: ロジットへの要素ごとの加算による遅延はほとんど追加されず、モデル重み用の追加メモリは不要です。

5. 意義と影響

• 展開の実用性: MASCing は、安全性設定のための「プラグアンドプレイ」ソリューションを提供します。開発者は、フル再トレーニングのコストや時間を要することなく、モデルを新しいポリシーや新興の脅威に迅速に適応させることができます。
• メカニズム的洞察: 本論文は、MoE モデルにおける安全性が単一的なものではなく、ルーティングロジットを介して分離・操作可能な特定のエキスパート回路に分散していることを実証しています。
• 双方向制御: 安全性を「安全か不安全か」という二元的な視点で捉える考え方に挑戦し、安全性制約をセキュリティのために強化したり、特定のユースケースのために緩和したりするよう動的に調整可能であることを示しています。これによりモデルの完全性は維持されます。
• 離散的手法への優位性: 結果は、スパースなアーキテクチャにおける複雑な多ターン行動の理解と制御において、離散的な top-$k$ 分析よりも連続的なルーティング情報（ロジット）を活用する方が優れていることを確認しました。

結論として、MASCing は MoE モデルにおける構成可能な安全性のための新たなパラダイムを確立し、動的な展開環境においてモデルの有用性と安全性整合の間のトレードオフを管理するための、軽量で効率的かつ極めて効果的なメカニズムを提供します。