RASA: 混合エキスパートモデルのためのルーティング意識型安全アライメントの技術的概要

本論文「RASA: Routing-Aware Safety Alignment for Mixture-of-Experts Models」は、大規模言語モデル（LLM）のアーキテクチャとして注目されている混合エキスパート（Mixture-of-Experts: MoE）モデルにおける、安全アライメント（安全性の調整）の新たな課題と、それを解決するための画期的な手法「RASA」を提案しています。

以下に、問題定義、手法、主要な貢献、結果、および意義について詳細にまとめます。

1. 背景と問題定義

MoE モデルの特性と課題
MoE モデルは、入力トークンに対してすべてのパラメータを使用するのではなく、ルーティング機構を通じて限られた数の「エキスパート（専門のニューラルネットワーク）」のみを活性化させることで、スケーラビリティと効率性を向上させています。しかし、この疎な（sparse）ルーティングメカニズムが、従来の密な（dense）モデルには存在しない新たな安全上の脆弱性を生み出しています。

「アライメントのショートカット（Alignment Shortcut）」の発見
著者らは、MoE モデルに対して標準的な全パラメータ微調整（Full-Parameter Fine-Tuning）を適用して安全性を向上させようとした際、以下の「ショートカット」現象が頻繁に発生することを発見しました。

1. 安全クリティカルなエキスパートの未修復: 攻撃（ジャイルブレイク）を成功させる際に過剰に活性化される特定の「安全クリティカルなエキスパート（Safety-Critical Experts: SCEs）」が、実際には修正されずに残ります。
2. ルーティングによる回避: 安全性の向上は、危険なエキスパートを修正したのではなく、ルーティング機構が攻撃入力を「すでに安全なエキスパート」へ誘導するように変化したり、安全なエキスパートの支配力が強まったりすることで達成されています。
3. 脆弱性の残存: この状態では、ルーティングパターンが元の状態に戻ったり、適応的な新しい攻撃が加えられたりすると、修正されていない SCEs が再び活性化され、モデルは容易にジャイルブレイクされてしまいます。

この現象は、見かけ上の安全性向上（ハームレス率の向上）をもたらしますが、根本的な脆弱性を解決しておらず、実用的な防御として機能しません。

2. 提案手法：RASA (Routing-Aware Safety Alignment)

RASA は、ルーティングによるショートカットを防ぎ、安全クリティカルなエキスパートを明示的に修復するためのルーティング意識型エキスパートレベルのアライメントフレームワークです。この手法は、エキスパートの修正とルーティング制御を分離し、交互最適化（Alternating Optimization）戦略を採用しています。

主要なステップ

1. 安全クリティカルなエキスパート（SCEs）の特定

   • 訓練バッチにおいて、正常な拒否応答（Anchor Prompts）と、安全バイパスに成功した攻撃的なジャイルブレイク入力（Adversarial Prompts）のペアを構築します。
   • 各エキスパートの**攻撃的活性化不一致（Adversarial Activation Discrepancy: AAD）**を計算します。これは、攻撃入力と正常入力におけるエキスパートの活性化頻度の差（$\Delta_{l,e}$）です。
   • AAD が閾値を超えるエキスパートを「安全クリティカルなエキスパート」として特定します。

2. 内側最適化：選択的エキスパート微調整（SCE-FT）

   • ルーティングを固定した状態で、特定された SCEs のパラメータのみを選択的に微調整します。
   • 残りの安全なエキスパートやルーティングパラメータは凍結（Frozen）します。
   • 目的は、攻撃入力に対して拒否行動（Refusal Behavior）を SCEs に注入することです。これにより、危険な計算経路そのものが修正されます。

3. 外側最適化：ルーティング整合性（Router Consistency）

   • SCEs が修正された後、ルーティングパラメータのみを最適化します。
   • 二重フォワード戦略を用いて、攻撃入力（Adversarial）のルーティング分布を、安全な入力（Anchor）のルーティング分布に近づけるように学習します（KL ダイバージェンス最小化）。
   • これにより、攻撃入力であっても、修正済みの安全なエキスパートを経由するルーティングパスを維持し、新たなショートカット（攻撃入力だけを避けるような特殊なルーティング）を防ぎます。

この交互最適化プロセスを繰り返すことで、モデルは「危険なエキスパートを修正し、かつ、その修正がルーティングバイパスによって無効化されない」堅牢な状態に到達します。

3. 主要な貢献

1. MoE におけるアライメントショートカットの発見と実証:
   • 全パラメータ微調整が、エキスパートの修復ではなくルーティングの変化によって安全性を偽装する現象を初めて体系的に定義し、因果介入実験（ルーティングの復元実験）によって実証しました。
2. RASA フレームワークの提案:
   • エキスパートレベルの修復とルーティング整合性を分離・交互最適化することで、ショートカットを回避し、根本的な脆弱性を修復する手法を提案しました。
3. 広範な実験による有効性の立証:
   • 2 つの代表的な MoE アーキテクチャ（Qwen3-30B-A3B, OLMoE-1B-7B-0125）および多様なジャイルブレイク攻撃（FlipAttack, DeepInception, Persuasion など）に対して、既存手法（SteerMoE, SafeMoE-FT など）を凌駕する性能を示しました。

4. 実験結果

RASA は、以下の点で顕著な成果を上げています。

• 高い防御性能:
  • 訓練対象とした攻撃に対しては、ほぼ完璧な防御（ハームレス率 1.0）を達成しました。
  • クロスアタック汎化: 訓練時に特定の攻撃のみを対象とした場合でも、未見の攻撃手法に対して高い防御力を示しました（異なる攻撃が共通の SCEs を利用しているため）。
  • 分布外（OOD）汎化: 訓練データ（AdvBench）とは異なるデータセット（StrongReject）に対しても、混合攻撃で学習させたモデルは堅牢な防御を示しました。
• 一般能力の維持:
  • MMLU、GSM8K、TruthfulQA などのベンチマークにおける一般性能は維持、あるいはわずかに向上しました。全パラメータ微調整で見られるような性能低下は発生しませんでした。
• 過剰拒否（Over-refusal）の制御:
  • 安全な質問に対しても拒否してしまう「過剰拒否」の比率が、既存手法に比べて大幅に抑制されました。
• ルーティング復元実験による検証:
  • 全パラメータ微調整モデルでは、元のルーティングパターンを強制すると安全性が急激に低下しました（$\Delta \approx -0.4$）。
  • 一方、RASA モデルでは、ルーティングを復元しても安全性がほぼ維持されました（$\Delta \approx -0.05$）。これは、RASA がルーティング依存ではなく、エキスパートパラメータそのものを修復していることを示しています。

5. 意義と結論

本論文は、MoE モデルの安全アライメントにおいて、「全体的なパラメータ更新」ではなく「ターゲットを絞ったエキスパートレベルの修復」が重要であることを示しました。

• アーキテクチャを維持したアプローチ: 追加のエキスパートの導入やモデル構造の変更を必要とせず、既存の MoE 構造を維持したまま堅牢な安全性を実現します。
• データ効率性: 限られた数の攻撃サンプル（全データの 25-50%）でも効果的なアライメントが可能であり、実用性が高いです。
• 将来への示唆: 大規模モデルの安全対策において、内部メカニズム（ルーティングとエキスパートの相互作用）を深く理解し、構造的なショートカットを排除するアプローチの重要性を浮き彫りにしました。

RASA は、MoE モデルが持つ潜在的な脆弱性を根本から解決し、実世界での安全な展開を可能にするための実用的かつ堅牢な解決策を提供しています。