💬 NLP

RARE: Decoupling Representation Steering from Expert Routing in Mixture-of-Experts Language Models

本論文は、行動的な摂動をルーターの零空間に投影することで、Mixture-of-Expertsモデルにおける表現のステアリングとエキスパートのルーティングを分離する、ルーターに依存しないフレームワークであるRAREを導入しており、これにより、モデルの有用性を維持しつつ、有害性、真実性、および事実の編集に対するステアリングの有効性を大幅に向上させている。

原著者： Zhibo Zhang, Zhen Ouyang, Ling Shi, Kailong Wang

公開日 2026-08-24

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Zhibo Zhang, Zhen Ouyang, Ling Shi, Kailong Wang

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

大規模言語モデルは、物語を書いたり、問題を解決したり、質問に答えたりすることができる、現代の人工知能のエンジンです。これらの巨大なシステムを効率的にするために、現在、多くのモデルが「混合エキスパート（mixture of experts）」と呼ばれる設計を用いて構築されています。これを、あらゆる依頼を受けるマネージャーがいて、どの特定の専門家に処理させるかを決定する大きなオフィスだと想像してみてください。これらのモデルにおいて、「マネージャー」は文章の各単語を確認し、コンピュータの脳全体をすべてのタスクに使用するのではなく、小さな専門化された内部プロセッサのグループ、すなわち「エキスパート」へと依頼を送り出すルーティング機構です。これにより、モデルは非常に大規模でスマートでありながら、高速かつ経済的に実行することが可能になります。

研究者たちは、モデルを特定の振る舞い（例えば、より真実であることを求めたり、有害なコンテンツを生成する可能性を低くしたりすること）へと導いたり、「操舵（ステア）」したりする方法を長年追求してきました。一般的な手法の一つは、思考プロセス中にモデルの内部的な数学的状態を「つつく（nudging）」ことであり、この手法は、脳のすべての部分が常に活性化している古い単純なモデルではうまく機能します。しかし、科学者たちがこの同じ「つつく」技術を新しい混合エキスパートモデルに適用しようとすると、しばしば失敗しました。問題は、振る舞いを変えるために意図された「つつき」が、意図せずマネージャーを混乱させ、リクエストを誤った専門家に送らせてしまったことでした。この不一致がモデルの自然な流れを乱し、結果として質の低い結果を招いたのです。

ある研究チームが、RAREと呼ばれる新しいフレームワークを開発することで、このパズルを解きました。彼らの研究は、重要な洞察を明らかにしています。それは、これらのモデルにおけるマネージャーは、主にリクエストの「トピック（話題）」に関心を持っており、モデルに期待される特定の「振る舞い」には関心がないということです。ユーザーがコーディングに関する質問をしても、あるいは有害なリクエストを拒否するようにモデルに求めても、トピックが変わらない限り、マネージャーは同じ一連のエキスパートにリクエストを送る傾向があります。研究者たちは、従来のメソッドが失敗した理由は、データの経路を変えることで振る舞いを変えようとし、それがマネージャーを混乱させたためであることを見出しました。代わりに、彼らの新しいアプローチは、経路を変えることなく振る舞いを変えるのです。

RAREフレームワークは、「つつき」を適用する前に注意深くフィルタリングを行うことで機能します。それは、マネージャーがどのエキスパートを使用するかについての判断を変えてしまうような指示の要素を取り除きます。これにより、モデルは正しいエキスパートにリクエストを送り続けることができますが、それらのエキスパートは、望ましい振る舞いを生み出す方法で情報を処理します。研究者たちは、この手法を6つの異なる大規模モデルと、3つの明確なタスク（有害な指示に従わせないこと、より真実であることを求めること、およびモデルが知っている特定の事実を更新すること）に対してテストしました。

結果は驚くべきものでした。モデルに有害な指示に従わせないようにしようとした際、この新手法は53.3%のケースで成功し、これは以前の試みと比較して大幅な改善となりましたが、一般的な知識テストにおける正確性は依然として67.8%を維持していました。真実性のテストにおいては、正しい答えを与える能力が41.0%から58.6%へと向上しました。おそらく最も劇的なのは、特定の事実を更新するよう求められた際、成功率が16.8%から96.3%へと跳ね上がったことです。これらの数字は、モデルの内部ルーティングシステムを尊重することで、基礎となる知能を損なうことなく、その振る舞いを効果的に導けることを示唆しています。

また、この研究では、必要な「つつき」を計算する5つの異なる方法を比較し、どの方法が最もよく機能するかを特定しました。その結果、単なる平均的な方向性だけでなく、データの形状と広がりを分析することに基づいた手法が、異なるモデル間で最も一貫した強力な結果をもたらすことがわかりました。この発見は、内部データの幾何学的な性質が、変化の方向と同じくらい重要であることを示唆しています。

結局のところ、この研究は、現代の複雑なAIモデルの振る舞いを制御するには、繊細なバランスが必要であることを証明しています。単に変化を強制することはできません。モデルの既存のアーキテクチャの中で機能させる必要があります。与えられたトピックに対してモデルが選択する自然な経路を維持することで、その出力を安全性、真実、または正確さへと導くことが可能です。このアプローチは、一般的な能力を損なうことなく、特定のニーズに合わせてこれらの強力なツールを適応させるための信頼できる方法を提供し、人工知能を人間の価値観により適合させるための明確な道筋を示しています。

技術要約: RARE – MoEモデルにおける表現ステアリングとエキスパート・ルーティングのデカップリング

問題提起

大規模言語モデル（LLM）は、容量を拡大しつつ推論効率を維持するために、Mixture-of-Experts（MoE）アーキテクチャをますます採用しています。しかし、中間隠れ状態を修正することでモデルの振る舞いを制御する手法である「表現エンジニアリング（Representation Engineering）」をMoEモデルに適用しようとすると、決定的な構造的ミスマッチが生じます。

高密度（Dense）モデルでは、ステアリング・ベクトルを隠れ状態に加算することで振る舞いを変化させます。しかしMoEモデルでは、ルーターがこれらの隠れ状態に基づいて、どのトークンをどのエキスパートに処理させるかを決定します。ステアリングによる摂動を直接適用すると、ルーターのロジットが変化し、トークンがクリーンな推論パスとは異なるエキスパートのセットへとルーティングされてしまいます。この「ルーティング・ドリフト（routing drift）」は、モデル本来の条件付き計算パスを乱し、ステアリングの効果を著しく低下させます。近年のMoE特化型の手法は、ルーターのロジットやエキスパートの活性化を直接操作することで振る舞いを制御しようとしますが、これらの手法は入力に依存した計算パスを上書きしてしまうため、応答の関連性や一般的な能力を損なう可能性があります。

核心となる課題は、いかにしてネイティブなエキスパート割り当てを妨げることなく、表現レベルの制御と条件付きルーティング・メカニズムを調整するかという点にあります。

手法: RARE

著者らは、MoEモデルのネイティブなルーティング・パターンを維持しながら、その振る舞いをステアリングするためのフレームワークであるRARE (Router-Agnostic Representation Engineering) を提案しています。この手法は、主に3つのコンポーネントで構成されています。

1. 実証的な動機付け

制御されたプローブを通じて、著者らはMoEのルーティングが、特定の「応答の振る舞い」（例：拒絶か遵守か）や安全性の意図よりも、主に**セマンティックな内容（意味内容）**に対して敏感であることを確立しました。

知見: 固定されたクエリのトピックの下では、応答の振る舞い（例：遵守から拒絶へ）を変更しても、ルーターのエキスパート選択には最小限の変化しか生じません。
示唆: 効果的なステアリングとは、ルーターの決定を変えることなく、自然に選択されたエキスパートによって処理される隠れ表現を修正することであるべきです。

2. ルーターに依存しない投影（Router-Agnostic Projection）

RAREは、摂動をルーター行列の**零空間（null space）**に投影することで、振る舞いのステアリングとエキスパート・ルーティングをデカップリングします。

零空間への投影: 層 $\ell$ におけるルーター重み行列を $R_\ell$ とすると、ルーターはロジット $z_\ell = R_\ell h_\ell$ を計算します。ルーターのロジットが変化しないこと（ $R_\ell \delta h_\ell = 0$ ）を保証するためには、摂動 $\delta h_\ell$ は $R_\ell$ の零空間内に存在しなければなりません。
メカニズム: 原初的な摂動ベクトル $u_\ell$ （対照的な隠れ状態から導出）に対し、RAREは射影行列 $\Pi^\perp_\ell = I - Q_\ell Q_\ell^\top$ を用いてこれを投影します。ここで $Q_\ell$ は $R_\ell$ の行空間の正規直交基底です。得られる摂動はルーターに対して不可視であり、元のエキスパート選択を維持します。

3. ダウンストリーム・ルーティングの補正

摂動は非線形なTransformerブロックを通じて伝播するため、注入層における局所的な不変性は、後続のルーターにおける不変性を保証しません。

実行時の補正: RAREは、選択されたダウンストリームの「保護された」層において補正を適用します。これは、編集された現在の入力 $h'_\ell$ を参照用のクリーンな入力 $h^0_\ell$ と比較し、ルーターに検知可能な偏差を取り除くことで、これらの層におけるルーターのロジットがクリーンなパスと一致するようにするものです。

摂動エスティメータ（Estimators）

本フレームワークは、原初的な摂動がどのように構築されるかについては非依存的です。著者らは5つのエスティメータを評価しました。

MeanDiff: クラス中心間の一次的な平行移動。
Probe: 線形境界の法線。
LowRank: 主成分部分空間への投影。
LDA: クラス内の共分散を考慮した線形判別分析。
AffineGaussian: ホワイトニング・リカラーリングの原理を用いた二次的なアライメント。

主な貢献

実証的な洞察: 本論文は、MoEのルーティングが応答の振る舞いよりもクエリのセマンティクスをより密接に追跡するという証拠を提供し、効果的なステアリングの前提条件としてネイティブなルーティングの保持を動機付けています。
RAREフレームワーク: 行動的な摂動をルーターに不可視な部分空間に投影し、伝播するルーティング・ドリフトを補正することで、エキスパートの割り当てを乱すことなく表現の編集を可能にする、新しいルーター非依存型のステアリング手法を提案しています。
包括的な評価: 6つの異種混合なオープンウェイトMoEモデル（DeepSeek, Mixtral, Phi-3.5, Phi-mini, Qwen3, GPT-oss）と3つの行動制御タスクにわたって、5つの摂動エスティメータを体系的に調査しました。

実験結果

評価は、有害性ステアリング（ジェイルブレイク）、真実性ステアリング、事実編集の3つのシナリオを対象に行われました。

有害性ステアリング: RARE（AffineGaussianエスティメータを使用）は、平均**攻撃成功率（ASR）53.3%**を達成しつつ、**MMLU精度76.8%**を維持しました。これは、RepE（ASR 18.7%）やSteerMoE（ASR 46.3%だがユーティリティの保持が低い）といったベースラインと比較して、有意に強力な「有効性と有用性のトレードオフ」を実現しています。
真実性ステアリング: RAREは、TruthfulQA MC1の平均精度をベースラインの41.0%から**58.6%**へと向上させました。
事実編集: RAREは、CounterFactの有効性を16.8%から**96.3%**へと高めました。
エスティメータの性能: AffineGaussianは、すべてのモデルとタスクにおいて一貫して最も強力なステアリング性能を示しました。LDAは、局所性（隣接する知識の保持）を考慮した場合に優れたトレードオフを提供しました。
アブレーション研究: ルーター非依存の投影パイプラインを除去すると、平均ASRが53.3%から14.6%に低下し、ルーティングの保持がパフォーマンスにとって極めて重要であることが確認されました。

意義と主張

本論文は、ルーティングの一貫性が、表現エンジニアリングをMoEモデルに適応させるための基本的なアーキテクチャ上の考慮事項であることを主張しています。RAREは、行動制御とエキスパート・ルーティングをデカップリングすることで、モデルのネイティブな計算パスと一般的な能力を維持しながら、内部表現を修正してモデルの振る beating を変えることが可能であることを示しています。

著者らは、RAREをモデルの安全性や論理を上書きするための手法ではなく、基礎となるMoEアーキテクチャを尊重しながら振る舞いをステアリングするための、軽量で効率的なメカニメントとして位置づけています。これらの結果は、将来のMoEモデルにおける表現エンジニアリングは、ルーティング・ドリフトによる失敗モードを避けるために、ルーターのセマンティクスに対する感度を考慮しなければならないことを示唆しています。