🤖 machine learning

HiRoute: Hierarchical Routed Prompt Tuning for Safety Alignment of Large Language Models

HiRouteは、階層型ルーターを用いてカテゴリ固有のプロンプトエキスパートを動的に選択および混合することで、大規模言語モデルが有害なリクエストに対する安全性と、良性入力に対する過度な拒絶の最小化を効果的に両立できるようにする、パラメータ効率の高い安全性調整フレームワークである。

原著者： Fangzhou Chen, Shiji Zhao, Mengyang Wang, Qihui Zhu, Ranjie Duan, Maoxun Yuan, Xingxing Wei

公開日 2026-08-14

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Fangzhou Chen, Shiji Zhao, Mengyang Wang, Qihui Zhu, Ranjie Duan, Maoxun Yuan, Xingxing Wei

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

あなたは、超スマートなロボットに「良き市民」になる方法を教えていると想像してください。このロボットは、大規模言語モデル（LLM）として知られており、物語を書いたり、数学の問題を解いたり、あなたとおしゃべりをしたりすることに非常に長けています。しかし、強力な道具には何でも言える通り、間違った質問をされると、意地悪なことを言ったり、秘密を漏らしたり、悪いアイデアを手伝ったりするように騙されてしまう可能性があります。科学者たちは、ロボットの脳を「チューニング」することで、これを修正しようと試みてきました。古い方法は、新しい安全ルールを追加するたびにロボットの脳全体を配線し直すようなもので、コストがかかり、時間もかかりました。より新しく、よりスマートな方法は「プロンプト・チューニング」です。これは、会話の最初に特別なメモや指示を与えるだけで、ロボットに安全であることを思い出させる方法です。しかし、ここがトリッキーなところです。もしメモが曖昧すぎると、ロボットは安全のために無害な質問に対しても助けを拒否してしまうかもしれません（まるで、クラブから全員を追い出す用心棒のように）。一方で、もしメモが具体的すぎると、異なる種類の悪い行動が混ざり合った複雑な危険を見逃してしまうかもしれません。

ここで、北航大学の研究チームが、HiRouteと呼ばれる巧妙な新しいアイデアを提案しました。HiRouteは、ロボットの脳における、非常に整理された交通管制システムのようなものだと考えてください。あらゆる車に対して「止まれ」という一つの巨大で退屈な標識を使う代わりに、HiRouteは、まず車が本当に危険かどうかをチェックするスマートな交通警官を使用します。もし車が安全であれば、グリーンライトが出て、遅延なく通り抜けることができます。しかし、もし車がリスクありと判断された場合、交通警官はただ止めるだけでなく、それがどのような種類のトラブル（スピード違反、飲酒運転、あるいは盗難車など）なのかを正確に判断し、そのドライバーに、その行動を安全に修正するための特定のカスタム作成されたガイドを手渡します。研究者たちは、この二段階のアプローチ――まずリスクをチェックし、次に一般的な安全ルールと特定の助言を組み合わせる――によって、ロボットを不機嫌にしたり役に立たなくしたりすることなく、より安全にできることを見出しました。彼らはこの手法を3つの異なるロボットの脳でテストし、HiRouteが他の手法よりも複雑な危険を阻止しつつ、良いリクエストに対しては依然としてフレンドリーで役に立つことを示しました。

問題点：「ワンサイズ・フィッツ・オール（画一的）」のジレンマ

あなたは、非常にスマートだがいたずら好きな図書館のマネージャーだと想像してください。あなたには「危険な本は禁止」というルールがあります。もし、「もし本が怖そうなら、すぐに禁止する」という単純で厳格なルールを使うと、理科の自由研究のために「爆発」という言葉に触れている火山についての本を、誤って禁止してしまうかもしれません。これは**過剰拒絶（over-refusal）**と呼ばれます。図書館は安全になりますが、同時に退屈で役に立たない場所になってしまいます。

一方で、もしあらゆる種類の危険に対して個別のルール（火に関するルール、ナイフに関するルール、毒に関するルールなど）を書こうとすれば、火と毒が混ざった本を見逃してしまうかもしれません。ロボットは混乱し、危険な本を滑り込ませてしまう可能性があります。

研究者たちは、既存の手法がその中間で立ち往生していることに気づきました。ある手法は、すべてをブロックする単一の強力な安全プロンプトを使用しており、別の手法は異なる安全プロンプトを混ぜようとしていますが、複雑で混ざり合った危険を捕まえるための強力な「セーフティネット」に欠けていました。彼らはこう問いかけました。「ロボットのメインの脳を凍結（再学習させないように）したまま、ユーザーの質問を読み取り、適切な安全アドバイスを選択するよりスマートな方法を教えられないだろうか？」

解決策：HiRouteの二段ステップ・ダンス

HiRouteは、**「ゲートキーパー（門番）」と「スペシャリスト・チーム」**という二部構成の戦略を持つ用心棒として機能することで、この問題を解決します。

ステップ1：ゲートキーパー（ルーター）
まず、HiRouteは軽量な「ルーター」（素早い目配せをするセキュリティガードのようなもの）を使用して、ユーザーの質問を見ます。このガードはロボットの脳を変えることはありません。ただ質問を読み、次の2つのことを問いかけます。

「この質問は危険か？」 (はい/いいえ)
「もし『はい』なら、それはどのような種類の危険か？」 (例：窃盗についてか？暴力についてか？ハッキングについてか？)

もし質問が安全であれば（例：「ケーキの作り方を教えて」）、ゲートキーパーは通過を許可します。ロボットは安全チェックをスキップして、即座に回答します。これにより、通常のユーザーに対してロボлоットは高速かつフレンドリーであり続けます。

ステップ2：スペシャリスト・チーム（プロンプトのエキスパート）
もしゲートキーパーがリスクを検知した場合、質問は「スペシャリスト・チーム」に送られます。ここでは、HiRouteは2種類の安全メモを巧みに組み合わせて使用します。

共有セーフティネット： すべての危険に適用される、一般的で広範な安全ルールです（例：「違法な活動を助けないこと」）。これは、ロボットが基本を忘れないための強力な土台となります。
リスク特化型エキスパート： 特定の種類の危険に合わせて設計された、専門的なノートのセットです（サイバー犯罪用、プライバシー用など）。

魔法は、HiRouteがこれらを組み合わせる時に起こります。単に一つのエキスパートを選ぶのではなく、ゲートキーパーの推測に基づいて「レシピ」を計算します。もし質問が60%の確率で窃盗に関わり、40%の確率でプライバシーに関わる場合、HiRouteは「窃盗」のノートを60%、「プライバシー」のノートを40%混ぜながら、「共有セーフティネット」を有効にしたままにします。これにより、ロボットは、あまりに曖昧になったり厳しすぎたりすることなく、正確なリスクに対処する、役立つ特定の回答を提供できるようになります。

彼らが発見したこと：不機嫌にならない安全性

研究者たちは、Mistral、Vicuna、Zephyrという3つの異なるロボットモデルでHiRouteをテストし、他の安全手法と比較しました。結果は驚くべきものでした。

優れた安全性： HiRouteは、他の手法よりも有害なリクエストを効果的に阻止しました。例えば、Mistralモデルにおいて、HiRouteは**93.2%**の安全率を達成し、次に優れた手法を明確な差で上回りました。
高い有用性： 決定的なことに、これは無害な質問を拒否することはありませんでした。ロボットが悪いリクエストに対して「ノー」と言わなければならない場合、その理由を説明し、安全な代替案を提示し、「有用性」において高いスコア（10点満点中約7.4）を獲得しました。
過剰拒絶の減少： これは大きな意味を持ちます。他の手法はしば Far 誤って安全な質問をブロックすることがよくありました。Hi果、HiRouteはMistralモデルにおいて、安全な質問をブロックしたのはわずか**2.5%でしたが、ある人気のある手法は実に40.5%**もの質問をブロックしていました。

チームはまた、「ゲートキーパー」の厳格さについても実験を行いました。ゲートキーパーを少し慎重にさせた場合（閾値を0.95に上げた場合）、ジェイルブレイク（脱獄）テストにおける安全性は**95.0%に上昇しましたが、ロボットの数学能力（GSM8K）の低下は50.5%から48.0%**へとわずかな減少にとどまりました。これは、ロボットの知能を壊すことなく、非常に安全にできることを示唆しています。

なぜこれが重要なのか

HiRouteは、安全にするためにロボット全体を再構築する必要はないことを示しています。「これは危険か？」と「この特定の危険をどう扱うか？」を分離するスマートな二層構造を使用することで、AIを「厳格な守護者」であると同時に「親切な友人」にすることができるのです。これは、安全性と有用性が敵同士ではないことを証明しています。適切なルーティングと安全指示の混合があれば、ロボットはその両方になれるのです。

研究者たちは、HiRouteがまだ完璧ではないことも指摘しています。それはゲートキーパーがリスクを正しく推測できるかどうかに依存しており、主にシングルターンのテキスト会話で機能します。しかし現時点では、デジタル上の友人を、役に立たないロボットに変えることなく安全に保つための、有望で効率的な方法を提示しています。

技術要約: HiRoute

問題提起

大規模言語モデル（LLM）は、有害なリクエスト、ジェイルブレイク攻撃、およびマルチリスククエリに対して依然として脆弱です。教師あり微調整（SFT）や人間からのフィードバックによる強化学習（RLHF）は安全な振る舞いをエンコードできますが、これらは高いトレーニングコストとストレージコストを伴い、しばしば安全性と有用性の間のトレードオフを引き起こします。具体的には、拒絶行動を一様に強化すると、無害な入力に対しても「過剰拒絶（over-refusal）」が発生し、一般的な能力を低下させる原因となります。

プロンプトチューニングなどの既存のパラメータ効率の良い安全性アライメント手法は、通常、静的なメカニズムに依存しています。これらのアプローチは、補完的な限界を持つ以下の2つのカテゴリに分類されます：

粗粒度なグローバルプロンプト（Coarse-grained Global Prompts）: すべてのリスクのある入力に単一の安全プロンプトを適用することで強力な安全境界を確立しますが、多くの場合、リスク固有のガイダンスや安全な代替案を提供できない、一般的で情報量の少ない拒絶につながります。
細粒度なルーティングプロンプト（Fine-grained Routed Prompts）: リスクごとにカテゴリ固有のプロンプトを割り当てる手法は、よりターゲットを絞った有用な安全レスポンスを生成できます。しかし、入力が定義済みのリスクカテゴリと正確に一致しない場合や、エキスパートのマッチングが不十分な場合に、安定した安全境界を維持することに苦慮します。

核心となる課題は、バックボーンモデル全体を凍結することなく、入力適応型のプロンプト合成を通じて、いかにして細粒度なレスポンスの建設性とカテゴリ横断的な安全性を両立させるかという点です。

手法: HiRoute

著者らは、カテゴリに依存しない安全性制御と、カテゴリ固有のレスポンスガイダンスを分離する、入力適応型フレームワークである**HiRoute（Hierarchical Routed Prompt Tuning）**を提案しています。このフレームワークは、凍結された指示チューニング済みLLM上で動作し、主に3つのコンポーネントで構成されています。

1. 階層的リスクルーティング

軽量なルーターは、凍結されたLLMから抽出された表現を用いて学習され、以下の2つのタスクを実行します：

粗粒度検出（Coarse-grained Detection）: 入力が有害か無害かを判定します（ $p_{safe}$ 対 $p_{risk}$ ）。
細粒度リスク予測（Fine-grained Risk Prediction）: 特定のカテゴリ（例：サイバー犯罪、プライバシー侵害、経済犯罪、暴力）に対するマルチラベルのリスクスコアを予測します。
ルーターは、細粒度プロンプトのエキスパートを動的に重み付けするために使用される確率分布を出力します。

2. 階層的プロンプト合成

HiRouteは、2種類の連続的なプロンプト埋め込みを学習します：

共有粗粒度プロンプト ( $P_c$ ): すべてのリスクのある入力に適用可能な、カテゴリに依存しない安全性境界を提供します。
細粒度プロンプトエキスパート ( $\{P_k\}$ ): 特定のリスクカテゴリに対応する $K$ 個のエキスパートの集合。
与えられた入力 $x$ に対して、細粒度プロンプト $P_f(x)$ は、ルーターが予測したリスクスコアに基づき、エキスパートの加重和として構築されます：
$P_f(x) = \sum_{k=1}^{K} \alpha_k(x) P_k$
ここで、 $\alpha_k(x)$ は正規化された重みです。最終的な入力依存プロンプトは $P(x) = [P_f(x); P_c]$ となります。

3. 2段階のデカップル最適化

生成目的関数がリスク決定境界を変化させないように、学習は2つの明確なステージで行われます：

ステージI（ルーター学習）: ルーターは、粗粒度分類にはクロスエントロピー（CE）を、細粒度マルチラベル分類にはバイナリクロスエントロピー（BCE）を使用して学習されます。バックボーンモデルは凍結されたままです。
ステージII（プロンプト最適化）: バックボーンと学習済みルーターは凍結されます。プロンプトパラメータ（ $P_c$ および $\{P_k\}$ ）のみが、好みの三つ組（安全/有用 vs 不安全/低品質）を用いた直接選好最適化（DPO）によって最適化されます。干渉を減らすため、著者らは**交互勾配更新（alternating gradient updates）**を採用しています。すなわち、 $P_c$ を更新する際は $P_f(x)$ の勾配をマスク（stop-gradient）し、その逆も同様です。

4. 入力適応型推論

推論時、ルーターはまず安全確率 $p_{safe}(x)$ を計算します。

無害な入力: $p_{safe}(x) > \tau_s$ （安全閾値）である場合、システムはすべての安全プロンプトをバイパスし、凍結されたバックボオンから直接生成を行い、一般的な有用性を維持します。
リスクのある入力: $p_{safe}(x) \leq \tau_s$ である場合、システムは安全ブランチを起動し、階層的プロンプト $P(x)$ を構築して生成を条件付けます。

主な貢献

トレードオフの実証的検証: 著者らは、共有された粗粒度プロンプトは強い安全性を提供するが有用性が低くなり、一方でルーティングされた細粒度プロンプトの混合は有用性を向上させるが安全性の利得は小さくなることを示しています。
HiRouteフレームワーク: 安定した安全境界のための共有粗粒度プロンプトと、リスク固有のガイダンスのための動的にルーティングされた細粒度エキスパートを組み合わせた、新しいアーキテクチャを提案しています。この設計は、安全ゲートを介して、無害な入力への不要な介入を回避します。
包括的な評価: 本手法は、3つの指示チューニング済みモデル（Mistral-7B, Vicuna-7B, Zephyr-7B）および複数のベンチマークにおいて検証されており、一般的な有用性を維持しながら、高い安全性と有用性を両立していることが示されています。

実験結果

実験は、Baseモデル、RPO (Robust Prompt Optimization)、DRO (Dynamic Risk Optimization)、およびACD (Adversarial Contrastive Decoding) を含むベースラインに対して、3つのモデルを用いて行われました。

安全性と有用性: HiRouteは、すべてのモデルにおいて最高の平均安全性（例：Mistralで93.2%、Vicunaで97.7%、Zephyrで94.8%）を達成すると同時に、最高またはそれに準ずる安全レスポンスの有用性スコアを達成しました。強力なベースラインを安全性において1.3〜2.9パーセントポイント上回りました。
一般的有用性: 一般的な能力を低下させる手法とは異なり、HiRouteはGSM8K（数学的推論）、MT-Bench（指示追従）、TruthfulQAにおける性能を維持しました。例えば、Mistralにおいて、GSM8Kの精度を48.0%に維持したまま、安全性を53.2%から93.2%に向上させました。
過剰拒絶: HiRouteは、無害な入力に対する過剰拒絶を大幅に減少させました。XSTestにおいて、Mistralでは2.5%の過剰拒絶率を達成し、これはRPO（40.5%）やDRO（18.0%）と比較して劇的な改善です。
アブレーション研究:
- 学習戦略: 結合された交互学習（一貫した構成コンテキスト内でプロンプトを更新する）は、逐次学習（「Fineの後にCoarse」）よりも大幅に優れており、平均安全性を74.8%から93.2%に向上させました。
- プロンプト長: 粗粒度と細粒度のプロンプト長の比率を15/5（合計20）とすることが、安全性と有用性の間で最良のバランスを提供しました。
- 閾値: 安全ゲートの閾値 $\tau_s$ を上げることで、一般的な能力への影響を最小限に抑えつつ、安全制御を強化できました。

意義と主張

本論文は、HiRouteがLLMのアライメントにおける安全性と有用性の間の緊張関係を効果的に解決することを主張しています。リスクの特定とレスポンス生成をデカップルし、階列表形式の入力適応型プロンプト構造を採用することで、本手法は以下を実現します：

強力で一様な拒絶に頼ることなく、カテゴリに依存しない安定した安全境界を確立する。
有害なリクエストに対して、建設的なリスク固有のガイダンスと安全な代替案を提供する。
無害な入力を安全プロンプトの対象外にすることで、過剰拒絶を最小限に抑える。
バックボーンモデルを凍結し、少数のプロンプトパラメータと軽量なルーターのみを最適化することで、パラメータ効率の高い目標達成を行う。

著者らは、入力依存の階層的プロンプティングが、安全性、レスポンスの質、パラメータ効率、および一般的有用性のバランスを取るための堅牢なソリューションを提供すると結論付けています。また、アウトオブディストリビューション（分布外）の複合リスクに対するルーターの正確性に関する限界や、現在はシングルターンのテキストインタラクションに焦点を当てていることを認め、オープンセットのリスク認識やマルチモーダル設定への将来の研究を示唆しています。