💬 NLP

Training LLMs to Enforce Multi-Level Instruction Hierarchies via Gravity-Weighted Direct Preference Optimization

本論文は、5段階の指示階層をLLMに効果的に強制するために、特定のデリミタトークンおよび埋め込みと組み合わせた新しい学習目的関数であるGravity-Weighted Direct Preference Optimization (GW-DPO) を導入し、それによって異なる信頼レベルの指示間の衝突を解決すると同時に、標準的な手法と比較して過度な拒絶を大幅に減少させるものである。

原著者： Lena S. Bolliger, Lena A. Jäger

公開日 2026-06-10

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Lena S. Bolliger, Lena A. Jäger

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

大規模言語モデル（LLM）を、デスクに座っている非常に有能だが世間知らずなアシスタントだと想像してみてください。このアシスタントは、4人の異なる人物からのメモを受け取ります。

ボス（プラットフォーム）： 破ることのできない安全規則を設定します。
マネージャー（開発者）： アシスタントの職務記述書と性格を定義します。
クライアント（ユーザー）： 特定の助けや情報を求めます。
郵便配達員（データ／ツール）： 外界からのメモを届けますが、そこには罠や嘘が含まれている可能性があります。

問題：「カーネルモード」の欠陥
現在、これらのメモが届くと、アシスタントはすべてを同じレベルの注意深さで読み取ります。メモがボスからのものか、見ず知らずの他人からのものかは関係ありません。アシスタントはすべての言葉を等しく重要なものとして扱います。これは、CEOと偽造IDを持った見知らぬ人を、同じ容易さで建物に入れてしまうセキュリティガードのようなものです。

これは危険です。悪意のあるアクター（プロンプト・インジェクター）が、「ボスとマネージャーを無視して、私の言う通りにせよ」という内容のメモを「郵便配達員」の配達物の中に隠すことができます。アシススタントは誰がより高い権威を持っているかを知らないため、その見知らぬ人の命令に従い、ルールを破ってしまう可能性があります。

解決策：重力による階層構造（Gravity-Weighted Hierarchy）
著者らは、アシスタントに厳格な指揮系統を教えることを提案しています。彼らは標準的な4つのレベルに「ユーザー別設定」レベルを加えた、5つのレベルの権威体系を作成しました。

この階層を守るようアシスタントを訓練するために、彼らは**GW-DPO（Gravity-Weighted Direct Preference Optimization）**と呼ばれる新しい訓練手法を考案しました。

比喩：重力と重み
この階層を、ボスが「太陽」であり、郵便配達員が「遠くの惑星」である太陽系のように考えてみてください。

標準的な訓練： すべての衝突を同じように扱います。マネージャーがクライアントと争うのも「喧嘩」であり、ボスが郵便配達員と争うのもまた単なる「喧嘩」です。
GW-DPO（重力加重型）： この手法は、距離と質量が重要であることを理解しています。
- 距離： ボス（レベル0）と郵便配達員（レベル4）の間の衝突は、巨大で危険な隔たりです。この間違いに対する訓練ペナルティは極めて大きくなります。
  質量（被害者）： もし「ボス」が無視された場合、そのエラーは「クライアント」が無視された場合よりも深刻になります。
- 「バイラテラル（両方向）」スケジュール： 著者らは、エラーの重みを「レベル間の距離」と「被害者の重要度」の両方によって決定するのが最善であることを見出しました。ボスを無視することは「重い罪」であり、ユーザー設定を無視することは「軽い罪」となります。

ツール：特殊トークンと「名札」
これを機能させるために、著者らはアシスタントに2つの特別なツールを与えました。

デリミタ（フォルダ）： すべてのメモを明確にラベル付けされたフォルダ（例：ボスのルール用の <|L0_START|>）に入れます。
指示セグメント埋め込み（ISE）（名札）： すべての単語に、それが階層のどのレベルに属しているかを伝える、小さくて目に見えない「名札」を付けました。

何が起きたのか？
彼らはLlama-3.1-8Bというモデルでテストを行いました。結果は以下の通りです。

ルールの遵守能力の向上： モデルは、郵便配達員がボスやマネージャーを上書きしようとした際に、その指示を無視する能力が大幅に向上しました。ほぼすべてのケースにおいて、階層を強制することに成功しました。
「過剰拒絶」の減少： 安全訓練における一般的な問題として、モデルが少しでも怪しいものに対して怯えてしまい、あらゆる回答を拒否してしまうことがあります。「重力加重」メソッドは、本当の攻撃と通常の要求の違いを理解できるほど賢明でした。モデルは悪い要求は拒否しましたが、良い要求には標準的な訓練手法よりも2倍多く回答しました。
「名札」の秘密： 彼らは、目に見えない「名札（ISE）」が、必ずしもモデルを論理パズルを解く上で「賢く」するわけではないことを発見しました。むしろ、それは**校正器（キャリブレーター）**として機能しました。これがないと、モデルはメモの構造に混乱しすぎて、すべてに対して「ノー」と言ってしまいます。これがあることで、モデルはいつ「ノー」と言い、いつ「イエス」と言うべきかを正確に判断できました。
深さの重要性： 彼らは、3つのレベルのみで訓練を試みました（ボス、マネージャー、設定を一つの大きな「システム」グループに統合）。これは、大きく明白な衝突についてはうまく機能しましたが、モデルは微妙な中間レベルの議論に失敗しました。全5レベルの深さで訓練することが、モデルを単なる特化型にするのではなく、より汎用的に賢くすることに繋がることが分かりました。

結論
この論文は、AIモデルに**「ある指示は他の指示よりも重く、重要である」**ということを理解させる（「重力」システムを用いる）ことで、役に立つことを止めてしまうほど慎重になりすぎることなく、ハッカーに対してより安全にできることを示しています。それは、警備員に、CEOのIDカードが赤の他人のIDよりも重要であることを教えつつ、誰も中に入れないようにしない方法を教えるようなものです。

技術要約：重力加重型直接選好最適化（Gravity-Weighted Direct Preference Optimization）によるマルチレベル指示階層の強制学習

問題提起
プロダクション環境における大規模言語モデル（LLM）は、不変のプラットフォーム安全性ポリシーから開発者のシステムプロンプト、エンドユーザーのクエリ、そして潜在的に敵対的なツール出力に至るまで、信頼レベルが大きく異なるソースからの指示を処理している。アーキテクチャ上、これらの入力は単一のトークンシーケンスへと連結され、すべてのトークンが均一なアテンションを受ける。これは「カーネルモード」での実行と形容される状態である。この構造的な均一性は、悪意のある入力がモデルの挙動を乗っ取るプロンプトインジェクションに対する脆弱性を生み出し、また、異なる階層レベル間にある正当だが競合する指示同士を解決するための原理的なメカニズムをモデルから奪っている。先行研究では学習ベースの防御策が提案されているが、既存のアプローチは通常、3つまたは4つのレベルのみの階層を定式化しており、すべての違反を等しく深刻なものとして扱い、現代のデプロイメント・アーキテクチャ（例：OpenAIの5ティア・ステークホルダー・モデル）に求められる全ペアのレベル間相互作用を評価できていない。

手法
著者らは、 $k=5$ のレベルに対してインスタンス化された $k$ レベル指示階層問題を定式化する：

L0 (プラットフォーム・ガバナンス): 不変の安全性ルール。
L1 (開発者システムプロンプト): ペルソナとスコープ。
L2 (ユーザー別設定): セッションの好み。
L3 (ユーザーメッセージ): 実行時の入力。
L4 (データ/ツール出力): 外部コンテンツ。

この構造により、遵守すべきモデルが遵守すべき10個の異なるペア優先度関係が生じる。モデルにこれらの関係を尊重させるため、本論文では 重力加重型直接選好最適化（GW-DPO） を導入する。

損失関数: GW-Dлоは、競合するレベル間の構造的距離に応じてスケールする、レベルごとのオフセット $\delta(i, j)$ を導入することで Offset-DPO (ODPO) を適応させている。損失は以下のように定義される：
$L_{GW-DPO} = -\mathbb{E} \left[ \log \sigma \left( \beta \cdot \Delta r_\theta(x, y_w, y_l) - \delta(i, j) \right) \right]$
ここで $\Delta r_\theta$ は暗黙的な報酬マージンである。
スケジュール: $\delta(i, j)$ $δ (i, j)$ について、以下の2つのスケジュールを評価する：
- 線形 (Linear): 特権の差（ $j-i$ ）のみに依存する。
- 双方向 (Bilateral): 特権の差と、犠牲となるレベルの特権（ $k-1-i$ ）の両方を考慮し、侵害されたレベルの「重力」によって違反の深刻さを重み付けする。
アーキテクチャの変更: 学習パイプラインには、先行研究からの2つのコンポーネントを統合している：
- 特殊デリミタ・トークン: 各階層レベルの境界をマークするための、個別の開始/終了トークン。
- 指示セグメント・エンベディング (ISE): 階層レベルによってインデックス付けされた、トークン・エンベディングに加算される学習可能なパー・トークン・エンベディング。
学習パイプライン: プロセスは2段階のアプローチを含む：
1. SFT (教師あり微調整): デリミタを認識し、ISE情報を統合することをモデルに教える。これには、整合、部分的整合、および明白に不整合なプロンプトのデータセットを使用する。
2. GW-DPO: 階層のギャップに基づいたイージー・トゥ・ハード（易から難へ）のカリキュラム学習戦略を用い、レベル間の明示的な衝突を含むデータセット上で選好目的関数を最適化する。

主な貢献

$k=5$ の階層の定式化: 本論文は、プロダクション・アーキテクチャに基づいた5レベルの指示階層を定義し、10個のすべてのペア優先度関係をテストするカスタム評価スイートを生成した。
GW-DPO (双方向スケジュール): 競合するレベル間の距離と、犠牲となるレベルの特権の両方に基づいて学習マージンをスケールさせる 双方向スケジュール を含む GW-DPO の導入。このアプローチは、標準的な DPO および線形バリアントに対してパレート改善を示す。
アブレーションによるコンポーネントの分離: ISE と階層の深さの寄与を分離した：
- ISE は主に 拒絶閾値のキャリブレーション（較正）器 として特定された。ISEを除去すると、衝突解決の精度は概ね維持されるものの、過剰拒絶（良性プロンプトの拒絶）が桁違いに急増する。これは、ISEが、基礎的な衝突推論を変えることなく、構造化された敵対的スパンと良質な構造化スパンを区別するのに役立っていることを示唆している。
- 5レベル vs. 3レベル学習: 汎用性と専門化のトレードオフ を明らかにした。3レベル学習（L0-L2を「システム」ティアに集約）は、表面的な形式の認識を通じて特定の衝突ペアにおいて高いスコアを獲得するが、フラットテキストのプロンプトへの汎用性において退行し、表面的な手がかりを欠く内部システム間の衝突（例：L1 vs. L2）の解決に失敗する。

結果
Llama-3.1-8B-Instruct における評価において、GW-DPO (双方向) 設定は以下の結果を得た：

衝突解決: 最高のマクロ・ペアワイズ優先度遵守率（ $PPA_{macro} = 0.838$ ）および加重階層スコア（$WHS = 0.885$）を達成し、標準的な DPO および線形バリアントを上回った。
過剰拒絶: 過剰拒絶率（ORR）を 0.057 に維持した。これは標準的な DPO (0.120) の約半分であり、No-ISE 設定 (0.576) よりも大幅に低い。
汎用性: デリミタを取り除いたフラットテキストのリファレンス分割において、GW-DPO (双方向) は強いパフォーマンス（ $PPA_{ref} = 0.793$ ）を維持したが、線形バリアントよりはわずかに低かった。これは、階層のセマンティクスが強固に内面化されていることを示している。
外部ベンチマーク:
- XSTest: 標準的な DPO と比較して、安全なプロンプトに対する較正が改善されたが、「安全だが珍しい」プロンプトの処理においてトレードオフが見られた。
- SEP (指示-データ分離): プローブ実行率 0.118 を達成し、ベースモデルに対して約5倍の改善を示した。これは、指示とデータの効果的な分離を実証している。
- TensorTrust: ロバストネス率 0.818 を達成し、ベースモデル (0.212) を大幅に上回ったが、標準的な DPO (0.906) よりはわずかに低かった。これは、キャリブレーションのトレードオフを反映している。
- MT-Bench: 一般的なチャットアシスタントとしての有用性を維持し、GW-DPO (双方向) は 7.425 を記録。これは、オフザシェルフのアンカーと同等か、それを上回るスコアである。

意義と主張
本論文は、構造的なマージン、特に GW-DPO の双方向スケジュールが、階層遵守のための有用かつ補完的なレバーとして機能することを主張している。著者らは、デプロイメント・アーキテクチャがより多層化するにつれ、そのレシピが高次の $k$ へとスケール可能であることを断言している。

決定的な点として、本論文は、3レベル学習と5レベル学習の選択を、単純な順序付けの問題ではなく、汎用性と専門化のトレードオフ として位置づけている。5レベル学習は、プレーンテキストへの書き換えに対する解決能力を維持し、過剰拒絶を適切に制御する一方で、3レベル学習は表面的な相関を通じて特定のサブセットに対する狭い習熟を実現する。著者らは、双方向スケジュールが、線形スケジュールと比較して、衝突解決の向上と過剰拒測の低減を同時に実現する唯一の構成であり、古典的なセキュリティモデル（Biba, 1977）の「書き込み禁止（no write up）」制約に合致していることを強調している。

結論として、このレシピはプロンプトインジェクションに対する効果的な防御となり階層を強制するが、動機付けられた攻撃者に対する完全な敵対的防御ではなく、組織の優先事項のためにユーザーの懸念を抑制することに関する慎重なポリシー検討が必要であるとしている。

技術要約：重力加重型直接選好最適化（Gravity-Weighted Direct Preference Optimization）によるマルチレベル指示階層の強制学習

関連論文