論文要約：大規模言語モデルにおける指示階層の制御錯覚

タイトル: Control Illusion: The Failure of Instruction Hierarchies in Large Language Models
著者: Yilin Geng ら (The University of Melbourne, MUZUAI, The Hebrew University of Jerusalem)

1. 問題定義 (Problem)

大規模言語モデル（LLM）の展開において、開発者（システム）からの指示とユーザーからの指示が衝突した場合、システム指示が優先されるという「指示の階層性（Instruction Hierarchy）」が広く仮定されています。OpenAI のモデル仕様などでも、開発者のシステムメッセージがユーザーメッセージより優先されると明記されています。

しかし、本研究は以下の重要な疑問を提起します。

• 制御の錯覚: システム/ユーザーの役割分離（Prompt 分離）は、実際にモデルが指示の優先順位を正しく守るための信頼性の高いメカニズムとして機能しているのか？
• 実態の不明確さ: 競合する指示があった際、モデルがどの指示に従うのか、そのメカニズムは体系的に理解されていない。

既存のシステム/ユーザー分離は、単純なフォーマット衝突（例：言語指定、文字数制限）であっても、モデルに一貫した優先順位付けを行わせるのに失敗している可能性が示唆されました。

2. 手法と実験設計 (Methodology)

本研究では、指示の階層性を評価するための体系的なフレームワークを提案し、6 つの最先端 LLM（Qwen, Llama, Claude, GPT-4o など）を対象に実験を行いました。

データセット構築

• ベースタスク: メール作成、ブログ記事、分析回答など 100 種類の多様なタスクを準備。
• 競合制約（Constraints）: 互いに排他的かつプログラム的に検証可能な 6 種類の制約ペアを定義（例：「英語で出力」vs「フランス語で出力」、「大文字のみ」vs「小文字のみ」など）。
• 実験条件:
  • ベースライン: 単一の制約のみを提示（指示追従能力の測定）。
  • 優先順位なし（No Priority）: 両方の制約をユーザーメッセージ内に提示（モデルの内在的バイアスの測定）。
  • 階層構造テスト: 主要な制約を「システムメッセージ」、次要な制約を「ユーザーメッセージ」に配置する 3 つの構成（Pure, Task Repeated, Emphasized）で実験。

評価指標

モデルの挙動を定量化するために以下の指標を導入しました。

1. Primary Obedience Rate (R1): 優先された制約のみが満たされる割合。
2. Explicit Conflict Acknowledgement Rate (ECAR): モデルが競合を明示的に認識し、発言する割合。
3. Priority Adherence Ratio (PAR): 制約を満たした場合に、優先された方を選んだ割合（R1 / (R1+R2)）。
4. Constraint Bias (CB): 優先順位に関わらず、特定の制約タイプ（例：小文字、長い文章）を好む傾向の強さ。

3. 主要な結果 (Key Results)

指示階層の失敗

• 一貫性の欠如: システム/ユーザーの分離を行っても、モデルは競合する指示に対して一貫した優先順位付けを行いませんでした。
• パフォーマンスの低下: 単一の制約では 75-90% の追従率を示すモデルも、競合条件下では平均 R1 が 10-45% 程度まで急落しました。
• モデルサイズの影響: 大規模モデル（Llama-70B や GPT-4o）が小規模モデルより優れているわけではなく、むしろ GPT-4o-mini の方が GPT-4o よりも優先順位の遵守率が高い場合がありました。
• 文脈の影響: 指示を詳細化（Rich Context）しても、階層制御の失敗は解消されませんでした。

競合認識とバイアス

• 競合の無視: モデルは競合を明示的に認識する（ECAR）ことが稀でした（0.1%〜20%）。また、認識しても必ずしも正しい優先順位に従うとは限りませんでした。
• 強力な内在的バイアス: モデルは「システム/ユーザー」という役割に関係なく、特定の制約タイプに対して強いバイアスを持っていました。
  • 共有バイアス: ほぼ全てのモデルが「大文字より小文字」「短い文章より長い文章」「キーワードの回避」を好む傾向がありました。これは事前学習データの分布に起因すると考えられます。
  • モデル固有のバイアス: 文章の長さや言語選択など、モデルによって好みが大きく異なるケースもありました。

社会的階層の影響力（重要な発見）

システム/ユーザーという人工的な役割よりも、**事前学習を通じて獲得された「社会的階層（Societal Hierarchies）」**の方がモデルの行動に強い影響を与えることが発見されました。

• 実験: 制約を「CEO vs インターン（組織権威）」「Nature 論文 vs ブログ（専門性）」「90% の専門家 vs 少数派（社会的合意）」という文脈で提示しました。
• 結果: 社会的な権威や合意を強調するフレームリングを用いた場合、システム/ユーザー分離よりもはるかに高い優先順位の遵守率（PAR）を示しました。
  • 例：GPT-4o-mini はシステム/ユーザー分離で 47.5% でしたが、社会的合意の文脈では 77.8% まで上昇しました。
  • Qwen-7B は 14.4% から 65.8% まで大幅に改善しました。

4. 貢献と意義 (Contributions & Significance)

学術的貢献

1. 体系的評価フレームワークの提案: 指示の階層性を検証するための、検証可能な制約優先順位付けに基づく新しい評価手法と指標（PAR, CB, ECAR など）を提案しました。
2. 「制御錯覚」の解明: 業界で標準的に採用されているシステム/ユーザーの役割分離が、実際には信頼性の高い指示階層を構築できていないことを実証しました。
3. 事前学習バイアスの重要性: モデルの行動は、ポストトレーニング（指示微調整）で導入された人工的なルールよりも、事前学習データに埋め込まれた社会的構造（権威、専門性、合意）によって強く規定されている可能性を示しました。

実用的・社会的意義

• 安全性とアライメントへの示唆: 現在の LLM の安全性ガードレール（システム指示）は、ユーザーによる「社会的権威」を装った攻撃（ジャイルブレイク等）に対して脆弱である可能性があります。
• 今後の研究方向: 単に指示微調整を行うだけでなく、モデルのアーキテクチャや事前学習段階における「階層的バイアス」のメカニズムを解明し、より堅牢な指示優先順位付けを実現する技術的革新が必要であることを提言しています。

結論

本研究は、LLM が競合する指示に対して意図された優先順位を遵守できないという根本的な限界を明らかにしました。特に、開発者が意図した「システム指示の優先」よりも、モデルが事前学習で獲得した「社会的階層（権威や合意）」の方が行動決定において強力な役割を果たしているという発見は、LLM の制御と安全性に関する今後の研究において重要な転換点となります。