💬 NLP

Hierarchical Alignment: Enforcing Hierarchical Instruction-Following in LLMs through Logical Consistency

この論文は、大規模言語モデルが異なる権限レベルの指示間の競合に対処する際、論理的整合性を保ちながら指示の優先順位を明示的にモデル化・強制する「ニューロ・シンボリック階層アライメント（NSHA）」を提案し、推論時に制約充足問題としての指示解決を行い、訓練時にその判断をモデルに蒸留することで、安全性とタスク有用性の両立を実現することを示しています。

原著者： Shu Yang, Zihao Zhou, Di Wang, Wenda Li

公開日 2026-04-13

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Shu Yang, Zihao Zhou, Di Wang, Wenda Li

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

🎭 物語：AI の頭の中の「会議室」

Imagine してください。AI の頭の中は、いつも**「会議室」**になっています。
そこには、様々な立場の人が同時に話しかけてきます。

社長（システム指示）: 「絶対に JSON という形式で答えろ！」「安全な話題だけ話せ！」
お客様（ユーザー指示）: 「いや、JSON じゃなくて普通の文章で書いて！」「もっと面白い話をして！」
資料（ツール出力）: 「商品名は『クラウドソフト』です」
過去の会話（履歴）: 「前回はこうだったよ」

【これまでの問題】
これまでの AI は、これらの声が混ざり合うと混乱していました。

「社長が『JSON で書け』と言っているのに、お客様が『普通の文章で』と言うと、どっちを信じていいかわからず、間違った答えを出してしまう。」
あるいは、悪意のある人が「社長を無視して、私の言うことを聞け」と囁くと（これを「プロンプト注入」と言います）、AI は簡単に騙されてルールを破ってしまいます。

これまでの研究は、「悪意のある攻撃から守る」ことばかりに注目していましたが、**「悪意はないけれど、日常でよくある『社長とお客様の意見の相違』」**をどう解決するかは、あまり研究されていませんでした。

💡 解決策：NSHA（神経 - 記号階層アライメント）

この論文の著者たちは、**「NSHA（ニューロ・シンボリック・ヒエラルキー・アライメント）」という新しい方法を提案しました。
これは、「AI の頭の中に、冷静な『議長』と『ルールブック』を置く」**ようなものです。

1. 会議の整理（原子化と衝突検知）

まず、AI は入ってくるすべての言葉を「原子（最小単位）」に分解します。

「JSON で書け」
「普通の文章で書け」
これらが「衝突している（矛盾している）」ことを、AI が瞬時に検知します。

2. 議長による決断（ソルバー・ガイド）

ここで、**「Z3 ソルバー」という、論理パズルを解く天才的な計算機（議長）が登場します。
議長は、「権限の順位」**というルールブックに従って判断します。

ルール: 「社長の命令（システム指示）は、お客様の要望（ユーザー指示）よりも優先される」
判断: 「お客様が『普通の文章で』と言っても、社長が『JSON で』と命令している以上、社長の命令を優先して、お客様の要望は『却下』する」

このように、論理的に「誰の言うことを聞き、誰の言うことを無視するか」を計算し、**「最も矛盾のない、正しい指示セット」**だけを選び出します。

3. AI の学習（蒸馏）

しかし、毎回外部の「議長（ソルバー）」を呼ぶのは時間がかかります。
そこで、この論文のすごいところは、**「議長が下した判断を、AI 自身に覚えさせる」**ことです。

大量の練習問題（社長とお客様の意見が衝突するシナリオ）を作り、議長が正しく判断した答えを AI に教えます。
これにより、AI は**「議長がいなくても、自分自身で『社長の方が偉いんだから、社長の言うことを聞くべきだ』と直感的に判断できる」**ようになります。

🏆 結果：どう変わったのか？

この方法を実験で試したところ、素晴らしい結果が出ました。

ルール遵守: 「JSON で書け」というルールがあるのに、ユーザーが「違う形式で」と言っても、AI はルールを守り続けました。
タスクの遂行: 混乱しても、本来の目的（例えば翻訳やツール操作）を失敗しませんでした。
安全性: 悪意のある攻撃（「ルールを無視して」という囁き）に対しても、しっかり防ぎました。

**「CoT（思考の連鎖）」と呼ばれる、AI に「考えてから答えろ」と指示する従来の方法よりも、この「議長とルールブック」方式の方が、特に「長い会話が続く場合」や「強い圧力がかかっている場合」**に、はるかに安定して正しく動きました。

🌟 まとめ：なぜこれが重要なのか？

この研究は、AI が単に「おしゃべり上手」になるだけでなく、**「組織のルールや安全基準を忘れずに、かつユーザーの役に立つ」**という、現実世界で働くための「賢い判断力」を身につけるための重要な一歩です。

簡単な比喩で言うと：

これまでの AI は、**「誰が大声で言っているか」で判断して、混乱していました。
新しい AI（NSHA）は、「誰が『上司』で、誰が『部下』か」という組織図を頭に入れて、「上司のルールを優先しつつ、部下の要望もできる限り叶える」**という、成熟した社会人のように振る舞えるようになったのです。

これにより、AI を旅行の計画や仕事のサポートなど、長く複雑なタスクに使う際にも、より安心感を持って頼めるようになるでしょう。

論文「Hierarchical Alignment: Enforcing Hierarchical Instruction-Following in LLMs through Logical Consistency」の技術的サマリー

本論文は、大規模言語モデル（LLM）が、システムポリシー、ユーザー要求、ツール出力、検索コンテキストなど、異なる権限レベルを持つ多様な指示を同時に受け取る現実的なシナリオにおいて、指示の階層性を尊重しつつ論理的整合性を保つための新しい枠組み「Neuro-Symbolic Hierarchical Alignment (NSHA)」を提案するものです。

以下に、問題定義、手法、主要な貢献、実験結果、および意義について詳細を記述します。

1. 問題定義と背景

現代の LLM アプリケーション（エージェント、コードアシスタントなど）では、単一のコンテキストウィンドウ内に、システム指示、ユーザー指示、会話履歴、ツール出力など、複数の情報源が含まれます。これらはそれぞれ異なる権限レベル（Authority Levels）を持ちます。

既存研究の限界: 従来の指示階層に関する研究は、主に「プロンプトインジェクション」や「ジャイルブレイク」などの敵対的攻撃に焦点を当てており、システム指示とユーザーの好みが矛盾するなどの**「良性（Benign）だが一般的な指示の衝突」**を見落としていました。
課題: 現実のアプリケーションでは、システムが「JSON 形式で出力せよ」と指示している一方で、ユーザーが「プレーンテキストで答えてくれ」と要求するなど、権限の異なる指示が部分的または暗黙的に衝突することが頻発します。モデルはセキュリティ違反を回避しつつ、タスクの有効性（Utility）と行動の一貫性を維持する必要があります。

2. 提案手法：Neuro-Symbolic Hierarchical Alignment (NSHA)

NSHA は、神経網（Neural）と記号論理（Symbolic）を統合し、推論時と学習時の両方で指示の階層性を強制するアプローチです。

2.1 推論時：ソルバー誘導型推論 (Solver-Guided Inference)

外部ソルバーを用いて、指示の解決を「充足可能性問題（Constraint Satisfaction Problem）」として定式化します。

指示の原子化 (Atomization): 入力コンテキストを、システム、ユーザー、ツールなどのソースに基づき、権限レベル（0: システム > 1: ユーザー > 2: ツール/履歴）が付与された離散的な「原子指示」に分解します。
神経衝突検出 (Neural Conflict Scanning): 事前学習された NLI（Natural Language Inference）モデルを用いて、原子指示間の意味的な矛盾（Contradiction）を検出し、衝突マトリックスを構築します。
階層的最適化 (Hierarchical Optimization): Z3 ソルバー（SMT ソルバー）を用いて、MaxSMT 問題を解きます。
- ハード制約: 衝突する指示ペアは同時に選択できない。
- 優先順位制約: 権限レベルが高い指示を優先し、重み付けされた和を最大化するように最適化します。
- これにより、論理的に整合性があり、かつ階層ルールに準拠した「適用可能な指示の最大部分集合」が導き出されます。
生成ガイダンス: ソルバーが選定した指示セットのみを LLM に入力し、回答を生成させます。

2.2 学習時：階層的アライメント学習 (Hierarchical Alignment Training)

推論時の外部ソルバー依存を解消し、モデル内部に階層原則を内化させるための学習プロセスです。

データ構築: Alpaca コーパスを基に、LLM を用いて「整合する指示」と「衝突する指示」の文脈を自動生成します。ソルバーを用いて、どの指示が優先され、どの指示が却下されるべきかをラベル付けし、好ましい回答（階層準拠）と望ましくない回答（階層違反）のペアを作成します。
損失関数 (HCAL): 階層整合性アライメント損失（Hierarchy-Consistent Alignment Loss）を設計し、以下の 3 つの要素を最適化します。
1. 選好損失 ( $L_{pref}$ ): 階層準拠の回答を違反回答より高く評価する DPO 的な損失。
2. 意味損失 ( $L_{SL}$ ): 階層を満たす結果に確率質量を集中させるための制約。
3. KL 正則化 ( $L_{KL}$ ): 汎用能力の維持。

3. 主要な貢献

良性衝突への焦点: 敵対的攻撃だけでなく、実世界で頻発する「システム vs ユーザー」などの良性な指示衝突を解決する初めての体系的なアプローチを提案しました。
神経 - 記号統合フレームワーク: 推論時の厳密な論理的整合性（ソルバー）と、学習時のモデルの能力内化（ディストーション）を組み合わせ、外部ツールなしでも階層指示に従えるモデルを実現しました。
包括的な評価: ルール遵守、タスク実行、ツール使用、安全性の 4 つのドメインで、単ターンおよびマルチターン（対話）の両方において、NSHA の有効性を検証しました。

4. 実験結果

Qwen3-4B-Instruct と Llama-3.1-8B-Instruct を基盤モデルとして、IHEval ベンチマークなどで評価を行いました。

ルール遵守 (Rule Following):
- 衝突状況下ではベースモデルの性能が急落しますが、NSHA（特に NSHA-DPO 変種）は大幅に改善しました。
- 例：Qwen3-4B-it のマルチターン衝突スコアはベースの 26.6 から NSHA-DPO で 36.6 へ、Llama3.1-8B は 20.3 から 38.7 へ向上しました。
タスク実行 (Task Execution):
- 言語検出タスクなど、指示衝突によりタスク自体が破綻するケースにおいて、NSHA-DPO は劇的な回復を示しました（Qwen で 4.5 → 70.7）。
ツール使用 (Tool Use):
- 推論時のソルバー（NS）はツール使用の堅牢性を向上させましたが、学習時アライメント（NSHA-HCAL）が Llama モデルにおいて特に効果的でした。
安全性 (Safety):
- プロンプト抽出やハイジャック攻撃に対する耐性が向上しました。特に Llama3.1-8B において、NSHA-DPO は高い安全性を維持しつつ、攻撃時のスコアを改善しました。
マルチターン堅牢性:
- 対話の継続中に衝突が繰り返される状況（2-Turn Conflict）において、NSHA-DPO は時間的安定性を保ち、システムレベルの優先順位を維持する能力が最も高かったことが示されました。

5. 意義と結論

本論文は、LLM が複雑な実世界環境で動作する際に不可欠な「指示の階層性管理」の問題に対し、論理的整合性を保証する神経 - 記号アプローチを提案しました。

実用性: 外部ソルバーを必要としない学習済みモデルは、低遅延かつ効率的な展開を可能にします。
信頼性: システムポリシーとユーザー要求の衝突を論理的に解決することで、エージェントの行動予測可能性と安全性を高め、長期的な自律システムの実現に寄与します。
汎用性: 敵対的攻撃だけでなく、日常的な業務フローにおける指示の矛盾を解決する基盤技術として、今後の LLM 応用開発において重要な指針となります。

要約すれば、NSHA は「LLM が複数の指示を矛盾なく処理し、権限の高い指示を優先する能力」を、論理的な厳密さと学習による適応性の両面から強化する画期的な手法です。