💬 NLP

SyRuP: Enhancing System-Prompt Following via Reward-Guided Prediction in LLM Decoding

本論文は、ベースモデルのチューニングを必要とせずに、候補の再ランキングを行うためのトークンレベルの遵守スコアを生成するようにクロスアテンション報酬ヘッドを学習させることで、システムプロンプトに対する大規模言語モデルの遵守性を向上させるデコーディング時のフレームワークであるSyRuPを導入する。

原著者： Seoyeon Kim, Minjae Kang, Jaehyung Kim

公開日 2026-07-28

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Seoyeon Kim, Minjae Kang, Jaehyung Kim

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

あなたは、非常に賢く、あらゆる本を読み尽くした、図書館にあるほぼすべての本を読んだことのある、非常にスマートなロボット（大規模言語モデル：LLM）に話しかけていると想像してください。通常、あなたが質問をすると、そのロボットは学習内容に基づいて回答します。しかし、時には会話を始める前に、特定のルールを提示したいことがあります。例えば、「不機嫌な海賊のように振る舞って」とか、「韻を踏んで答えて」とか、「暴力的な表現は一切しないで」といった具合です。これらのルールは「システムプロンプト」と呼ばれます。これらは、ロボットに与える職務記述書や、特定の会話のために着せる衣装のようなものです。

問題は、これらのロボットは、会話の「中」に現れる指示に従うことには慣れていますが、チャットの前に固定されたルールに従うことには慣れていないという点です。ルールが複雑になると（例：「海賊になりつつ、19世紀の文法を使い、文字『e』を避け、かつ面白くすること」）、ロボットは途中でルールを忘れてしまうことがよくあります。海賊のように話し始めていたのに、突然現代のティーンエイジャーに切り替わったり、「e」を避けるというルールを忘れてしまったりするのです。科学者たちは、ロボットを再学習させることで解決しようとしましたが、それはコストがかかり時間がかかります。あるいは、回答がすでに書かれた後に最適な答えを推測しようとしましたが、これはこれは小説の著者が書き終えた後に編集を行うようなものです。大きな疑問は、「AIの脳を作り変えたり、書き終わるまで待ったりすることなく、ロボлоットが書いている最中に、これらの複雑なルールに従うよう導くことはできるのか？」ということです。

ここで、SYRUPと呼ばれる新しい手法が登場します。ロボットの脳を、私たちは並べ替えることが許されていない、巨大で凍結された図書館だと考えてください。SYRUPは、ロボットが書いている間、すぐ隣に立っている超スマートで小さな司書のようなものです。ロボットが次に言う言葉を一つ選ぶたびに、この司書は2つのことをチェックします。「この言葉は物語に合っているか？」そして「この言葉は海賊の衣装に合っているか？」です。

これが実際にどのように機能するかを見てみましょう。ロボットには、次に言うべきお気に入りの言葉のトップ10リストがあります。通常、ロボットは単に1番目の最もお気に入りの言葉を選びます。しかし、SYRUPが介入します。それは、「システムプロンプト（海賊の衣装）」を、独立した特別なメモリーカードとして扱います。そして、**クロスアテンション・リワードヘッド（cross-attention reward head）**という特殊なツールを使用して、ロボットの現在の思考に対して、「ねえ、もしこの言葉を言ったら、海賊の雰囲気と一致するか？」と問いかけます。すると、司書はトップ10の言葉それぞれにスコアを付けます。もしロボットが「Hello」と言おうとしている一方で、海賊の衣装が「Ahoy」を求めている場合、司書は「Ahoy」のスコアを上げ、「Hello」のスコアを下げます。そして、ロボットは最も高い合計スコアを持つ言葉を選びます。

論文は、このアプローチが従来の方法よりもはるかに優れていることを示唆しています。研究者たちは3つの異なるロボットの脳でSYRUPをテストし、SYRUPが、より優れたプロンプトを与えたり、回答が書かれた後に再ランク付けを行ったりする方法よりも、一貫して複雑なルールに従うのを助けることを発見しました。実際、あるテストでは、SYRUPは次点の優れた手法と比較して、ロボットのパフォーマンスを約5.6%向上させました。これは小さく聞こえるかもしれませんが、AIの世界では、これは巨大な飛躍です。

また、論文は他のいくつかのアイデアについても否定しています。ルールをメインの会話テキストの中に混ぜる（例えば、ユーザーの質問の中に海賊の指示を隠すようなこと）だけでは不十分であることを示しています。ロボットがルールを本当に守るためには、ルールを別個の明確なメモリとして扱う必要があります。また、ゼロからロボットを再学習させることでルール遵守を向上させることは可能ですが、それには膨大な時間と費用がかかることも分かりました。SYRUPは「デコーディング・タイム（生成時）」の手法であり、つまり、元の脳を凍結したまま、軽量なアドオンのみを訓練しながら、ロボットが考えている最中に機能します。

興味深いことに、研究者たちは、SY-RUPがまだ見たことのないルールに対しても機能することを発見しました。彼らは一つの複雑な指示セットでトレーニングを行い、その後、全く異なるルール（厳格なフォーマット指定や単語数制限など）でテストしましたが、それでも良好なパフォーマンスを示しました。これは、この手法が単に特定の答えを暗記させるのではなく、「上司の言うことを聞く」という一般的なスキルをロボットに教えていることを示唆しています。

しかし、論文はこれがすべてを解決する魔法の杖ではないことにも注意を払っています。この手法は、司書が言葉をチェックする必要があるため、ロボットの思考プロセスにわずかな追加時間を要します。しかし、著者らは、同じことをしようとする他の複雑な手法と比較すれば、このコストは非常に小さいと述べています。また、「ルール遵守」を強く押し込みすぎると、ロボットが奇妙だったり不自然になったりする可能性があるため、バランスが必要であるとも警告しています。

要約すると、SYRUPは、ロボットの脳全体を再学習させることなく複雑なルールに従わせたい場合、単にロボットがそれを覚えていることを期待するのではなく、代わりに、リアルタイムで動作する専用のガイドを与えるべきであることを示唆しています。そのガイドは、言葉の一つひとつをルールと照らし合わせてチェックし、最終的な物語が、最初から着ていた衣装に忠実であることを保証するのです。

技術要約: SyRuP – 報酬ガイド付き予測によるシステムプロンプト追従性の向上

問題提起

大規模言語モデル（LLM）は、役割、スタイル、フォーマット、および安全性に関する制約を定義するシステムプロンプトを通じて、ますます制御されるようになっています。しかし、現在のモデルはインコンテキスト学習を通じてこれらのプロンプトを暗黙的に従っており、これは複雑または複合的な指示に対しては不十分であることがしばしば判明しています。既存のソリューションは、以下のような重大なトレードオフに直面しています：

学習時の手法（例：SFT、RLHF）は、コストのかかるパラメータ更新を必要とし、「アライメント税」を招いて汎用的な能力を低下させる可能性があります。
デコーディング時の手法は、暗黙的な指示追従性に依存するか、システムプロンプトを単に結合されたコンテキストシーケンスの一部として扱うことが多いです。その結果、システムプロンプトが独立した条件付けソースとしての独自の役割を失ってしまいます。また、従来の報酬ガイド付きアプローチは、インスタンス固有のシステムプロンプトへの忠実度ではなく、固定された属性（例：毒性、感情）に焦点を当ててきました。

システムプロンプトを推論中にトークンレベルのガイダンスを提供する独立したメモリソースとして明示的に扱うフレームワークが不足しています。

手法: SyRuP

著者らは、ベースとなるLLMを凍結したまま、軽量な報酬ヘッドのみを学習させるデコーディング時のフレームワークであるSyRuP（System-prompt following via Reward-guided Prediction）を提案しています。その核心となる革新は、システムプロンプトへの追従をトークンレベルの条件付き忠実度問題として再定式化した点にあります。

1. クロスアテンション報酬ヘッド

システムプロンプト、ユーザー入力、および生成されたプレフィックスを単一のシーケンスに統合する標準的な報酬モデルとは異なり、SyRuPはシステムプロンプトを独立したKey-Value (KV) メモリとして保持します。

アーキテクチャ: 報酬ヘッドは、システムプロンプトの隠れ状態 $H(s)$ がキー ( $K_s$ ) および値 ( $V_s$ ) として機能するクロスアテンションメカニズムを使用します。
クエリ構築: クエリ ( $Q_t$ ) は、ユーザー入力と生成されたプレフィックス ( $H(x), H(y_{<t})$ ) の結合から派生します。
スコアリング: クロスアテンションの出力は、現在の生成状態に対して最も関連性の高いシステムプロンプトの部分にアテンションを向けます。これはコンテキスト表現と融合され、2層のMLPを通過して、各候補トークンのトークンレベルの忠実度スコア ( $r_t(v)$ ) を生成します。
学習: ヘッドは、Bradley-Terry目的関数を用いて、システムプロンプト条件付きの選好ペア $(s, x, y^+, y^-)$ を用いて学習されます。ベースとなるLMは凍結されたままであり、クロスアテンションの投影と融合MLPのみが更新されます。

2. 報酬ガイド付きデコーディング

推論時には、ベースLMのロジットから上位- $k$ 個の候補を再ランク付けします。最終的な選択スコアは、以下の3つのコンポーネントを組み合わせたものです：
$\text{Score}(v) = \ell_t(v) + \lambda_r r_t(v) + \lambda_c \Delta_t(v)$

$\ell_t(v)$ : ベースLMのロジット（流暢性）。
$r_t(v)$ : 学習されたトークンレベルの報酬スコア（明示的な忠実度）。
$\Delta_t(v)$ : 中立的なプロンプトに対するロジットの変化量 ( $\ell_t(v) - \ell^{neu}_t(v)$ ) を測定する、オプションの対照信号（contrastive signal）。
$\lambda_r, \lambda_c$ : 報酬および対照信号の強さを制御するハイパーパラメータ。

主な貢献

明示的なシステム条件付け: SyRuPは、クロスアテンションを介してシステムプロンプトを独立したメモリソースとして扱う初めてのデコーディング時フレームワークであり、暗黙的なコンテキスト吸収に頼るのではなく、明示的なトークンレベルの忠実度評価を可能にします。
軽量な推論時制御: 本手法はベースLLMのパラメータ更新を必要とせず、学習可能な小さな報酬ヘッドのみを必要とするため、フルファインチューニングに代わる実用的な選択肢を提供します。
ハイブリッド・ガイダンス: 明示的な報酬ガイダンスと、システムによる分布シフトを捉えるための対照信号を組み合わせたハイブリッド・バリアントを導入し、生成のステアリング（操舵）のための補完的な信号を提供します。

実験結果

著者らは、3つのバックボーンモデル（Qwen-2.5-1.5B, Llama-3.2-3B, Llama-3.1-8B）を用いて、Multifaceted-Bench（ドメイン内）およびIFEval（ドメイン外）でSyRuPを評価しました。

パフォーマンス: SyRuPは、プロンプティング手法（例：Few-shot, Marked Prompting）やデコーディング時のベースライン（例：OPAD, GenARM, ARGS, BoN, DeAL）を含むすべてのベースラインを一貫して上回りました。
- Multifaceted-Benchにおいて、全15のモデル・タスクの組み合わせにわたって最高の平均スコアを達成し、Qwen-2.5-1.5Bにおいて最強のベースラインを**5.61%**改善しました。
- IFEvalにおいて、タスク固有の学習なしで、SyRuPは最高の平均厳密プロンプトレベル精度を達成し、検証可能な制約に対する強い汎化性能を示しました。
効率性: SyRuPは、忠実度とコストの間に有利なトレードオフを提供します。
- 報酬のみのバリアントは、ベースモデルと比較してレイテンシをわずか1.04倍に増加させました。
- フルハイブリッド・バリアントは2.18倍のレイテンシ増加を伴いますが、これはARGS (5.13倍) や DeAL (16.83倍) といった他のデコーディング時ベースラインよりも大幅に低くなっています。
- ピークGPUメモリ使用量は、ベースモデルに近い状態を維持しました（3.1 GB 対一部のベースラインの >10 GB）。
分析: アブレーション研究により、明示的なクロスアテンション条件付けが、シングルストリームの暗黙的条件付けよりも優れていることが確認されました。さらに、報酬信号と対照信号は互いに補完的であり、両方の信号によって単独では選択されない独自のトークン選択を生み出すことが分かりました。

意義と主張

本論文は、明示的なトークンレベルのガイダンスが、信頼性の高いシステムプロンプト追従のための効果的かつ実用的なメカニズムであることを、SyRuPが検証したと主張しています。システムプロンプトを生成コンテキストから切り離し、専用のメモリソースとして扱うことで、SyRuPは、再学習の計算オーバーヘッドや検索ベースのデコーディングの高い推論コストを伴うことなく、複雑で多様、かつインスタンス固有の制約への適応を可能にします。

著者らは、SyRuPを、標準的なインコンテキスト学習が整合性を一貫して強制できない場合（特にシステムプロンプトが重要な役割、安全性ガイドライン、またはフォーマット要件を定義する場合）における、より制御可能なLLM生成への一歩として位置付けています。彼らは、ハイブリッド対照信号による追加のオーバーヘッドや過剰なステアリング（over-steering）の可能性といった限界を認め、適応的な重み付けや安全性フィルタリングに関する将来の研究を示唆しています。