🤖 machine learning

Towards Reliable, Generalizable, and Specific In-Context Knowledge Editing via Multi-Objective Reinforcement Learning

本論文は、プロンプト構築を制約付きマルコフ決定過程として定式化し、信頼性、汎用性、および特異性を同時に最適化することで、従来の手法と比較してLLMの知識更新において優れた性能を実現するマルチオブジェクティブ・インコンテキスト・ナレッジ・エディティング（MO-IKE）という多目的強化学習アルゴリズムを提案する。

原著者： Xuzhong Wang, Maiqi Jiang, Tejal Nair, Girija Bhusal, Yanfu Zhang, Haipeng Chen

公開日 2026-08-27

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Xuzhong Wang, Maiqi Jiang, Tejal Nair, Girija Bhusal, Yanfu Zhang, Haipeng Chen

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

大規模言語モデルは、物語を書き、問題を解決し、人間の思考を模倣するような流暢さで質問に答えることができる、新世代の人工知能の原動力です。しかし、これらのシステムには根本的な限界があります。それは、その知識が時間に凍結されていることです。一度モデルの初期トレーニングが完了すると、保持される事実は静的なものとなります。もしモデルが2026年冬季オリンピックより前に学習されていた場合、何度尋ねたとしても、最終的なメダル数は分かりません。この知識を更新するには、通常、膨大で高価な再学習プロセスが必要であり、ほとんどのユーザーにとって非現実的です。これを解決するために、研究者たちは「インコンテキスト・ナレッジ・エディティング（文脈内知識編集）」と呼ばれる手法を開発しました。これはモデルの内部コードを変更する代わりに、会話のプロンプトの中に一連の例示を提供することで、その特定のやり取りの間だけ新しい事実を効果的に教え込む手法です。課題は、完璧な例示のセットを構築することにあります。それは、新しい事実をモデルに受け入れさせるのに十分強力であり、質問の言い回しが変わっても機能するほど柔軟であり、かつ、モデルが既に知っている無関係な事実を誤って忘れたり変更したりしないように、十分に精密でなければなりません。

研究チームは、これらのプロンプトの構築方法を大幅に改善する「MO-IKE」と呼ばれる新しいシステムを発表しました。このプロセスを自動化しようとするこれまでの試みは、コンピュータプログラムが試行錯誤を通じて学習する手法である「強化学習」に依存していました。これまでのシステムは、新しい事実を教えることには成功していましたが、多くの場合、高い代償を伴いました。新しい事実を確実に受け入れさせようと急ぐあまり、既存の知識を保護するために必要な例示を削ぎ落としてしまったのです。これにより、一つのエラーを修正すると別のエラーが現れるという、脆弱なバランスが生じていました。新しいアプローチは、プロンプトの構築を単なる項目のリストとしてではなく、逐次的な意思決定プロセスとして扱います。このシステムは、新しい事実を述べる例、質問を言い換えた例、あるいは変更すべきではない事実を補強する例を、一つずつ追加するかどうかを選択することを学習します。そして、プロンプトが完成したと判断したときにのみ、例示の追加を停止します。

研究者たちは、マルチオブジェクティブ（多目的）報酬構造を用いてこのシステムを訓練しました。これは、コンピュータが「新しい事実を正しく伝えること」「質問の様々な問い方に適切に対応すること」「無関係な事実を安全に保つこと」という3つの領域で同時に成功した際に報酬を与えられる仕組みです。これらの競合する目標のバランスを取ることで、新しい手法はシステムが過度に攻撃的になるのを防いでいます。標準的な事実セットを用いたテストでは、新しいシステムは編集の成功率を87.1パーセントから91.1パーセントへと向上させました。さらに重要なことに、無関係な知識の保持率を41.0パーセントから63.4パーセントへと劇的に改善しました。これは、新しい事実を学習している間に、変更する必要のない事実をモデルが「忘れて」しまう可能性が大幅に減少したことを意味します。また、このシステムは高い適応性も証明しました。ある特定の言語モデルで訓練されたバージョンは、追加の訓練なしに、全く異なるモデルに適用した場合でも同様にうまく機能しました。

この研究は、例示がどのように構成されるかが、例示そのものと同じくらい重要であることを示しています。以前の手法は、固定されたテンプレートを使用したり、単一の種類の例示に焦点を当てたりすることが多く、それがアンバランスなプロンプトにつながっていました。新しいシステムは、異なる種類の例示を動的に混合することで、堅牢で具体的なコンテキストを作り出します。5つの異なる凍結された言語モデルと、30万件以上の例を含む大規模なベンチマークを含む4つの異なるデータセットを用いたテストにおいて、この手法は一貫して従来の技術を上回る性能を示しました。研究者たちは、新しい情報を教えることと古い情報を保護することのトレードオフを慎重に管理することで、以前は到達不可能であった信頼性と特異性のレベルを達成できることを見出しました。この研究は、人工知能を更新する未来が、大規模な再学習にあるのではなく、会話を通じてモデルを導く、よりスマートでバランスの取れた方法にあることを示唆しています。

技術要約: 多目的強化学習による MO-IKE

問題提起

大規模言語モデル（LLM）は、事前学習後に陳腐化する静的なパラメータ知識に依存しています。**知識編集（Knowledge Editing: KE）**は、フル再学習を行うことなく特定の事実に対するモデルの挙動を更新することを目指すものですが、**インコンテキスト知識編集（In-Context Knowledge Editing: IKE）**は、ブラックボックスモデルにも適用可能な、トレーニングフリーの代替手法として台頭してきました。IKEは、望ましい更新を誘導するために、検索・結合されたデモンストレーションを用いてプロンプトを構築します。

しかし、効果的なIKEプロンプトを構築するには、しばしば相反する以下の3つの目的のバランスを取る必要があります：

信頼性（Reliability）: モデルがターゲットとなるクエリに対して、新しい事実を正しく出力すること。
汎用性（Generality）: 更新が、意味的に等価なクエリ（言い換え）にも適用されること。
特異性（Specificity）: 無関係な隣接知識を改変することなく保持すること。

DR-IKEのような最近の強化学習（RL）アプローチは、デモンストレーションを動的に選択して信頼性を最適化しようと試みています。しかし、本論文はこれらの最先端手法における2つの決定的な欠陥を指摘しています：

逐次的な順序付けの軽視: これらはデモンストレーションの構成を二次的な懸念事項として扱ったり、特定のタイプ（例：RETAIN）のランキングのみを最適化したりしており、デモンストレーションの順序におけるグローバルな相互依存性を無視しています。
目的最適化の不均衡: 主に編集の成功（信頼性）を最適化することで、これらの手法は意図せず RETAIN デモンストレーション（隣接する知識を保護するもの）を破棄してしまいます。これにより、「報酬ハッキング」現象が発生し、リトリーバーが特異性を保護する例をフィルタリングしてしまい、**保持率（Retention Rate/特異性）**の崩壊を引き起こします。

手法: MO-IKE

著者らは、プロンプト構築を**制約付きマルコフ決定過程（Constrained MDP）**として定式化し、信頼性、汎用性、および特異性を共同で最適化するアルゴリズムである MO-IKE (Multi-Objective In-context Knowledge Editing) を提案しています。

1. 制約付きMDPとしての定式化

検索プロセスは、逐次的な意思決定問題 $(S, A, T, R, C)$ としてモデル化されます：

状態 ( $S$ ): 現在構築されているプロンプトのコンテキスト。
アクション ( $A$ ): RETAIN候補のランキングに限定されるDR-IKEとは異なり、MO-IKEはアクション空間を COPY（直接的な再表明）、UPDATE（言い換えられたクエリ）、RETAIN（無関係な事実）のデモンストレーションの選択、および STOP アクションへと拡張しています。これにより、エージェントは最適なグローバルな順序とデモンストレーションの種類の割合を学習できます。
報酬 ( $R$ ): 主要な報酬は 編集成功（Edit Success: ES） であり、モデルが新しい事実を出力したかどうかを示します。
コスト制約 ( $C$ ): 汎用性と特異性を強制するために、フレームワークは パラフレーズ一貫性（Paraphrase Consistency: PC） と 保持率（Retention Rate: RR） に関するコスト制約を導入しています。これらはタスク成功の論理的な逆数として定義されます（すなわち、元の事実を維持できなかった場合、または言い換えへの汎用性に失敗した場合にコストが発生します）。

2. 多目的報酬シェイピング

この制約付き最適化問題を解決するために、MO-IKEは**ラグランジュ緩和（Lagrangian relaxation）**を用いて多目的問題をスカラー化します。最終的な報酬信号 $r(s, a)$ は以下のように計算されます：
$r(s, a) = R(s, a) - \sum_{k \in \{PC, RR\}} \lambda_k C_k(s, a)$
ここで、 $\lambda_k$ は（学習される双対変数ではなく）固定されたハイパーパラメータであり、汎用性と特異性の低下に対してペナルティを課します。この構造により、リトリーバーが信頼性のために特異性を犠沢することを防ぎます。

3. 方策最適化

BERTベースのエンコーダと学習可能な投影行列を備えたリトリーバーは、**グループ相対方策最適化（Group Relative Policy Optimization: GRPO）**を用いて訓練されます。

サンプリング: 各編集インスタンスに対して、方策は $G$ 個のプロンプト・トラジェトリのグループをサンプリングします。
評価: 固定されたターゲットLLMがこれらのトラジェトリを評価し、複合報酬を算出します。
更新: アドバンテージはグループ平均に対して推定され、KLダイバージェンスを介して参照方策からの乖離をペナルティとしつつ、クリップされた代理目的関数を最大化するように方策が更新されます。

主な貢献

欠陥の特定: 本論文は、既存のRLベースのIKE手法（具体的にはDR-IKE）が、編集の成功と知識保持のトレードオフのバランスを取ることに失敗しており、多様なデモンストレーションの型の逐次的な順序付けを軽視していることを明らかにしました。
MO-IKEアルゴリズム: 著者らは、プロンプト構築を制約付きMDPとして扱う多目的RLアルゴリズムを導入しました。すべてのデモンストレーションカテゴリを含むようにアクション空間を拡張し、報酬シェイピングを介してコスト制約を適用することで、MO-IKEは信頼性、汎用性、および特異性のバランスを取る安定した方策を保証します。
アーキテクチャの改善: 本手法は、デモンストレーションを静的なテンプレートとして扱ったり、サブセットのみを最適化したりするのではなく、COPY、UPDATE、RETAINのデモンストレーションの最適な「グローバル」な順序を学習できる動的なリトリーバーを導入しています。

実験結果

著者らは、Llama-3.2-3B、Mistral-7B、および COUNTERFACT、ZSRE、WIKI-COUNTERFACT、ならびに大規模な UniEdit ベンチマーク（311K例）において、MO-IKEを評価しました。

性能向上: Llama-3.2-3Bにおいて、MO-IKEはDR-IKEのベースラインと比較して、**編集成功率（信頼性）を85.0%から92.0%**へ、保持率（特異性）を34.7%から57.7%へと向上させました。調和平均スコアは54.9から73.5に上昇しました。
特異性の保持: 極めて重要なことに、MO-IKEはDR-IKEで見られた特異性の低下を逆転させました。Mistral-7Bでは、保持率をベースラインより**+22.7%**向上させ、保持指標をマイナス22.5からプラス32.1へと転換させました。
ゼロショット汎用性: Llama-3.2で訓練されたリトリーバーは、Mistral-7Bに対しても効果的に汎用化し、ネイティブに訓練されたリトリーバーと同等の性能を維持しました。
アブレーション研究:
- 保持制約を取り除くと特異性が大幅に低下し、多目的定式化の必要性が確認されました。
- アクション空間を（RETAINのみではなく）すべてのデモンストレーション型に拡張することは、すべての指標においてバランスの取れた性能を達成するために不可欠であることが示されました。

意義と主張

本論文は、MO-IKEがインコンテキスト知識編集における競合する目的関数に対する原理的な解決策を提供すると主張しています。問題を制約付きMDPとして定式化し、報酬シェイピングを介して多目的最適化を利用することで、MO-IKEは従来のRLアプローチに見られる「報酬ハッキング」を回避する「安定した方策」を実現します。

著者らは、彼らのアプローチがターゲットLLMに対してはトレーニングフリー（LLMは固定されたまま）であり、ブラックボックスモデルにも適用可能であることを強調しています。また、MO-IKEは既存のリトリーバ戦略を大幅に改善しているものの、絶対的な保持率はインコンテキスト学習手法に固有のボトルネック（約60%付近を推移）であり、勾配フリーのアプローチにはまだ改善の余地があることも述べています。本研究は、異なるデモンストレーション型の割合と順序をバランスさせることが、信頼性が高く、汎用性があり、かつ特異な知識編集を実現するために不可欠であることを確立しました。