💬 NLP

Context-Aware RL for Agentic and Multimodal LLMs

本論文は、最終的な回答の教師あり学習のみに依存するのではなく、間接的な補助的目標を通じて、非常に類似したペアから正しいコンテキストを選択するようにモデルを訓練することで、LLMにおける長期的な推論能力とマルチモーダル性能を向上させる、コンテキスト認識型強化学習手法であるContextRLを提案している。

原著者： Peiyang Xu, Bangzheng Li, Sijia Liu, Karthik R. Narasimhan, Pramod Viswanath, Prateek Mittal, Xingyu Fu

公開日 2026-06-16

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Peiyang Xu, Bangzheng Li, Sijia Liu, Karthik R. Narasimhan, Pramod Viswanath, Prateek Mittal, Xingyu Fu

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

あなたは、ミステリーを解決しようとしている探偵だと想像してください。あなたは膨大な証拠ファイル（「コンテキスト」）の山と、答えるべき特定の質問を抱えています。問題は、現代のほとんどのAI探偵は答えを推測することには長けているものの、自分が正しいことを証明するファイル内の「正確なページ」を指し示すことには失敗してしまうということです。彼らは運良く正解を導き出したり、パターンを記憶したりしているだけかもしれません。彼らは、目の前にある証拠の中の「決定的な証拠（スモーキング・ガン）」を示すことができないのです。

この論文**「Context-Aware RL for Agentic and Multimodal LLMs」は、この問題を解決するための新しい学習手法であるCONTEXT-RL**を紹介しています。これは、AIモデルに対し、単に「何を」答えるかだけでなく、「どこに」根拠となる証拠を探すべきかを教えるものです。

以下に、日常的な例えを用いた、その仕組みの簡単な解説を記します。

1. 問題点：「推測する」探偵

著者たちは、非常にスマートなAIモデルであっても、しばしば**「コンテキストへの無関心（context unawareness）」**に陥ることに気づきました。

コーディングにおいて： AIがコンピュータプログラムを修正している場面を想像してください。AIは長い指示のリスト（コンテキスト）を見ています。AIは変数 i を削除することに決めました。しかし、もしコンテキストを注意深く見ていれば、i がコードの後半で使われていることが分かったはずです。コンテキストの特定の行に基づいて判断を下さなかったために、AIはプログラムを壊してしまいます。
画像において： AIがグラフを見ている場面を想像してください。AIはある特定の数値を読み取る必要があります。グラフには明らかに「3」と表示されているにもかかわらず、AIはよくある数字である「2」と推測してしまうかもしれません。目の前にある微細な視覚的詳細を見逃してしまったのです。

論文では、モデルに「質問」「回答」、そして**「非常によく似た2つのストーリー（コンテキスト）」**を見せることで、この問題をテストしました。一方のストーリーは回答を裏付けていますが、もう一方は見た目はほぼ同じですが回答を裏付けていない「偽の」ストーリーです。驚くべきことに、多くの優れたオープンソースモデルは両者の違いを判別できず、ランダムに推測する場合とほとんど変わらない頻度で間違ったストーリーを選んでしまいました。

2. 解決策：「間違い探し」ゲーム

これを解決するために、著者たちはCONTEXT-RLという新しい学習ゲームを作成しました。

単にAIに対して「正解しました、これが報酬です」と伝えるのではなく、より厳格な第2のルールを追加しました。それは、**「必ず正しい証拠ファイルも指し示さなければならない」**というルールです。

設定： AIには質問と回答が与えられます。その後、AIには、ほぼ同一の「2つの世界（コンテキスト）」が示されます。
- 世界A： 回答が正しいことを証明する特定のヒントが含まれています。
- 世界B： 見た目はほぼ同じですが、ヒントが欠落しているか変更されており、回答が間違いになっています。
目標： AIは、問題を解いたことに対する報酬だけでなく、回答を支持する**「世界A」**を正しく特定できたことに対してもボーナス報酬を受け取ります。

これは、先生が生徒に数学の問題を出しているようなものです。通常の先生は「正解、答えは5です。よくできました」と言います。しかし、CONTEXT-RLの先生はこう言います。「よくできました。でも、教科書のどの行にその公式があったのかも示してください。それが示せなければ、本当に理解したとは言えません。」

3. 学習データの構築方法

このゲームを教えるために、彼らは何千もの「間違い探し」パズルを作成する必要がありました。

コーディングエージェントのために： 彼らは現実世界のコーディングタスクを取り上げ、コードにおける極めて微細で重要な差異を除いて、ほぼ同一である一連のコーディング履歴のペアを作成しました。AIが「最終的な修正内容」を読むことでズルをできないよう、実際のコード変更箇所を隠蔽しました。これにより、AIはプロセスを理解しなければならなくなりました。
画像のために： 彼らはAIツールを使用して写真を編集しました。例えば、チャートの写真を撮り、数字を一つだけ少し変えることで、質問への回答が「はい」から「いいえ」に反転するようにしました。それ以外の部分は画像が全く同じに見えるように調整し、AIにその特定の詳細を見させるように強制しました。

4. 結果：なぜ重要なのか

論文では、この手法を2種類のタスクでテストしました。

ロングホライゾン・コーディング（Long-Horizon Coding）： 多くのステップを経てコードを書き進めるエージェント。
マルチモーダル推論（Multimodal Reasoning）： 画像を見て質問に答えるエージェント。

結果は明白でした：

パフォーマンスの向上： CONTEXT-RLで訓練されたモデルは、標準的な手法で訓練されたモデルよりも、困難なベンチマークにおいて大幅に高いスコアを獲得しました。
秘訣（Secret Sauce）： 著者たちは、この向上が単に「より多くのデータ」によるものではないことを証明しました。彼らは、同じ「間違い探し」のデータを標準的な学習手法を用いてモデルに与えてみましたが、うまくいかないか、むしろ悪化しました。魔法は、モデルに正しいコンテキストを選択させるという**「具体的な訓練方法」**の中にあったのです。

まとめ

標準的なAIの学習を、生徒に「解答集を暗記させること」だとすると、CONTEXT-RLは、生徒に「散らかった部屋の中から証拠を見つけ出す探偵」になるよう教えることです。これは単に正しい答えを求めるのではなく、答えが提供された特定の詳細に基づいていることを要求します。これにより、AIはより信頼性が高まり、コンテキストが複雑または微妙な場合でもミスをしにくくなります。

技術要約：エージェンティックおよびマルチモーダルLLMのためのコンテキスト認識型RL

問題定義

エージェンティック（ツール使用型）およびマルチモーダル（視覚言語）の設定で動作する大規模言語モデル（LLM）は、長く複雑なコンテキスト内にある、小さくも決定的な証拠を特定する必要があるタスクにおいて、頻繁に失敗する。この失敗モードは**コンテキストの無知（context unawareness）**と呼ばれ、モデルが提供された特定の証拠に基づかない、局所的に妥当に見える回答を生成してしまう現象（例：コードの軌跡内で定義された変数を別の場所から書き換えてしまう、あるいは高密度なチャート内の特定の値を読み間違えるなど）を指す。

現代のモデルは標準的なベンチマークでは高いスコアを達成することが多いが、著者らは**対照的コンテキストプローブ（contrastive context probe）**を導入することで、コンテキスト・グラウンディングにおける重大なギャップを明らかにした。このプローブでは、モデルに対してクエリ、候補となる回答、および2つの非常に類似したコンテキスト（一方は回答を支持し、もう一方は異なる回答を支持するもの）が与えられる。モデルは正しいコンテキストを選択しなければならない。結果として、プロプライエタリなモデル（例：GPT-5.4、Claude Opus 4.7）は信頼性の高いパフォーマンスを示す一方で、強力なオープンソースモデル（例：Qwen3-VL、Qwen3.5）は、標準的なベンチマークでは競争力のある性能を示しているにもかかわらず、ランダムに近い精度にまで落ち込むことが示された。これは、標準的なベンチマークの指標が、疎なコンテキスト上の証拠に基づくグラウンディングの決定における失敗を覆い隠していることを示唆している。

手法：CONTEXTRL

著者らは、標準的な強化学習（RL）に明示的な補助的コンテキスト選択目的関数を付加するポストトレーニング・フレームワークであるCONTEXTRLを提案する。最終的な出力の正しさ（結果報酬）のみを最適化する標準的なRLとは異なり、CONTEXTRLは、どのコンテキストが特定の回答を支持しているかをモデルに学習させる。

1. 対照的データの構築

この手法は、クエリ $Q$ とアンカー回答 $A$ に関連付けられた対照的なコンテキストペア $(C^+, C^-)$ の構築に依存している。

エージェンティック設定（コーディング）： 軌跡（トラジェクトリ）がコンテキストとして機能する。著者らは、66,000件のSWE-smith軌跡から1,000件の高品質なペアをマイニングした。ペアは、同じリポジトリ、コミット、ファイル、およびターゲット関数からなる軌跡から構築され、小さな決定的なコード領域のみが異なるように構成されている。リークを防ぐため、編集コマンドはマスクされている。
マルチモーダル設定（ビジョン）： 画像がコンテキストとして機能する。著者らは、以下の2つの戦略を用いて7,000件のペアを構築した。
- 生成的編集（Generative Editing）： 自然画像に対して、グローバルなシーン構造を維持しながら回答を変更するために、局所的な編集を適用する。
- 類似性ベースの検索（Similarity-Based Retrieval）： 構造化された画像（チャート、図解）に対して、埋め込みモデルを使用して、異なる回答を支持する極めて類似した画像を検索する。
- GPT-5.4および手動検査による厳格な検証を行い、ペアが表面的なショートカットの手がかりやアーティファクトを含まないことを保証している。

2. 学習目的関数

CONTEXTRLは、標準的なGroup Relative Policy Optimization (GRPO) 目的関数と、**コンテキスト認識損失（ $L_{CA}$ ）**を組み合わせる。

標準GRPO ( $L_{GRPO}$ ): 正しいタスク結果（例：コーディングにおけるテストケースの通過、VQAにおける完全一致）を最適化する。
コンテキスト認識損失 ( $L_{CA}$ ): 対照的なインスタンス $(Q, A, C^+, C^-)$ に対して、モデルにはクエリ、回答、および両方のコンテキストが選択肢として提示される。この損失は、混乱を招くコンテキスト ( $C^-$ ) よりも、支持するコンテキスト ( $C^+$ ) に対応するトークンのロジットを高く割り当てるよう促す。
結合最適化: 全体の損失は $L(\theta) = E[L_{GRPO}] + \lambda E[L_{CA}]$ であり、 $\lambda$ はタスクの性能とコンテキスト認識のバランスをとる。 $L_{CA}$ は、大きな勾配が学習を支配するのを防ぐためのクリッピングを伴うマージンベースの損失として実装されている。

主な貢献

診断用プローブ: プロプライエタリなモデルとオープンソースモデルの間で、コンテキスト・グラウンディングに約40ポイントのギャップがあることを露呈させる、制御された対照的コンテキストプローブの導入。これにより、標準的なベンチマークではコンテキスト認識の失敗を捉えられない可能性があることが示された。
CONTEXTRLフレームワーク: 結果ベースのRLにコンテキスト選択信号を追加する、軽量でモダリティに依存しないRLポストトレーニング手法。大規模なアーキテクチャ変更や大規模な人間によるアノテーションを必要としない。
データ構築パイプライン: エージェンティック（軌跡フィルタリング）およびマルチモーダル（生成的編集および検索）の両ドメインにおいて、高品質な対照的データを生成するための新しいパイプラインと、厳格なアーティファクト排除プロセス。
データと目的関数の分離: 性能向上が、単なる対照的データの存在ではなく、学習目的関数（コンテキスト選択）から生じていることを示す決定的なアブレーション研究。同じデータを用いた標準的なデータ拡張（SFTまたは結果ベースのRL）は、性能向上に失敗するか、破滅的なポリシー崩壊を引き起こす。

実験結果

本手法は、2つのドメインにおける17のベンチマークで評価された。

長期ホライゾン・エージェンティック・コーディング

ベンチマーク: SWE-Bench Verified/Lite (In-Distribution)、LiveCodeBench v6、LongBench v2、およびNeedle-in-a-Haystack (Out-of-Distribution)。
結果: CONTEXTRLは、5つのベンチマークにおいて標準的なGRPOに対し平均**+2.2%**の向上を達成した。特筆すべきは、標準的なRLが退行しやすいOut-of-Distribution（分布外）タスクに対しても強い汎化性能を示したことである。例えば、Needle-in-a-Haystackタスクでは、標準的なGRPOはベースモデルよりも性能が悪化したのに対し、CONTEXTRLはベースモデルを上回った。
スケール効率: Klear-AgentForge-8Bで訓練された際、CONTEXTRLはより大規模なQwen3-32Bおよびコード特化型のQwen3-Coder-30BをSWE-Benchにおいて上回った。

マルチモーダル推論

ベンチマーク: 数学的推論、全般的な理解、微細な知覚、科学的推論、および現実世界のシーン理解をカバーする12の多様なベンチマーク。
結果: CONTEXTRLは、Qwen2.5-VL-7BおよびQwen3-VL-8Bの両方において、12の全ベンチマークで標準的なGRPOに対し平均**+1.8%**の向上を達成した。向上は、知覚重視、推論重視、および混合型のすべてのサブカテゴリにおいて一貫しており、強化された視覚的グラウンディングが高次の推論へと波及することを示している。

アブレーション：データ拡張 vs. 目的関数

著者らは、同じ対照的データを用いてCONTEXTRLを2つのベースラインと比較した。

DA-SFT (教師あり微調整): SFTを通じてコンテキスト選択を学習させると、エージェンティック設定において破滅的なポリシー崩壊（解決率が0%または2%未満に低下）を引き起こし、マルチモーダル設定では無視できる程度の利点しか得られなかった。これは、短い選択タスクに対するSFTが、長期ホライゾンのインタラクション・ポリシーを破壊することを示唆している。
DA-RL (結果ベースのRL): コンテキスト選択をバイナリ報酬タスクとして扱うと、標準的なRLベースラインと比較してほとんど、あるいは全く改善が見られなかった。
結論: 性能向上は、標準的なデータ拡張技術で使用された場合とは異なり、オンポリシーのGRPOループ内に統合されたコンテキスト選択目的関数に特有のものである。これは、主要なタスク・ポリシーを妨げることなく、密で有界な勾配を提供するためである。

意義と主張

論文は、長期ホライゾンの推論および視覚的理解における失敗の多くは、共通の制限、すなわち「モデルが利用可能な証拠に予測を確実に接地（グラウンド）できていない」ことに起因すると主張している。CONTEXTRLは、「どのような回答を生成するか」と「どのコンテキストがそれを支持するか」を切り離すことでこれに対処する。

著者らは、コンテキスト選択を、コンテキスト・グラウンディングを向上させるためのシンプルで軽量かつモダリティに依存しないメカニメントとして位置づけている。本研究は、信号を統合する方法こそが鍵であることを強調している。対照的なデータ自体は不十分であり、標準的な拡張技術で使用した場合には有害にさえなり得る。結果は、単一の補助的な目的関数が、大規模なスケールやアーキテクチャの刷新を必要とせずに、エージェンティックおよびマルチモーダルなシステムの信頼性を大幅に向上させ得ることを示唆している。

1. 問題点： 「推測する」探偵

2. 解決策： 「間違い探し」ゲーム