技術要約: MAVEN - 長文コンテキスト推論のためのエビデンス状態報酬

1. 問題提起

高度な大規模言語モデル（LLM）は、ますます長いコンテキストウィンドウをサポートするようになっていますが、長い入力を受け入れる能力があることが、それらに対する効果的な推論能力を保証するわけではありません。モデルはしばしば「真ん中での消失（lost in the middle）」現象、部分的なエビデンスへの早期の依存、およびコンテキストの離れた場所に分散した情報を統合する能力の欠如に苦しみます。

長文コンテキスト推論における既存の強化学習（RL）アプローチは、通常、結果のみの報酬（最終的な回答の検証）または静的なエビデンス特定報酬（ゴールドチャンクの選択に報酬を与えるもの）に依存しています。著者らは、これらの手法は不十分であると主張しています。なぜなら、これらはエビデンスを孤立したチャンクや最終的な抽出セットとして扱っているからです。これらの手法は、以下の性質を持つ動的かつ状態依存的な長文コンテキスト推論を捉えることができません：

• あるセグメントは、別のセグメントが見つかった後に初めて価値を持つようになる可能性がある。
• 妥当に見えるドキュメントであっても、後のエビデンスによってそれがディストラクター（妨害要素）であると判明した場合、破棄される必要がある。
• 個々には不十分な断片であっても、それらが共同で推論のギャップを埋めることができる。

現在の報酬は、進化するエビデンス状態を構築、修正、および合成するという反復的なプロセスではなく、局所的に妥当なエビデンスパスへの早期のコミットメントを助長してしまいます。

2. メソドロジー: MAVEN

著者らは、長文コンテキスト推論を状態を持つエビデンスメモリ・ナビゲーションとして扱う強化学習フレームワーク、MAVEN (Marginal-Value Evidence Navigation) を提案します。MAVENは、孤立した抽出に報酬を与えるのではなく、回答条件付きのエビデンス状態価値を定義し、特定の行動レベルの状態遷移に対して報酬を割り当てます。

2.1 フレームワークとアクション

ポリシーモデル $\pi_\theta$ は、最終的な回答を生成する前に、編集可能なエビデンスメモリ $E_k$ と相互作用します。モデルは、高レベルのアクションの軌跡を生成します：

1. 追加 (<add>): 引用または参照されたエビデンスのスパンをメモリに追加する。
2. 削除 (<drop>): 無関係、冗長、または誤解を招くエビデンスの断片を削除する。
3. 結合 (<link>): 2つのエビデンスがどのように共同で回答をサポートするかを説明する（合成）。
4. 回答 (<answer>): 最終的なレスポンスを生成する。

2.2 価値関数

MAVENは、凍結された検証器モデル $p_\psi$ を利用して、エビデンス状態価値 $V_\psi(Q, E)$ を計算します。この値は、質問 $Q$ と現在のエビデンスメモリ $E$ が与えられたときのゴールド回答 $a^*$ の負の対数尤度（NLL）の減少量を、エビデンスがない場合と比較して測定します：
$$V_\psi(Q, E) = \frac{\ell_\psi(Q, \emptyset) - \ell_\psi(Q, E)}{\ell_\psi(Q, \emptyset) + \epsilon}$$
正の値は、エビデンスによって正しい回答の予測可能性が高まったことを示します。

2.3 アクションレベルの報酬

MAVENは、GRPO (Group Relative Policy Optimization) フレームワーク内で、特定のアクションスパンに対してプロセス報酬を割り当てます：

• 追加報酬 ($\rho_{add}$): オンライン条件付き回答情報利得 (Conditional Answer Information Gain: CAIG) と事後的なクレジット (hindsight credit) を組み合わせたものです。
  • CAIG: 新しいアイテムを追加した際の、エビデンス状態の即時的な改善に報酬を与えます。
  • 事後的なクレジット: アイテムが最終的な保持エビデンスセット $E_F$ の一部である場合、そのアイテムを削除した場合に最終的な価値がどれほど低下するか（シャプレー値近似）に基づいてクレジットを受け取ります。これにより、マルチホップ推論において、初期の重要なエビデンスが過小評価されないようにします。
• 削除報酬 ($\rho_{drop}$): エビデンスを削除することで回答条件付きのエビデンス状態が改善される場合（すなわち、ディストラクターを削除する場合）に報酬を与えます。有用なエビデンスを削除することに対してはペナルティを与えます。
• 結合報酬 ($\rho_{link}$: 相補的なエビデンスの明示的な合成に報酬を与えます。2つの断片が単独である時よりも共に存在する時により価値があるかどうかを測定するために、ペアワイズ・シナジー・スコアを使用します。
• 回答報酬 ($\rho_{ans}$): タスクの成功を確実にするため、正解との部分文字列一致に基づくバイナリ報酬です。

2.4 学習手順

学習は2段階で行われます：

1. コールドスタートSFT: 有効なアクション軌跡を用いた教師あり微調整を行い、モデルに編集可能なメモリ・インターフェースとアクションの文法を教えます。
2. RL学習: 定義されたアクションローカル報酬を用いて、GRPOによる最適化を行います。この目的関数はプロセスレベルのクレジット割り当てを維持するため、悪い「追加」の後に修正的な「削除」が続くような軌跡に対して、それぞれ適切な負および正のアドバンテージを与えることができます。

3. 主な貢献

1. 限界の特定: 著者らは、既存の長文コンテキストRLの報酬が、エビデンスの抽出そのものではなく、エビデンス状態の遷移を監督していないため、誤ったパスへの早期のアンカリングを招くことを特定しました。
2. MAVENフレームワーク: 回答条件付きのエビデンス状態価値を定義する、編集可能なエビデンスメモリ・フレームワークを提案します。モデルが追加、結合、削除、回答することを、状態を持つアクションローカルなプロセス報酬を通じて学習させます。
3. 実証的検証: Llama、Qwenといった異なるモデルファミリーおよびベンチマークにおいて一貫した向上を示し、MAVENがエビデンスの充足性（ゴールドエビデンスの網羅率）を向上させ、ディストラクターの保持（誤解を招くエビデンスの保持）を減少させるという診断的証拠を提供しました。

4. 実験結果

著者らは、Llama-3.1-8B、Qwen2.5-14B、および Qwen3-30B-A3B を用いて、LongBench v2、LongReason、および RULER でMAVENを評価しました。

• パフォーマンス: MAVENは、アウトカムのみのRLや、アウトカム＋エビデンス特定ベースラインを含むすべてのベースラインを一貫して上回りました。LongBench v2において、MAVENはモデルサイズに関わらず、最強のベースラインに対して**+3.5から+4.0ポイント**の向上を実現しました。
• 長文コンテキスト特有の性質: 利得は長文コンテキスト分割（例：128Kコンテキスト）において特に顕著であり、この手法が、回答が分散した情報に依存する場合に極めて重要であることを示唆しています。
• 診断指標:
  • エビデンスの充足性: MAVNEは85%以上の充足性を達成し、ベースラインを大幅に上回りました。
  • ディストラクターの保持: MAVENは保持されたエビデンスのうちディストラクターに対応する割合を大幅に減少させ、モデルのメモリ修正能力を実証しました。
• アブレーション研究:
  • 削除報酬を除去すると、ディストラクターの保持率が最も高くなりました。
  • 結合報酬を除去すると、エビデンスの充足性が低下しました。
  • 追加報酬を除去すると、総合スコアが最も大きく低下しました。
  • 中間ステップを無視して最終的なエビデンスセットのみから計算された報酬を用いたバリアントは、大幅に性能が低くなり、アクションローカルなプロセス報酬の必要性を裏付けました。
• 汎化性能: MMLU-Proの評価では、MAVENの学習が一般的な短文コンテキストの推論能力を低下させないことが示されました。

5. 意義と主張

本論文は、効果的な長文コンテキストRLには、単なるエビデンス抽出の最適化ではなく、エビデンス状態の遷移の最適化が必要であると主張しています。エビデンスを編集可能なメモリを通じたナビゲーション・プロセスとして扱うことで、MAVENはモデルが以下を行うことを可能にします：

• 誤解を招くエビデンスを追加した状態から回復する（削除報酬による）。
• 相補的な情報を合成する（結合報酬による）。
• 即時の価値が低い場合でも、初期のエビデンスの必要性を認識する（事後的クレジットによる）。

著者らは、MAVENを、検索、エージェンティック・ワークフロー、およびアーキテクチャ的なコンテキスト拡張を補完するものとして位置づけており、特に「推論に使用されるエビデンス状態を構築し、修正することを学ぶ」というボトルネックを標的にしています。

認められた限界:

• MAVENは、検証器ベースの値を計算するために、学習中にゴールド回答に依存しており、直接的な適用範囲が検証可能なタスクに限定されます。
• インターフェースは、エビデンスが境界のあるテキストスパンとして表現できることを前提としています。
• 診断用アノテーションは制御された分析のために構築されたものであり、エビデンスの質に関するより広範な人間による評価は今後の課題です。