技術要約：コンテキスト内に何が生き残るか

問題提起

固定されたリーダー・コンテキスト予算（reader-context budget）の下で動作する検索拡張生成（RAG）システムは、決定的な選択問題に直面している。すなわち、リトリーバー（検索器）は、リーダーのコンテキストウィンドウに収まる以上のエビデンスを返してしまうことが多い。標準的なコミュニティ指標である recall@k は、検索されたゴールドドキュメントの割合を測定するものであるが、エビデンスが予算内に収まるように切り捨てられたり破棄されたりする、その後の パッキング（packing） ステップを考慮できていない。

複数のドキュメントからエビデンスを合成する必要があるマルチホップ質問応答（QA）において、高いリコールは必要条件ではあるが十分条件ではない。パッカー（packer）は冗長なドキュメントを保持する一方で、答えの文字列を含む特定の「ブリッジ（架け橋）」となるエビデンスを落としてしまう可能性がある。その結果、リトリーバーがゴールドドキュメントを見つけることに成功していたとしても、リーダーが答えに決して到達できないという事態が生じる。本論文は、リトリーバルのリコールを最適化することは、このレジームにおいては誤った目的であると主張する。真のボトルネックは、ゴールドの答えが最終的なコンテキストへのパッキング・プロセスの中に生き残るかどうかである。

手法

1. 診断指標：Answer-in-Context

著者らは、answer-in-context という診断指標を導入した。これは、正規化されたゴールドの答えが、パッキングされた リーダー・コンテキスト内に連続したトークン部分列として現れるかどうかを示すバイナリ・インジケーターである。

• 区別: リトリーバルされたセットに対してスコアを付けるリコールとは異なり、この指標は実際にリーダーに供給される実体化されたコンテキストに対してスコアを付ける。
• 仮説: この指標は、なぜ高いリコールが必ずしも予算制約下での高い回答品質をもたらさないのかを説明する媒介変数として機能する。

2. 手法：予算付き劣モジュラー・エビデンス・パッキング

本論文は、リーダー・コンテキストの構築を 予算付き単調劣モジュラー最大化（budgeted monotone submodular maximization） 問題として定式化している。目的関数 $F(S)$ は、トークン予算 $B$ の制約の下で、以下の値を最大化するようにスニペットのサブセット $S$ を選択する：
$$F(S) = w_{rel} Rel(S) + w_{qry} QueryCov(S) + w_{cov} Repr(S) + w_{div} Div(S)$$

• Rel (Relevance): スニペットの語彙的な関連性（モジュラー項）。
• QueryCov: 異なるクエリ項の網羅性（集合被覆）。
• Repr (Representativeness): 候補となる質量のカバレッジを報酬とし、ニア・デュプリケートによるゲーミングを防ぐために飽和するファシリティ・ロケーション項。
• Div (Diversity): ソース間に選択を広げる凹関数的なドキュメント間項。

最適化には、コストスケール・グリーディ・アルゴリズム（最も高い限界利得/トークンを持つスニペットを追加する手法）と、それに続く Lin–Bilnes シングルフォールバックを使用する。このアプローチは、相補的なマルチホップ・エビデンスを組み立てるために、関連性、クエリ網羅性、代表性、および多様性を共同で最適化する。

主な貢献

1. 汎用的な診断ツール: 予算制約付きRAGの品質をリコールよりも優れた精度で予測する指標として、answer-in-context を導入した。これは、リコールに対する増分妥当性（$\Delta R^2 = +0.17$）を示し、回答品質（例：HotpotQAにおける F1 0.60 対 0.12）を明確に分離できることを示している。これは 2WikiMultiHopQA における介入実験によって検証されており、answer-in-context を増加させずにカバレッジのみを増やしても、精度向上は見られないことが示されている。
2. 条件付きの手法: 強力なベースライン（フォーカス型ヒューリスティック、MMR、ナイーブなパッキング）と比較して、同等またはより低いトークンコストで HotpotQA の回答品質を大幅に向上させる、原理に基づいた劣モジュラー・パッカーを提示した。
3. スコープ・マップ（「誠実な核」）: 原理に基づいたパッキングが最良のヒューリスティックを上回るために必要な4つの条件を厳密に定義した。本論文は、手法が失敗する箇所を明示的にマッピングしており、広範な過大主張を避けている。

結果

HotpotQA における性能

160トークンの予算と3Bのリーダーを用いた HotpotQA において：

• 劣モジュラー・パッカーは、ナイーブなパッキングに対して +5.1 F1、強力なフォーカス型ヒューリスティックに対して +2.2 F1 の向上を実現した。
• この向上は、ベースライン（約152トークン）よりも 少ないトークン数（約145トークン）を使用して達成された。
• この勝利は、相補的なマルチホップ・エビデンスの組み立てに起因する。利得の81%は、パッカーがヒューリスティックが見逃したゴールドの答えを新たにコンテキスト内に配置できた質問によるものである。

診断の検証

• 相関: Answer-in-context は、HotpotQA で $r=0.50$、2Wiki で $r=0.55$ と、リコール（$r \approx 0.31$）を凌駕して F1 と強く相関している。
• 介入: 2WikiMultiHopQA において、パッカーはゴールドドキュメントのカバレッジを増やしたが、answer-in-context を増やすことには失敗した。その結果、精度は横ばいとなった。これにより、この診断指標がリトリーバルの成功だけでなく、パッキングのステップを測定していることが確認された。

スコープの境界（手法が失敗する条件）

論文では、パッカーが勝利するために共起しなければならない4つの条件を特定している。いずれかが失敗すると、優位性は消失するか逆転する：

1. 相補的構造: すべてのゴールドが初期コンテキストに含まれているシングルパスのデータセット（RAGBench CovidQA/ExpertQA）では、パッカーによる利得はない。
2. リトリーバルによるエビデンスの表出: 全ゴールド@5 = 0.18 である MuSiQue のような、リトリーバルがすべてのゴールドドキュメントを提示できていない場合、パッカーは存在しないエビデンスを組み立てることはできない。リトリーバルの深さを増しても解決せず、質的に異なるリトリーバーが必要となる。
3. 結合されているが極端な予算ではない: 優位性は反転U字曲線を描く。非常にタイトな予算（96トークン）では、相補性を入れる余地がなく、緩い予算（224トークン）ではヒューリスティックが追いつく。ピークとなる優位性は約160トークンにある。
4. リーダーがボトルネックである場合: リーダーのスケール（3B $\to$ 7B $\to$ 14B）を見ると、パッカーの優位性は 7B で吸収 され、14B では大幅に逆転 する。強力なリーダーは、より「乱れた」コンテキストからでも答えを抽出できるため、キュレーションのオーバーヘッドが負債となる。パッカーのメカニズム（密度の高いゴールドのパッキング）自体は存続するが、限界効用は消失する。

意義と主張

本論文は、本手法を普遍的な解決策としてではなく、一般的な診断ツールによって裏付けられた、メカニズム的に説明された条件付きの主張 として位置づけている。

• 診断指標: 最適化の対象を「ゴールドのドキュメントをリトリーブすること」から「答えが生き残るようにパッキングすること」へとシフトさせた。これは、予算制約のあるマルチホップQAにおける目的の再定義である。
• 手法: 劣モジュラー・パッカーは、システムが エビデンス・ボトルネック（マルチホップ構造、リトリーバルがエビデンスを提示している、タイトな予算）であり、かつ リーダー制約下（3Bのような小規模モデル）にある場合に効果的であることが示された。
• スコープ: 著者らは、「誠実なスコープ」こそが核心的な貢献であると強調している。手法が大型リーダー（14B）や異なるリトリーバル・レジームで失敗することを示すことで、単純なヒューリスティックではなく、いつ原理に基づいたパッキングを適用すべきかについて、実務者に正確な境界を提供している。また、グラフ構造のエビデンス（ACE）はすでに冗長性を圧縮しているため、パッカーが冗長または有害になり得ることを指摘し、劣モジュラー・パッキングが普遍的にRAGを改善するという主張を明確に否定している。

要約すると、本研究は、エビデンスの密度が限界要因となっている特定の、明確に定義された制約条件下においてのみ、リコールよりも回答品質を予測できる診断ツールと、性能を向上させる手法を提供するものである。