テクニカル・サマリー：注入か、ナビゲーションか？ 取引型法的文書のLLM分析におけるトークン効率の高いリトリーバル

問題提起

本論文は、取引型の法的文書（契約書、修正事項、サイドレター、スケジュールなど）のコーパスに対して質問に答える際の課題に取り組んでいる。ベースラインとなる手法は「インジェクト（注入）」と呼ばれ、すべてのクエリに対してコーパス全体を大規模言語モデル（LLM）のコンテキストウィンドウ内に配置するものである。この手法は、情報の取りこぼしを確実に防ぐことでリトリーバルの再現率（Recall）を最大化できるが、コーパスが増大するにつれて、以下の2つの決定的な限界が生じる。

1. トークン・フットプリント: コストが質問のサイズではなくコーパスのサイズに応じてスケールするため、大規模な文書セットに対して非効率である。
2. ロングコンテキストの劣化: LLMは長い入力に対して不均一なアテンションを示すことがあり、コンテキストウィンドウの中間に位置する情報を失うことが多い。
3. コンテキストウィンドウの制限: 法的事務においては、現在のモデルの最大コンテキストウィンドウを超えるケースが多く、完全な注入が不可能になる。

既存のベンチマーク（CUAD、ContractNLIなど）は通常、単一の文書を対象としており、取引型の法的分析に固有の文書間の依存関係（定義語、相互参照、修正事項など）を捉えきれていない。

メソドロジー

著者らは、Syntheiaで開発された構造認識型のチャンキング手法を用い、2つの構造化リトリーバル戦略を「インジェクト」ベースラインと比較評価した。評価は、6つの法的文書からなるベンチマーク（検証済みのグラウンドトゥルースを持つ18の文書依存型質問と、2つの範囲外コントロール質問）を用いて行われた。

評価プロトコル

• ジャッジ: 位置バイアスを制御し、リファレンスにアンカーされたペアワイズ・ジャッジ（claude-opus-4-7を使用）を用いて、ベースラインとリトリーバル手法による回答を比較した。「引き分け（Tie）」は、両方向の比較が共にグラウンドトゥルースと一致している場合にのみ与えられ、両方の回答が等しく一貫していることを証明した。
• 指標: 研究では、トークン・フットプリント（キャッシュされたコンテキストを含む、モデルが注視する総トークン数）と、ドルコスト（プロンプト・キャッシュによる割引を考慮した運用支出）を追跡した。これらは、キャッシュがトークン数を減らさずにコストを下げるため、別々の指標として扱われた。

3つのモード

1. インジェクト (Inject - ベースライン): コーパスの全文がすべてのクエリに対してコンテキストウィンドウ内に配置される。
2. ナビゲート・エンベディング (Navigate-Embeddings / navembed): 文書はノードのツリーとして事前埋め込みされる。クエリ実行時には、コサイン類似度によって最も類似したトップ$k$個のノードが抽出され（オプションでクロスエンコーダーによるリランキングを行う）、コンテキストに配置される。
3. ナビゲート・インデックス (Navigate-Index / navindex): ベクトルを用いないアプローチであり、LLMがコンパクトで構造化されたインデックスをナビゲートする。インデックスには以下が含まれる：
   • ブール論理的セマンティック・フラグ: （例：isDefinition（定義語か）、hasMoney（金銭条項か）、hasLiabilityLimit（責任制限か））。
   • 構造的メタデータ: 見出し、条項参照、および明示的な相互参照／定義語グラフ。
   • ナビゲーション・プロセス: LLMは、ブールフィルタと要約に基づいて最大10個のノードIDを選択するためにインデックスをスキャンし（S1）、その後、回答を生成するためにそれらのノードの逐語的なテキストを決定論的に取得する（S2、S3）。

主要な結果

Inject vs. navembed

• パフォーマンス: 最も強力な構成（セマンティック・リトリーバル ＋ リランキング、RUN-012）は、18の文書依存型質問のうち16問において、インジェクトと引き分けと判定された（インジェクトが優れていたのは2問）。
• 効率性: この構成は、入力トークン・フットプリントを17.3倍削減した（188Kトークン vs. 3.26Mトークン）。
• コスト: すべての検証済みランにおいて、インジェクトよりも低いドルコストを達成した。
• 失敗モード: ハイブリッドBM25構成（RUN-011）は「長さバイアス」に苦しみ、ペイロードが膨張し、コスト削減に失敗した。

Inject vs. navindex

• パフォーマンス: トークン最適化構成（Config 6）は、18の文書依存型質問および両方の範囲外コントロールにおいて、インジェクトと引き分けとなった。これは、本研究における単一ランとしての最高引き分け率である。
• 効率性:
  • トークン・フットプリント: 総入力トークンを1.61倍削減した。
  • 回答コンテキスト: 回答生成中にモデルが注視するコンテキストを約56倍削減した（2.9Kトークン vs. 163Kトークン）。
  • コスト: インジェクトと比較して25%低いドルコスト（$1.21 vs. $1.61）を記録した。
• メカニズム: navindexの成功は、コサイン類似度だけでは捉えられない構造的信号（相互参照や定義語）を明示的にエンコードしていることに起因しており、これにより、セマンティックな近接性にのみ頼ることなく、必要な正確なコンテキストを抽出できる。

コスト分析：キャッシュ・クロスオーバー・ルール

本論文は、キャッシュされたインジェクトがリトリーバルよりもドルコストにおいて安くなる条件を示す閉形式のルールを導出している：
$$C < 10 \times R$$
ここで、$C$はコーパスのサイズ、$R$はリトリーバルのペイロードである。

• 示唆: キャッシュされたインジェクトがより安価になるのは、コーパスがリトリーバルのペイロードの約10倍小さい場合のみである。
• 現実: テストされた163Kトークンのコーパスについては、定常状態において、両方の手法（navembedおよびnavindex）がキャッシュされたインジェクトよりも安価であった。しかし、非常に小さなコーパス（<35Kトークン）の場合、インジェクトの方が安価な選択肢となる。
• 注意点: これはキャッシュが有効な（TTL 5分）「ウォーム」なセッションを想定している。非同期ワークフローでは、キャッシュの書き込みコストが繰り返し発生し、インジェクトの優位性を損なう可能性がある。

主な貢献

1. ペア評価: 検証済みのグラウンドトゥルースを持つ法的QAセットを用い、位置バイアスを制御した厳格なフルコーパス注入対構造化リトリーバルの評価。
2. navindexの設計: 型付きブールフラグ、相互参照グラフ、および定義語解決をエンコードした、法的文書のためのナビゲーション記述子の設計と、特定のプロンプトによる運用化。
3. キャッシュ・クロスオーバー・ルール: トークン・フットプリントとドルコストを分離した経済的ルール。トークン削減は構造的な利益である一方、コスト削減はセッションに依存することを明らかにしている。
4. 失敗モードのカタログ化: BM25の長さバイアス、タイトルのみの過剰選択、および上限のないノード選択など、回避すべき具体的な失敗モードの特定。

意義と主張

本論文は、リトリーバル戦略が法的文書の構造的依存関係を尊重している限り、構造化リトリーバルはフルコーパス注入に代わる、実行可能かつしばしば優れた代替手段であることを主張している。

• 品質の維持: 構造化リトリーバルは（リファレンスにアンカーされたジャッジによる測定において）、フル注入と同等の回答品質を維持しつつ、トークン・フットプリントと回答コンテキストを劇的に削減できる。
• 構造的忠実度: navindexのアプローチは、ベクトル類似性のみに頼るよりも、法的構造の信号（相互参照、定義語）をインデックスに直接エンコードすることが、特に修正事項やスケジュールとの整合性を必要とする質問において効果的であることを示している。
• 経済的実現可能性: 非常に小さなコーパスや単一セッションのクエリではインジェクトの方が安価であるが、コーパスのサイズが増大するか、リトリーバル・ペイロードがフルコーパスに比べて大幅に小さくなる場合、構造化リトリーバルが経済的に優れた選択肢となる。

著者らは、評価が単一のモデルファミリー、特定の20問の質問セットに限定されており、グラウンドトゥルースのノードラベルが存在しないためにリトリーバルの再現率（適合率/再現率）を直接測定していないことを挙げ、主張に対して謙虚な姿勢を保っている。彼らは、「引き分け」の判定は、絶対的な正解性ではなく、グラウンドトゥルースに対する一貫性の同等性を証明するものであることを強調している。