Augmented Question-guided Retrieval (AQgR) of Indian Case Law with LLM, RAG, and Structured Summaries

技術要約：インド判例における拡張質問ガイド型検索（AQgR）

問題提起
インドの法曹専門家は、判決文の非構造的な性質に起因する重大な課題に直面している。判決文には、事実、争点、理由を区切る一貫した見出しが欠けていることが多い。従来の検索システムは、BM25や高密度埋め込み（dense embeddings）などの事実ベースの類似性マッチングに大きく依存しているが、これらは法的原則は共有しているものの、事実関係の詳細が異なる先例を特定することに失敗する場合が多い。さらに、既存の自動化システムは、なぜその先例が関連しているのかという理由を提示することが稀であり、弁護士は適用可能性を検証するために判決文の全文を読み込まざるを得ない。核心となる課題は、表面的な事実の類似性ではなく、共有された法的ドクトリンに基づいて判例を検索することであり、同時に、大規模言語モデル（LLM）のコンテキストウィンドウの制限への対処と、ファインチューニングなしでのハルシネーション（幻覚）の回避を両立させることである。

手法：AQgRフレームワーク
提案されている拡張質問ガイド型検索（AQgR）フレームワークは、構造化サマリー生成と、LLMによるリランキングを伴うアンサンブル検索パイプラインの2つの主要な段階で構成される。

1. 構造化サマリー生成（RAG）:

   • インドの判決文のコンテキストウィンドウの制限と非構造的な性質に対処するため、本システムは、Retrieval-Augmented Generation（RAG）を用いて、生の判決文から特定のフィールドを構造化されたJSON形式へと抽出する。
   • フェーズ1では、50件の判決のサブセットに対してGemini Proを使用し、長い文書をチャンク処理して扱うためにChain-of-Thought（CoT）プロンプティングを採用した。
   • フェーズ2では、これを496件の判決へとスケールアップし、Llama 3 70Bを使用した。ここでは、一貫したスキーマ遵守（事実、争点、理由、および新しい法的原則を含む21個のフィールド）を保証するための、強欲デコーディング（greedy decoding, temperature=0）と検証・修復メカニズムを備えた堅牢なパイプラインを導入した。
   • 極めて重要な点として、本システムはノイズを減らすために、単なる引用名ではなく、「新しい法的原則」および「引用原則（引用の背後にあるルール）」を抽出している。

2. 検索パイプライン:

   • クエリ定式化: システムは、入力された事実から3つの抽象的な法的争点フレーズをLLMを用いて生成する。これらはパイ記号で区切られた文字列（$q_I$）として連結される。
   • 第1段階の検索: ハイブリッド「B5」リトリーバーを用い、BM25（重み0.7）とFAISS高密度検索（重み0.3）を組み合わせる。システムは、事実のみ（$q_F$）、争点のみ（$q_I$）、および事実＋争点（$q_{FI}$）の3種類のクエリタイプをテストする。
   • 第2段階のリランキング: システムは、第1段階から選出された上位100件の候補をLLMによってリランクする。リランキング用のプロンプトは、結合された事実＋争点のクエリ（$q_{FI}$）を使用して、構造化されたJSONフィールドで表される候補プールに対して推論を行う。LLMは、上位20件のランキングリストと、各ケースに対する1行の関連性説明を出力する。

主な貢献
本論文は、リーガルNLPおよびAIにおけるいくつかの具体的な貢献を特定している：

• クエリとドキュメントの密度整合: 本研究は、検索性能がクエリの語彙密度とドキュメント表現の適合性に依存することを確立した。短く争点に基づいたクエリは、長く非構造的なプレーンテキストの判決文に対しては性能が低いが、圧縮された構造化サマリーに対しては優れた性能を示す。逆に、プレーンテキストの検索には、記述的で長いクエリが必要となる。
• 引用内容の発見: 本論文は、構造化サマリーに完全な引用名を含めるとノイズとなりコンテキストスペースを消費することを実証している。しかし、引用の背後にある「法的原則」を含めることは、リランキングの性能を大幅に向上させる。
• ゼロショットLLMパイプライン: 著者らは、タスク固有のファインチューニングを行わず、構造化サマリーとプロンプトエンジニアリングに依拠することで、競争力のある結果を達成する検索およびリランキングパイプラインを提示している。
• コンテキストウィンドウ管理: 判決文を特定の6つの主要フィールド（事実、争点、理由、新しい法的原則、重要な主題、および引用原則）に削減することで、21個の全フィールドを保持した場合の98件に対し、227件の判決が単一のLLMコンテキストウィンドウ内に同時に収まることを実証した。これにより、より大きなコンテキストウィンドウを必要とせずに、大規模なリランキングを実用的に行うことが可能となった。
• 系統的なアブレーション解析: 8つの制御された実験を通じて、論文はクエリの定式化、ドキュメントの形式、プーリング戦略、およびリランキングプロンプトの影響を分離し、ドキュメントの表現がクエリのタイプ単独よりも強力な性能向上要因であることを明らかにした。

結果

• フェーズ1（Gemini Pro）: 50件の判決コーパス（14クエリ）において、システムは平均適合率（MAP）0.365、再現率（Recall）0.672を達成した。サマリーに完全な先例引用を含めると性能が低下したことは、選択的な抽出の必要性を裏付けている。
• フェーズ2（Llama 3 70B）: 496件の判決コーパス（50クエリ）において、最適な構成（B5ハイブリッドリトリーバー、短い争点クエリ、V4構造化形式、および事実＋争点のプロンプトを用いたリランキング）は、約0.312のMAPを達成した。
  • ベースラインとの比較: この結果はFIRE 2020のリーダーボードのMAP 0.1573を大きく上回っているが、著者らはデータセットとプロトコルが直接比較可能ではないことを注記している。
  • クエリの性能: 構造化サマリーにおいて、争点ベースの検索は事実ベースの検索を上回った。ただし、連合プール（事実、争点、および結合クエリを組み合わせたもの）は再現率の天井を引き上げる一方で、ランキングの質を低下させた。争点のみのプールが最高のMAPをもたらした。
  • ドキュメント形式: 「引用名」ではなく「引用原則」を含むフォーマットV4は、完全な理由や引用名を含む他のすべてのフォーマットよりも優れた性能を示した。
  • 安定性: 研究によれば、検索は非常に再現性が高い（95.5%の一致）が、LLMのリランキングは、主にLLMが選択するドキュメント数の不一致により、±0.03～0.04 MAP程度の実行ごとの分散を生じさせる。
  • 指標に関する注記: 最良のMAP構成（V4、短い争点クエリ、争点のみのプロンプト）はMAP 0.3124を達成したが、これに対応するMRRは0.3379であった。より低いMAPスコアを持つ構成（Union PoolおよびFacts+Issuesプロンプト）において、より高いMRR値（例：0.4121）が観察されており、異なるセットアップにおけるランキングの質とカバレッジの間のトレードオフを示している。

意義と主張
本論文は、AQgRがインド法における説明可能な判例検索への実用的なゼロショット経路を提供すると主張している。その意義は、以下のことを実証している点にある：

1. 構造化サマリーの重要性: これにより、LLMはファインチューニングなしで、非構造化テキストをスキャンするのではなく、法的ドクトリンに基づいて推論することが可能になる。
2. 争点ベースの検索の実現可能性: 事実から法的争点を生成することで、事実の類似性ではなく法的原則に基づいて先例を見つけることが可能になり、これは弁護士の実際の検索方法と一致する。
3. 説明可能性: システムは、検索された各ケースに対して関連性の理由を提供するため、弁護士は判決文の全文を読む必要があるかどうかを迅速に判断できる。
4. 実用的有用性: 本手法はファインチューニングを必要とせず、標準的なハードウェアで動作するため、個々の実務家や小規模な法律事務所にとってアクセスしやすい。

著者らは、実行ごとの分散、極めて長い判決文の要約の困難さ、および496件の生成されたサマリーに対する徹底的な人間による検証の欠如といった限界を認め、謙虚な姿勢を保っている。彼らは、本システムは重要な一歩であるが、表面的な語彙の重複がないケースに対する再現率の天井を改善し、LLMによる生成クエリの安定性を向上させるための今後の課題が必要であると結論付けている。