技術要約：法務RAGにおける時間的誤接地（Temporal Misgrounding）

問題定義：時間的誤接地（Temporal Misgrounding）

本論文は、**時間的誤接地（temporal misgrounding）**を、法務系Retrieval-Augmented Generation (RAG) における系統的な失敗モードとして特定している。この現象は、特定のクエリに対して適用される法律が過去または将来のバージョンである場合でも、システムが現行の有効な条文のバージョンを検索・引用してしまう場合に発生する。

著者らは、標準的な法務RAGはコーパスを静的なものとして扱うが、法的な質問回答は本質的に**時間的にインデックス化された検索問題（temporally-indexed retrieval problem）**であると主張している。この失敗は、以下の3つの構造的な根本原因によって引き起こされる：

1. パラメトリックな最新性バイアス（Parametric Recency Bias）： LLMは直近の法的状態を過剰に表すスナップショットで学習されているため、現在の法律へと優先順位が偏るバイアスが生じる。
2. 時間的条件付けの欠如（Absence of Temporal Conditioning）： 標準的な高密度リトリーバー（dense retriever）は、クエリに含まれる日付に基づいた条件付けを行わず、意味的な類似性のみに基づいてインデックスを作成する。
3. 条文番号のエイリアシング（Article-Number Aliasing）： 条文識別子（例：CGI第219条）はバージョンを超えて存続するが、その実質的な内容（税率、閾値など）は変化する。単純な検索では、どのバージョンが意図されているかを区別できない。

本論文は、膨大な量の履歴バージョンが存在し、構造的な検索変更なしには極めて類似したテキストを判別することが困難であるため、より大規模またはより新しいLLMであっても、パラメトリックな知識によってこの問題を解決することはできないと断じている。

メソドロジーおよびベンチマーク設計

FiscalQA Pro コーパス

これに対処するため、著者らは以下の要素からなるFiscalQA Proを構築した：

• バージョン化されたコーパス： 93年間（1938年〜2031年）にわたるフランス税法（CGI、その附属書、およびLPF）の32,436個の条文バージョン。これには、最近の財務法によって繰り延べられた将来施行予定のバージョンも含まれる。
• 判例の紐付け： 裁判決定時の適用条文バージョンと裁判決定を結びつける69,208個の引用リンクの補助データセット（精度98〜99%）。
• 構築方法： データは公式のPISTE Légifrance APIから抽出されており、date debut（開始日）およびdate fin（終了日）のフィールドを明示することで、条文レベルでの完全なプロベナンス（由来）を保証している。

R3 時間的推論トラック

コアとなるベンチマークは、時間的誤接地を分離して評価するために設計されたR3トラックである。

• 範囲： 33のCGI条文（221個公開、範囲の問題で12個を除外）にわたる、209個のスコア化された専門家レビュー済み質問。
• 難易度： 本セットは**「全モデル共通の難題（all-model-hard）」**である。パラメトリック知識フィルターにより、評価されたすべてのモデル（11モデル、4回のサンプリング試行）において、記憶のみから質問に答えることは不可能であることが確認されている。
• スコアリングメカニズム： 回答は、原子的なグラウンドトゥルースの「ナゲット」（正規表現で一致する条文識別子および許容誤差を含む数値）を用いて決定論的にスコア化される。著者らは、評価対象のシステムが持つはずの時間的バイアスを継承することを避けるため、「LLM-as-judge」によるスコアリングを明示的に拒否している。
• 質問レジーム： 本論文は、法律のバージョンが特定の時点でのバージョンに依存するR3（時間的推論）に焦点を当てている。他のレジーム（R1：引用抽出、R2：決定論的計算、R4：マルチドキュメント合成）も追加トラックとして公開されている。

実験設計

著者らは、11のモデル（フロンティア級のクローズドAPI 5種、代替フロンティア級 1種、オープンウェイト 5種）を用い、R3サブセットに対して制御された3つの条件実験を行った：

1. 条件A (LLM-only)： パラメトリック知識のみ（検索なし）。
2. 条件B (Static RAG)： 現在のバージョンのみを含む静的なコーパスに対する検索（現在展開されているシステムの代表）。モデルには正しい条文IDが与えられるが、現在のバージョンのみが提供される。
3. 条件C (Version-Aware RAG)： 時間的にバージョン化されたコーパスに対する検索。
   • Cor (Oracle)： モデルには正しい条文IDが与えられ、インデックスから正しいバージョンを選択しなければならない。
   • Cprod (End-to-End)： モデルはオラクルなしで、正しい条文と正しいバージョンの両方を検索しなければならない。

主要な結果

静的なアプローチの失敗

• パラメトリック知識 (条件A)： 11モデルにおける平均厳密精度（strict accuracy）は**3.0%**であった。
• Static RAG (条件B)： 平均厳密精度は**2.7%であり、条件Aと統計的に区別がつかなかった。決定的なことに、Static RAGは該当する日付のバージョンを0%**の確率で検索できた。モデルは、実在するが適用外の（現在の）バージョンを自信を持って引用した。
• 結論： 標準的なRAGは、沈黙のうちに失敗するのではなく、自信を持って誤った回答を提示し、歴史的な法律を現在の法律に置き換えてしまう。

バージョン認識型検索の成功

• Oracleによるバージョン選択 (Cor)： 正しい条文が提供され、モデルが正しいバージョンを選択した場合、平均厳密精度は**99.1%**に達した。これは、正しいバージョンさえ利用可能であれば、モデルは正しい値を抽出できることを示している。
• エンドツーエンド検索 (Cprod)： オラクルなしのエンドツーエンドのリトリーバーは、**98.3%**の平均厳密精度を達成した。
• ボトルネック分析： Cor (99.1%) と Cprod (98.3%) の差は0.8ポイントであり、これは完全に第一段階の再現率（first-stage recall）（正しい条文の特定）に起因する。ゴールド（正解）のバージョンは、99%の質問において検索結果の上位5件に含まれていた。

意義および主張

本論文は、法務QAは「時間的にインデックス化された検索問題」として再定義されるべきであると主張している。主要な貢献は、時間に関わる質問における法務RAGのボトルネックは、モデルのサイズや推論能力ではなく、バージョン認識型のインデックス作成と日付条件付きの検索の欠如にあることを示したことである。

• 構造的 vs パラメトリック： 時間的接地（temporal grounding）の失敗は、LLMのパラメータの限界ではなく、検索アーキテクチャの構造的な問題である。
• 決定論的な評価： 正規表現と数値ナゲットを使用することで、LLMジャッジによる循環的なバイアスを回避し、時間的接地を測定するための信頼できる指標を提供している。
• 汎用性： フランス税法に焦点を当てているが、著者らは、時間的誤接地は、定型的な修正が行われるあらゆる大陸法系の制定法コーパス（例：ドイツ、スイス、ベルギーの制度）における構造的な問題であると主張している。これは、ドイツの制定法QAにおける同時期の独立した知見によっても裏付けられている。

本研究は、時間的誤接地を定量化し軽減するために特別に設計された、最初のバージョン化されたコーパスおよびベンチマークを提供しており、コーパス、ベンチマーク、モデルの応答、およびパイプラインのコードをコミュニティに公開している。