Asking For An Old Friend: Diagnosing and Mitigating Temporal Failure Modes in LLM-based Statutory Question Answering

技術的サマリー：LLM に基づく法令質問応答における時間的失敗モードの診断と軽減

問題定義
大規模言語モデル（LLM）は法的調査への採用が増加しているが、その静的な訓練データと固定された知識カットオフは、変化する法令の性質と根本的に整合しない。本論文は、法令質問応答（QA）において以下の 2 つの具体的な時間的失敗モードを特定する：

1. カットオフ後の陳腐化：モデルは立法改正後の事実パターンに対して、時代遅れのパラメトリック知識に依存し、無効化された法的規則を適用する。
2. 最新性バイアス：モデルは、事実パターンが明示的に歴史的かつ無効化された法令の適用を必要とする場合でも、誤ってより新しい法令規定を優先する。

著者らは、法律専門家が AI に調査を依存する割合が増加している（2024 年から 2025 年にかけて 14% から 26% に上昇）一方で、これらのツールはしばしばその限られた時間的堅牢性への認識を欠いていると指摘する。一般的な知識とは異なり、法的正しさは規定の特定のバージョンとその時間的適用可能性に厳密に依存する。

手法
これらの問題を診断し軽減するため、著者らは新たなベンチマークを構築し、4 つの推論設定において 5 つの LLM を評価した。

• データセット構築：著者らは、312 件の専門家検証済みで時間的な感応性を持つドイツ法令 QA ペアからなるデータセットを作成した。データは、buzer.de から入手した 6 つのドイツ法令（BGB、StPO、AO、EStG、BauGB、HGB）の歴史的統合版を用いて合成生成された。データセットは以下の 3 つのカテゴリに分割される：
  • カットオフ後改正質問（115 件）：モデルの訓練カットオフ後の事実日付を提示し、カットオフ後に発生した立法改正の知識を要求することで、陳腐化をテストするように設計されている。
  • 改正前質問（113 件）：事実日付が改正前であり、モデルは文脈や訓練に新しいバージョンが存在するにもかかわらず、より古い法令バージョンを適用することを要求される。
  • 多規定改正前質問（84 件）：複数の規定の統合を必要とする複雑なシナリオであり、そのうち少なくとも 1 つは歴史的バージョンで適用されなければならない。
• 評価対象モデル：
  • カットオフ後タスク：ChatGPT-5.1 および Claude Sonnet 3.7（知識カットオフが評価日以前）。
  • 改正前タスク：ChatGPT-5.2、Claude Opus 4.5、および DeepSeek v3.2（実験時点での最先端モデル）。
• 推論設定：
  • Vanilla：内部パラメトリック知識のみに依存。
  • Web 検索：モデルは現在の情報を取得するためにネイティブまたは外部の Web 検索ツールを使用する。
  • RAG-kNN：テキスト埋め込みに対する k-最近傍検索を用いた検索拡張生成。有効な段落バージョンのみが取得されるよう、抽出された「as-of（時点）」日付でフィルタリングされる。
  • RAG-ToC：法令の目次を用いて関連する段落を選択する検索戦略であり、その後、RAG-kNN と同じ時間的フィルタリングと検索が行われる。
• 評価：人間専門家による評価と検証された LLM-as-a-judge（Gemini 3 Flash Preview）が、以下の 4 つの基準に基づいて回答をスコアリングした：結果の正しさ、法的推論の正しさ、法的根拠の正しさ、バージョン適用の正しさ。

主要な結果

• Vanilla モデルにおける深刻な陳腐化：カットオフ後タスクにおいて、Vanilla モデルは深刻な劣化を示した。例えば、Claude Sonnet 3.1 は結果の正しさのスコアが 24.35% まで低下し、法的推論の正しさは 0% まで落ち込んだ。モデルは不確実性を示す代わりに、無効化された規定を自信を持って適用した。
• 時間的 RAG の有効性：RAG-kNN および RAG-ToC の両方が、すべての質問タイプにおいてパフォーマンスを大幅に向上させた。カットオフ後のシナリオでは、RAG 手法は 78% から 94% の結果の正しさのスコアを達成し、Vanilla および Web 検索のベースラインを大幅に上回った。2 つの RAG 変種間には統計的に有意なパフォーマンス差は見られず、検索メカニズム（埋め込み対目次）よりも時間的フィルタリングが決定的な要因であることを示唆している。
• Web 検索の不安定性：Web 検索は一部のケースで Vanilla に対するパフォーマンス向上をもたらしたが、不安定な改善をもたらし、顕著な最新性バイアスを示した。歴史的に根ざしたタスクにおいて、Web 対応モデルは古い質問よりも最近の質問で著しく良好なパフォーマンスを示し、歴史的バージョンが必要とされる場合でも現在の法令を取得することが多かった。
• 多規定の複雑性：パフォーマンスは、単一規定タスクと比較して多規定質問で全体的にわずかに低下したが、特に Vanilla および Web 設定において顕著であった。ただし、RAG 手法は堅牢であり、正しい時間的コンテキストが提供されれば、現在の LLM は複数の規定を効果的に統合できることを示している。
• 最新性バイアス：質問の年齢に基づく著しいパフォーマンスの乖離は、Web 検索条件でのみ観察され、この文脈における最新性バイアスはモデル固有のパラメトリックバイアスではなく、「新鮮な」コンテンツを優先する検索パイプラインによって駆動されていることを示唆している。

意義と主張
本論文は、信頼性の高い法的 QA には時間的有効性をハード制約として扱うことが必要であると主張する。著者らは以下を論じる：

1. 静的な訓練では不十分：静的なモデルパラメータと動的な法令とのミスマッチは、法的 AI にとって致命的な失敗点を作り出し、モデルが時代遅れの法令を自信を持って適用する際に重大な責任リスクを伴う。
2. 時間的フィルタリングを備えた RAG が解決策である：単に「関連する」意味的マッチを取得するだけでは不十分である。システムは、モデルが正しい法的レジーム内で推論できるように、法的事実パターンの「as-of（時点）」日付に基づいて検索空間を明示的にフィルタリングしなければならない。
3. Web 検索は万能薬ではない：汎用的な Web 検索ツールは最新性バイアスに陥りやすく、時間的に感応な法的タスクにおいて、キュレーションされバージョン管理された法令データベースを信頼性を持って代替することはできない。

本研究は、既存のベンチマーク（しばしば大陸法への焦点が欠如しているか、カットオフ後の陳腐化をテストしていない）におけるギャップを埋め、検索はデータ陳腐化を軽減できるが、複雑な多規定の歴史的統合に関する LLM の推論能力には依然として modest な天井があるという実証的証拠を提供する。著者らは、将来の研究がこれらの知見を英米法管轄区にどのように一般化するかを探求し、最新性バイアスのメカニズムをさらに調査すべきであると結論付けている。