技術要約：AI支援型リーガル・ディスカバリーにおけるHuman-on-the-Loopオーケストレーション

問題定義

電子ディスカバリー（e-discovery）における自律型大規模言語モデル（LLM）エージェントの導入は、「軌跡崩壊（trajectory collapse）」と呼ばれる新しいクラスの失敗をもたらす。単発の検索タスクとは異なり、エージェントのワークフローは、ステップ $t$ におけるエージェントの出力がステップ $t+1$ におけるクエリを規定する、多段階のReason-Act-Observe（ReAct）ループを通じて動作する。この文脈において、初期段階での単一の誤分類は、推論チェーン全体に静かに伝播し、特権ログ（privilege log）が生成される頃には、特権レビュー全体を無効にしてしまう可能性がある。

現在のリスク評価における課題：

• 誤差の累積（Compounding Errors）: 誤差は孤立したものではなく、軌跡を通じて累積し、数百におよぶ下流の決定に誤りを埋め込んでしまう。
• 流暢性の罠（Fluency Trap）: RLHF（人間からのフィードバックによる強化学習）によって最適化されたLLMは、誤った法的分類に対して、流暢で自信に満ちた正当化を生成することが多く、これがエラーを隠蔽してしまう。
• ハルシネーションによるツール呼び出し（Hallucinated Tool Calls）: エージェントは、タスクが解決不可能である場合に、回避するのではなく、存在しないツール呼び出しを捏造することがある。
• 指標の限界（Metric Limitations）: 標準的な指標（適合率、再現率、F1スコア）は、軌跡の終端におけるパフォーマンスのみを測定するため、軌跡の途中で発生する失敗や「流暢性の罠」を罰することができない。

手法：4層検証アーキテクチャ

本論文は、失敗が累積する前に、特定の機能段階でそれらを遮断するように設計された、Human-on-the-Loop (HOTL) オーケストレーション・フレームワークを提案している。このアーキテクチャは、4つの検証レイヤーで構成される。

1. プランニング検証（Planning Validation）

実行前に、軽量な分類器（$f_{plan}$）が、分解された意図が利用可能なツールセット（$T$）に対して充足可能であるかを検証する。

• メカニズム: 微調整されたDeBERTa-v3分類器が、解決可能性の確率 $P(S | q, T)$ を推定する。
• アクション: もし $P(S | q, T) \geq \tau_{plan}$ （パイロット版では0.70に設定）であれば、クエリを実行し、そうでなければ人間の弁護士へエスカレーションする。
• 目的: 「事実派生（Fact Derive）」エラー（架空の判例の捏造）や「タスク分解（Task Decompose）」エラー（連邦民事訴訟規則に違反するサブゴール）を防止する。

2. ステップごとの推論チェックポイント（Stepwise Reasoning Checkpoints）

各推論ステップ $t$ において、システムは最終目標への期待進捗を測定する属性スコア（$A_t$）を算出する。

• メカニズム: $A_t = E_{\pi}[R(\tau) | s_t, a_t] - V(s_t)$。ここで、$V(s_t)$ はモンテカルロ・ロールアウトによって近似される。
• アクション: もし $A_t < \epsilon$ （最小進捗閾値、0.05に設定）となった場合、推論の痕跡（trace）は破棄され、エージェントは現在の状態から再サンプリングを行う。
• 目的: 合理化が事実に基づいた根拠を上書きしてしまう「推論の罠（Reasoning Trap）」を防止する。

3. 実行サンドボックス（Execution Sandboxing）

書き込みアクション（例：文書を特権文書としてタグ付けしたり、プロダクション・データベースにルーティングしたりすること）を確定させる前に、アクションはドライラン環境で実行される。

• メカニズム: デナイリスト・ポリシーエンジンが、FRCP（連邦民事訴訟規則）の制約（例：「弁護士閲覧限定（Attorney Eyes Only）」タグが非弁護士に到達することを防ぐ等）への準拠を確認する。
• アクション: アクションが非準拠である場合、それはブロックされ、システムはHOTLエスカレーションをトリガーする。不可逆的なAPIコールについては、サンドボックス・チェックが実行後に失敗した場合、補償トランザクション・パターンによってリバーサル（取り消し）を発行する。
• 目的: 「ツールの欠落（Missing Tool）」および「流暢性の罠」による実行失敗を軽減する。

4. 不確実性ゲート付きエスカレーション（Uncertainty-Gated Escalation）

システムは、全予測不確実性を、アレオリック（データノイズ）成分とエピステミック（モデル知識）成分に分解する。

• メカニズム: モデルの重みにはアクセスできないため、エピステミック不確実性（$U_{ep}$）は**自己整合性分散（self-consistency variance）**を介して推定される。エージェントは文書ごとに $k=10$ 個の独立した分類根拠を生成し、$U_{ep}$ は結果として得られるラベル分布のエントロピーとなる。
• アクション: もし $U_{ep} > \tau_{esc}$ であれば、システムは自律的なアクションを停止し、その軌跡の状態を人間の弁護士に提示する。
• 目的: モデルが信頼できる分類を行うための十分な情報を持っていない場合にのみ、エスカレーションを行う。

主な貢献

1. エージェント的失敗の分類学（Taxonomy of Agentic Failures）: 法的情報検索における失敗を、機能段階（プランニング、検索、推論、実行）ごとに整理し、特定の失敗モード（例：「要約の不一致（Summarize Misalign）」）をFRCPに基づく規制上の結果に結びつけた構造化された分類。
2. 4層検証アーキテクチャ: プランニング・バリデータ、ステップごとの推論チェックポイント、実行サンドボックス、および不確実性ゲート付きエスカレーションを統合し、軌跡崩壊を遮断する新しいシステム設計。
3. 予備的シミュレーション研究: 5,000文書の合成コーパスを用いたデモンストレーションにより、較正されたHOTLエスカレーション閾値が、完全自律型のベースラインと比較して特権放棄のリスクを大幅に低減することを示した。

実験結果

研究では、合成コーパスを用いて、自律型（A）、異なる閾値（$\tau \in \{0.3, 0.5, 0.7\}$）を持つ閾値付きHOTL（T-HOTL）、および**手動（M）**レビューの3つの条件を比較した。

• 特権放棄リスク（Privilege-Waiver Risk: PWR）: $\tau=0.5$ のときのT-HOTLは、自律型（Autonomous）の 8.3% から 3.2% へと減少させ、61%のリスク低減を実現した。
• 効率性: $\tau=0.5$ において、人間によるレビューに回された文書はわずか 23.7% であり、これは手動レビューの100%と比較して極めて低い。これは、同等のリスクレベルを維持しながら、弁護士の工数を推定で 76%削減 できることを示唆している。
• エラー回復: ロールバック回復率（RRR）は平均 0.71 であり、これは推論チェックポイントが、人間のエスカレーションを必要とせずに、大部分の軌跡を捕捉し回復できたことを示している。
• エラーの発生源: 自律型条件における平均初発エラー位置（Mean First-Error Position: FEP）は、平均的な軌跡長7.8ステップに対し3.2ステップであった。これは、エラーが早期に発生し、累積しやすいことを裏付けている。
• レイテンシ: エンドツーエンドの処理は、並列化されたバッチリクエストにより、文書あたり平均14.2秒であった。逐次実行の場合、290〜340秒を要することになる。

意義と主張

本論文は、エージェントによるリーガル・ディスカバリーへの移行には、「軌跡の完全性（trajectory integrity）」を第一級のデザイン目標として確立する必要があると主張している。従来の終端メトリクスでは、累積的な失敗を捉えるには不十分である。著者らは以下のことを主張している：

• 較正されたHOTLエスカレーションは、法務領域におけるプロダクショングレードのエージェント型IRシステムをデプロイするための前提条件である。
• 特権放棄のリスクを最大61%低減しつつ、4分の1未満の文書を人間によるレビューに回すことが可能である。
• 提案されたアーキテクチャは、すべてのインタラクション・ユニットに対して決定論的なプロベナンス・ハッシュをログに記録することで、FRCPの監査要件を満たすメカニズムを提供する。

限界と今後の課題

著者らは、結果が予備的なものであり、合成コーパスによる制限があることを明記している。これは、プロダクション環境のデータの分布的な複雑さ（例：ドメイン固有の専門用語、エンコードされた添付ファイル）を捉えきれていない可能性がある。

• グラウンド・トゥルース: ラベルには形式的な検者間一致（inter-annotator agreement）が欠けており、今後の研究ではCohen's $\kappa$ を報告する予定である。
• アブレーション: 本研究では個々のレイヤーのアブレーション（要素除去実験）を行っておらず、今後の法務パートナーとの共同研究において、各レイヤーの寄与を分離して特定する。
• データガバナンス: 特権文書に対するGPT-4oのプロダクション展開には、オンプレミスまたはゼロ・エグレス（外部へのデータ流出がない）推論が必要である。
• 検証: 今後の研究では、実際のディスカバリー・コーパスを用いてシステムを検証し、TAPEやKAIJUのようなバックボーンを用いた形式的な保証を探索する。