NeuroSymbolic AI for Legal AI-TRISM: Trustworthy, Reliable, Interpretable, Safe Models

技術要約：Legal AI-TRISMのためのニューロシンボリックAI

問題提起
本論文は、法務領域における大規模言語モデル（LLM）の適用における決定的なギャップを特定している。LLMは自然言語処理に変革をもたらしたが、「ハルシネーション（幻覚）」（引用や事実の捏造）、「解釈可能な推論の欠如」、および「管轄権の階層構造や手続き上の細部を厳格に遵守する能力の欠如」という問題を抱えている。著者らは、AIが生成した準備書面における引用の捏造により、米国の弁護士が制裁を受けた2024年の事例を、これらのリスクを示す顕著な例として挙げている。現在の検索拡張生成（RAG）のアプローチは、権威ある情報源に基づきLLMを接地させようと試みているものの、依然として大幅なハルシネーション率（様々な研究において17%から69%）を示しており、複雑な文脈上の例外を捉えたり、相反する法的先例を正しく優先順位付けしたりすることに失敗することが多い。純粋なニューラル・アプローチは、高リスクの法的意思決定に求められる論理的一貫性、ルールベースの検証、および追跡可能性を実現するのに苦慮している。

手法：TRISMフレームワークとRASOR
これらの限界に対処するため、著者らは、LLMにニューロシンボリックAIの原則を統合したフレームワークであるTRISM（Trustworthy, Reliable, Interpretable, Safe Models：信頼可能、確実、解釈可能、安全なモデル）を提案している。このアプローチは、ニューラルネットワークのパターン認識能力と、構造化された法的知識に基づく論理的推論を組み合わせたものである。

本論文で示されるTRISMの核となる具体例は、法的テキスト生成のために設計されたニューロシンボリックRAGパイプラインであるRASOR（RAtionalize, Select, and Refine：合理化、選択、洗練）である。RASORアーキテクチャは、以下の5つのステップを通じて動作する：

1. 根拠の生成（Rationale Generation）： ファインチューニングされたモデル（SaulLM）が、専門家のクエリと文書を含む法的データセットから、明示的で解釈可能な根拠（Rationale）を生成する。
2. チャンクの選択（Chunk Selection）： **ニューラル根拠ベース・チャンクセレクター（NRCS）**が、デンス・パッセージ・リトリーバー（DPR）を用いて、生成された根拠を関連する文書チャンクと一致させる。これにより、複雑なハイパーパラメータのチューニングを不要にする。
3. 洗練（Refinement）： リファイナー・モジュールは、**直接選好最適化（DPO）**を利用して根拠を最適化し、Contract Understanding Atticus Dataset（CUAD）のペアを用いた例に基づき、関連する文書チャンクに最も整合する根拠を選択する。これにより、人間からのフィードバックによる強化学習（RLHF）に伴う計算オーバーヘッドを回避する。
4. 検証（Verification）： 非監視型の検証器（Verifier）が、無関係または矛盾するチャンクをフィルタリングし、ハルシネーションのリスクを軽減する。
5. 推論（Inference）： システムは検証済みの根拠を用いて最終的な出力を生成し、ドメイン知識との整合性を確保する。

また、本論文では、シンボリックなバックボーンとして機能する**法的知識グラフ（KG）**を構築するための正式な手法についても詳述している。これには以下が含まれる：

• オントロジーの統合： 概念（例：「制定法」、「裁判判決」）、関係（例：「引用する」、「解釈する」）、および階層の定義。
• エンティティおよび関係の抽出： 命名エンティティ認識（NER）と意味役割ラベル付けを用いて、法的テキストからトリプル $(s, p, o)$ を抽出する。
• 動的な更新： LLMを活用した10ステップの自動プロセスにより、KGの埋め込み空間における「知識のギャップ」を検出する。これには、ロールプレイング戦略（防御側と検察側の役割を演じる）を用いた仮説生成、新しい候補トリプルの特定、および新しい制定法や先例に合わせてKGを最新の状態に保つための洗練が含まれる。

主な貢献
本論文は、主に4つの貢献を概説している：

1. 限界の分析： 法務における現在のAI駆動型手法の検討を行い、因果推論、類推推論、および管轄権のニュアンスの取り扱いにおける失敗を浮き彫りにした。
2. RASORと実証的検証： 透明かつ構造化された推論が性能を向上させることを示すRASORの導入。著者らは、このアプローチにより、ハルシネーション率が約75%（ベースラインのSaulLM-52Bにおいて）から40%未満に減少したと主張している。
3. 形式化されたKG手法： 解釈可能な推論と出力検証の両方をサポートする、シンボリックな法的知識ベースを作成するための構造化されたアプローチ。
4. TRISMフレームワーク： 法的規制基準（正確性、説明可能性、公平性、安全性）を満たすために、シンボリックな法的知識をLLMと統合するための包括的なフレームワーク。

結果
著者らは、510の契約にわたる13,000以上の専門家による注釈を含むCUADデータセットを用いてRASORを評価した。

• 検索性能： RASORは、128トークンおよび512トークンの両方のチャンクサイズにおいて、ベースラインのリランカーを上回る約93%の堅牢な再現率（Recall）を達成した。
• 生成精度： 生成にはLLAMA3-8Bを使用し、RASORは最先端のリランカーであるContrieverを、正確度（完全一致による測定）において最大17%上回った。具体的には、128トークン・チャンクにおいて、Contrieverの38%に対しRASORは52%の精度を達成し、512トークン・チャンクにおいては、47%に対し64%に達した。
• ハルシネーションの削減： RASORは、Contriever（58–65%）およびSaulLM-52B（75%）と比較して、ハルシネーション率を40%未満に抑えることに成功した。
• 動的な適応： システムは、クエリの複雑さに応じて検索されるチャンク数（$K$値）を動的に調整し、ノイズを最小限に抑えつつ検索を最適化できることを示した。

意義と主張
本論文は、RASORを完全なニューロシンボリック法的AIへの「極めて重要な第一歩」と位置づけている。著者らは、純粋なニューラル・アプローチからニューロシンボリック・システムへの移行が、法的AIを「大部分が信頼できないもの」から「実際の法的業務に実行可能なもの」へと進化させると主張している。その意義は、以下の点にある：

• 信頼の運用化： 明示的なソースの帰属と構造化された根拠を強制することにより、システムはTRISMの「信頼可能」および「解釈可能」という柱を満たしている。
• ギャップの架け橋： このモジュール式アーキテクチャは概念的な架け橋として機能し、現在のニューラル・コンポーネントを、シンボリックな対応物（例：ニューラルなチャンク選択を知識グラフベースの検索に置き換える）へと体系的に置き換え、あるいは強化することを可能にする。
• 導入の促進： 著者らは、法務専門家がこれらの透明性の高いシステムによる改善された成果を観察した際、それらを受け入れたと指摘しており、説明可能性が、このアプローチによって克服される主要な導入障壁であることを示唆している。

本論文は、現在のRASORの実装は主にニューラルな経路に従っているものの、その設計は、論理的検証とシンボリックなルールの適用がニューラルな近似を置き換える、より完全なニューロシンボリック推論システムへの漸進的な進化を可能にするものであると結論付けている。これにより、法的階層および手続き上の制約への遵守が保証される。