Parthenon Law: A Self-Evolving Legal-Agent Framework

本論文は、Harvey LABに関する大規模な実証研究を提示し、モデルの重みを変更することなく、監査可能かつ経験駆動型の改善を可能にするために法的役割とツールをモジュール化する自己進化型フレームワークである\textsc{Parthenon}を導入することで、法務ドメインにおけるLLMエージェントの展開における信頼性の課題に対処するものである。

要約

あなたは、膨大な法的案件をこなすために、非常に優秀で仕事の早い法学部生を雇ったと想像してください。この学生は図書館にあるすべての法律書を読み尽くしており、完璧な文章を数秒で書き上げることができます。しかし、あなたがある案件を最初から最後まで任せようとすると、彼らは時として、小さくも決定的な細部を見落としてしまいます。期限を忘れたり、金額を数え間違えたり、あるいは法律が書かれている特定のページを引用できなかったりするのです。

この論文「Parthenon Law」は、問題は「学生」（AIモデル）が十分に賢くないことではなく、彼らを取り巻く**「ワークシステム（作業体系）」**が壊れていることにあると主張しています。

以下に、その解決策の構成を、簡単な比喩を用いて解説します。

1. 問題点：「優秀だが注意散漫なインターン」

著者らは、最もスマートな既存のAIモデルを用いて、12,510件の実世界の法的タスク（契約書のレビューや裁判の期限分析など）をテストしました。

• 結果： 最も賢いAIであっても、個別の質問に対しては80〜90%の正解率を叩き出しました。しかし、法務の世界では、90%正解しているだけでは不十分です。もし期限を一つ逃したり、引用を一つ間違えたりすれば、その文書全体が無価値になってしまうからです。
• 比喩： 野菜を完璧に刻み、ステーキに完璧に味付けができるシェフを想像してください。しかし、もし彼がオーブンを付けるのを忘れたとしたら、料理は台無しになります。「オーブン（プロセス）」が欠けていたのであり、それはシェフのスキル不足ではありませんでした。

2. 解決策：「パルテノン（Parthenon）」フレームワーク

著者らは、Parthenonと呼ばれる新しいシステムを構築しました。単にAIに「仕事をさせる」のではなく、AIの周囲に厳格な6層構造の「ワークショップ（作業場）」を構築したのです。これは、ロボットの周囲にハイテクな工場のフロアを建設するようなものです。

このフレームワークは、主に3つの部分で構成されています。

• 「チェックリスト」（スキルとツール）：
  AIが言葉を書き始める前に、特定のツールを使用することを強制されます。AIは日付を単に「推測」することはできません。「日付計算ツール」を実行しなければなりません。また、単に「法律を見つける」こともできません。自分の作業過程を必ず示すように強制する「検索ツール」を使用しなければなりません。

  • 比喩： これは、インターンに「1. カレンダーを確認する。2. 金額を数える。3. 出典を探す。4. 数値を検証する」といったチェックリストを渡すようなものです。彼らはステップを飛ばすことができません。

• 「三つの頭を持つ怪物」（ソルバー、エバリュエーター、ラーナー）：
  このシステムは、互いに不正（カンニング）を引き起こさないように、仕事を3つの明確な役割に分割しています。

  1. ソルバー（Solver/解決者）： 実際の起草（ドラフト作成）を行います。
  2. エバリュエーター（Evaluator/評価者）： 記述が終わった後、ルールに基づいてドラフトを採点する、独立した「裁判官」です。
  3. ラーナー（Learner/学習者）： 「裁判官」のメモを見て、次回の指示のために「チェックリスト」や「ツール」を修正する「メカニック」です。
  • 比ло： ソルバーはエッセイを書きます。エバリュエーターはその成績をつけます。ラーナーはエッセイ自体を修正するのではなく、次の学生が同じ間違いを犯さないように、指示書（インストラクション）を書き換えます。

• 「不正防止ルール」（アンチ・リーケージ）：
  これは極めて重要です。システムは失敗から学びますが、特定のテスト問題に対する「答え」を記憶することは厳格に禁止されています。

  • 比喩： もしインターンが数学のテストに落ちた場合、システムは「筆算のやり方」をより良く教えます。決して「問題5の答えは42である」ということを教えるのではありません。これにより、システムは単にテストを暗記するのではなく、汎用的に賢くなることができます。

3. 結果：「より賢い脳ではなく、より優れたプロセス」

著者らは、Parthenonのワークショップがある場合とない場合で、同じAIモデルのテストを行いました。

• Parthenonがない場合： AIはブレーキのない高速走行車のようなものでした。スピードは出ますが、頻繁に衝突します。
• Parthenonがある場合： AIは信頼できる配送トラックになりました。ルートに従い、荷物をチェックし、安全に到着します。

魔法の数字： このフレームワークを追加することで、AIのパフォーマンスは、より高価で「より賢い」AIモデルにアップグレードした時と同程度の向上を見せました。実際、Parthenonシステムを備えた安価なAIモデルは、システムなしのトップティアのAIモデルよりも優れた性能を発揮しました。

4. 結論：「コ・パイロット（副操縦士）」

論文は、このシステムは人間の弁護士に取って代わるものではないと結論づけています。

• 現実： Parthenonシステムを使用しても、AIは依然として微細なディテールの約10%において間違いを犯します。
• 役割： AIは今や「スーパー下書き職人」です。仕事の90%を担い、自らの仕事をチェックし、残りの10%を人間の弁護士が確認すべき事項としてフラグを立てます。
• メリット： 人間の弁護士がゼロから文書を作成するために12時間を費やす代わりに、すでに90%完成しており、かつ証拠に基づいたドラフトを10分間でレビューして完了させることができるようになります。

要約すると： Parthenonは、AIを魔法のように「賢く」するものではありません。単に、AIが推測することをやめ、厳格で監査可能かつ自己改善型のルールに従うように強制するものです。それは、混沌としたブレインストーミングの場を、規律ある法的ワークフローへと変貌させるのです。

技術概要

技術要約：パルテノン法（Parthenon Law）：自己進化型リーガル・エージェント・フレームワーク

1. 問題提起

リーガル業務における大規模言語モデル（LLM）エージェントの導入は、文書主体の案件をレビュー可能な成果物に変換できる可能性を秘めているものの、以下の3つの決定的な障害に直面している。

1. 実証的エビデンスの欠如： 現在の最先端のモデルとハーネス（harness）の組み合わせが、エンドツーエンドの法的案件においてどのように機能するかに関する大規模なデータが存在しない。
2. アーキテクチャの不一致： 既存のエージェント・アーキテクチャは汎用的なハーネスであり、リーガル・バーティカル特有の不変条件（例：厳格な期限、ソースの追跡可能性、成果物のコンプライアンス）に適応していない。
3. 静的なシステム： 事実、権威、期限が変化する領域において、モデルの重みを微調整したりデータ漏洩のリスクを冒いたりすることなく、自らの結果から学習するメカニズムが存在しない。

現在の評価によれば、より強力なモデルは基準ごとの精度を向上させるものの、「厳格な案件完了（単一の案件における全基準の通過）」を達成するには至っていない。一般的な失敗モードには、ソースの網羅性の不足、定量的詳細の喪失、不正な形式の成果物、および根拠付け（グラウンディング）の弱さなどが含まれる。ボトルネックはモデルの能力そのものではなく、モデルを取り囲む構造化されたリーガル・ワーク・システムの欠如にあると特定されている。

2. メソドロジー：PARTHENON フレームワーク

著者らは、既存のワークスペース・ランタイムにリーガル特化型の制御を組み込むために設計された、6層の自己進化型リーガル・エージェント・フレームワークである PARTHENON を提案している。このアーキテクチャは、属性付与（attribution）と監査可能性（auditability）を中心に構成されている。

2.1 アーキテクチャの階層

• モデル層（Model Layer）： プラガブルな能力プロバイダー（例：GPT, Claude, Gemini）。特定のモデルに縛られることなく、実務領域ごとに案件をルーティングすることを可能にする。
• ハーネス層（Harness Layer）： ワークスペース、ツールへのアクセス、およびトレースのキャプチャを提供する、観測可能な実行契約（例：Codex, Claude Code, OpenCode）。PARTHENONはこれを、リーガル特化型の専門性を付与したプラガブルなものとして扱う。
• エージェント層（Agent Layer）： 情報漏洩を防ぐための厳格な役割境界を定義する。
  • ソルバー（Solver）： タスク、ソース、スキル、ツールを用いて成果物を起草する。
  • エバリュエーター（Evaluator）： ソルバーのコンテキスト外で、ルーブリック（評価基準）に基づいて完成した成果物をスコアリングし、記憶によるバイアスを防ぐ。
  • ラーナー（Learner）： 匿名化されたトレースと集計されたシグナルに基づき、ハーネスに対するタスクに依存しない編集を提案する。
• ナレッジ層（Knowledge Layer）： 法令、期限、スキーマ、カレンダー、類義語などの永続的なリーガル・メモリを、プロンプト・テキストとしてではなく「データ」として保存する。これらは汎用的なオブジェクトであり、ベンチマークの回答や案件固有の事実を含まないことで、データ漏洩を明示的に防ぐ。
• ツール層（Tools Layer）： 繰り返されるリーガル要件を、決定論的で解釈可能な操作（例：日付計算、引用チェック、数値照合）に変換する。これらは、モデルの暗黙的な記憶を、実行可能なコードへと置き換える。
• スキル層（Skills Layer）： 案件クラスによって選択される、ルーブリックに依存しない手続き的プラン（例：トリアージ、イシューのライフサイクル、必須ツールの呼び出し）を格納する。この層は、経験的な失敗を再利用可能な手順へと転換する。

2.2 自己進化ループ

PARTHENONは、モデルの重みではなくハーネスを更新する、ゲート付きの最適化ループを実装している。

1. 実行（Execution）： ソルバーがドラフトを作成する。
2. 評価（Evaluation）： エバリュエーターが隠されたルーブリックに対してドラフトをスコアリングし、フィードバックを生成する。
3. 学習（Learning）： ラーナーは、匿名化された失敗の軌跡（タスクID、ルーブリックのフレーズ、クライアントデータを除去したもの）を受け取り、ナレッジ、ツール、またはスキルの層に対する編集を提案する。
4. ゲーティング（Gating）： 編集は、それが汎用性を持ち、静的な安全性チェックを通過し、かつタスクごとのパス率を厳格に向上させる場合にのみ承認される。この「アンチ・リーク（抗漏洩）」プロトコルにより、システムがベンチマークのシグナルを記憶するのではなく、手続き的な改善を学習することを保証する。

3. 実験設定

• ベンチマーク： 24の専門領域にわたる1,251件の案件を含むコーパスである「Harvey LAB」。これにはソース文書、成果物、および専門家によるルーブリックが含まれる。
• ベースライン： 4つの実行ファミリー（直接APIプロンプティング、基本的なリーガルネイティブ・ハーネス、およびCodexとClaude Codeのワークスペース・ハーネス）にわたって評価。
• モデル： 3つのモデルティア（GPT-5.4-mini, GPT-5.5, および Claude Sonnet 4.6/Haiku 4.5）でテスト。
• 指標：
  • 基準精度（Criterion Accuracy）： 全ルーブリック基準のうち、パスした基準の割合。
  • オールパス（All-Pass）： すべての基準を通過した案件の厳格な割合。

4. 主な結果

4.1 パフォーマンスの向上

モデルとエージェント・ハーネスを固定した状態で、PARTHENONを追加することで、ベースモデルをアップグレードすることに匹敵するパフォーマンス向上が得られた。

• 精度の向上： PARTHNENONは、3つのモデルティア全体で、プールされた基準精度をそれぞれ +13.8、+10.2、+7.4 パーセントポイント向上させ、それぞれ 82.0%、89.9%、90.2% に達した。
• 厳格な完了： 弱いソルバーにおいて、厳格なオールパス完了率は、およそ3倍になった（例：GPT-5.4-miniでは14件から42件へ）。
• エラーの削減： 本フレームワークは、以前の失敗の主因であった機械的なエラー（事実の欠落、数値・日付の誤り、成果物の形式不備）を大幅に減少させた。

4.2 改善のメカニズム

• アクション・ミックス： 改善は、テキスト生成の増加ではなく、新しい「ツール/スクリプト」のバケットのアクション（例：強制的な監査、スキーマの充填）によってもたらされた。ベースラインのエージェントは読み取り重視であったが、PARTHENONのエージェントは構造化された検査と検証を実行する。
• コスト効率： 最も高価なソルバー（GPT-5.5）において、PARTHENONは精度を高めつつ、案件あたりのコストを実際に削減した（$1.51 →$1.29）。これは、監査ループがより短く精密な出力を生成したためである。安価なソルバーについては、精度の向上に対するコスト増加は最小限であった。
• アブレーション研究（切除研究）：
  • 最適化： 自己改善ループは、転送可能なハーネスへと収束し、異なるソルバーが同様の精度レベルへと収束することを示した。
  • 推論の努力量（Reasoning Effort）： 生の推論予算（推論の努力量）を増やすことは信頼できない結果をもたらしたが、手続き的な制御は信頼できる向上をもたらした。
  • 文書要約： キャッシュされた文書要約を追加しても、長い入力に対するパフォーマンスは向上しなかった。ボトルネックは入力の長さではなく、手続き的な規律であった。

4.3 人間との比較

「リリース標準（人間の弁護士によるレビューに近似するもの、精度100%）」との比較：

• 精度： 最も強力なPARTHENONの設定（基準精度90.2%）であっても、すべての基準を通過するのは約12%の案件のみであり、これは本システムが自律的な弁護士ではなく、ドラフト作成の助手であることを示している。
• 時間とコスト： システムは圧倒的な効率化を実現する。案件あたりの推定時間は、人間（約12.6時間）からAI（約10分）へと激減し、コストは$4,399から$0.81へと低下する。

5. 意義と主張

本論文は、信頼できるリーガルAIの主要な障壁は、パラメーター（モデルの規模）ではなく、**プロシージャ（手続き）**であると主張している。強力なモデルであっても、リーガル業務において失敗するのは、専門的な不変条件（期限、引用、根拠付け）を強制するための構造化されたシステムを欠いているためである。

主な貢献：

1. 実証的分析： Harvey LABにおける12,510件のエージェント・トラジェトリの大規模な研究により、最先端のモデルであっても厳格な案件完了率が依然として低いことを明らかにした。
2. PARTHENON フレームワーク： モデルの能力を、リーガルのメモリ、ツール、および手続き的スキルから分離した、6層のアーキテクチャ。これにより、失敗の監査と編集が可能になる。
3. 自己進化ループ： モデルの微調整やベンチマークデータの漏洩を行うことなく、スコア化された失敗をタスクに依存しないハーネスの更新へと変換するメカニズム。

結論：
著者らは、PARTHENONがリーガルAIの役割を「ゼロからの起草」から「ソースに基づき、監査フラグが立てられた初稿のレビュー」へと変貌させると結論づけている。ソルバーを監査可能なリーガル・ハーネスで包むことにより、システムはモデルのアップグレードと同等の利得を得て、異なるモデルファミリー間でもその効果を転送できる。その意義は、信頼性の高い領域における信頼性は、単なるモデルのスケールアップに頼るのではなく、外部の検査可能な手続き的制御を通じて達成できることを示した点にある。