PROSLEX: A Novel Dataset for Expert-Annotated Legal Statute Prediction for Indian Judiciary

あなたは、指紋を探す代わりに、物語に適用される特定の法律を探し求める探偵であると想像してください。法律の世界、特にインドのような場所では、あらゆる犯罪や紛争は「制定法」と呼ばれる特定の書かれた規則に紐付けられています。これらの制定法を、巨大で複雑なゲームのルールブックだと考えてください。もし誰かがルールを破ったら、その間違いが記載されているルールブックの正確なページを見つけ出さなければなりません。これを「制定法予測（Statute Prediction）」と呼びます。長年、コンピュータはこれらの物語を読み、正しいルールブックのページを推測することに長けてきており、まるで超高速の司書のような能力を見せてきました。しかし、落とし穴があります。単に正しいページを推測するだけでは不十分なのです。実際の法廷では、裁判官や弁護士は、なぜそのルールが適用されるのかという「理由」を知る必要があります。彼らが必要としているのは、単なる「何が」ではなく、論理的な「なぜ」です。それは、左に曲がれと指示は出すものの、前方に巨大な落とし穴がある理由を説明することを拒むGPSのようなものです。この論文は、この欠けているピース、つまり「コンピュータに単に法律を推測させるだけでなく、人間にとって意味の通じる方法でその論理を説明させることはできるか？」という問いに切り込んでいます。

インドの大学のチームが主導したこの研究の背後にある研究者たちは、コンピュータが推測することには長けている一方で、なぜその推測に至ったのかを説明することに関しては非常に不得手であることに気づきました。これを解決するために、彼らはPROSLEXと呼ばれるものを作り上げました。PROSLEXを、コンピュータの脳のための、大規模で超組織化された「トレーニングキャンプ」だと考えてください。彼らは、インド最高裁判所の1,623件の実在する法的判例を取り上げ、実在の法律専門家（人間のコーチ）にそれらを精査させました。専門家たちは単にケースにラベルを貼っただけではありません。彼らは、どの法律が適用されることを証明しているのかを示す物語内の正確な文章をハイライトし、その背後にある論理を書き留めたのです。合計で7,450件の詳細な解説が作成されました。これは、マスターシェフが完成したケーキを見せるだけでなく、レシピのあらゆる工程に注釈を付け、なぜ正確に350度で焼く必要があるのかを説明するようなものです。

この新しい「トレーニングキャンプ」の準備が整ったところで、チームは数種類の異なるタイプのコンピュータの脳をテストにかけました。彼らはこれらのコンピュータに対し、法律の物語を読み、2つのことを行うよう求めました。すなわち、正しい法律を推測することと、その推測に対する説明を書くことです。彼らは、いくつかの例を先に見せる（few-shot）、ステップ・バイ・ステップで考えるよう求める（Chain-of-Thought）、あるいは思考の木が枝分かれするように複数の推論経路を探索させる（Tree-of-Thoughts）といった、さまざまな教示方法を試しました。

結果は以下の通りです。第一に、法律のテキストに特化した訓練を受けたコンピュータ（InLegalBERTなど）は、正しい法律を推測することにおいて最も優れており、約82%の確率で正解を出しました。しかし、説明を書くこととなると、大規模な汎用AIモデル（GPT-4など）が輝き始めました。これらのモデルにステップ・バイ・ステップで考えるよう指示すると、法律を予測する精度が向上し、かつ本物の弁護士のように聞こえる理由を書けるようになりました。実際、GPT-4は説明に関する専門家の評価において最高スコアを獲得し、トップの成績を収めました。

しかし、この論文はまた、厄介な問題も明らかにしました。コンピュータが「Tree-of-Thoughts」の手法（多くのアイデアへと枝分かれしていく方法）を使おうとすると、実は法律の推測精度が低下してしまったのです。一度にあまりにも多くの経路を探索しようとすると、コンピュータが混乱してしまうようです。また、研究者たちはある巧妙な問題を発見しました。コンピュータが正しい法律を推測しているにもかかわらず、その理由は完全に間違っているというケースがあるのです。これは、数学のテストで正解は書いているものの、計算過程が間違っている生徒のようなものです。論文は、コンピュータがたとえ「制定法」を正しく特定できたとしても、その論理が的外れである可能性があることを示しており、その論理を確認せずにコンピュータの答えをそのまま信じてはいけないということを浮き彫りにしました。

結局のところ、著者たちは、私たちは近づいてはいるものの、まだ到達していないと示唆しています。最良の結果は、コンピュータのスピードと人間のような推論ステップを組み合わせたときに得られましたが、システムには依然として、作業をダブルチェックするための人間の専門家が必要です。この論文は、法律AIの謎を永遠に解明したと主張しているわけではありません。そうではなく、他の研究者がより優れた、説明可能な法的ツールを構築するために使用できる、高品質な新しい地図（PROSLEXデータセット）を提供しているのです。これは、コンピュータに適切な種類の訓練データ――完全な人間の解説を伴うデータ――を与えれば、彼らが単なるルールの仕組みだけでなく、その背後にある精神までも理解し始めることができるということを証明する、重要な一歩なのです。