Testing Frontier LLMs on Indian Statutory Interpretation: The Indian Construction Canon Benchmarking (ICCB) -Pilot Benchmark

法の世界において、条文を読むことは、辞書の定義を読むことほど単純なものではありません。裁判官が曖昧な法律に直面したとき、彼らは単に答えを推測するのではなく、「解釈の規範（canons of construction）」として知られる特定の思考ツールに従います。これらは、テキストをどのように理解すべきかを導く確立された経験則です。例えば、ある規則は、もし法律が誰かを罰することを目的としているならば、その言葉通りに非常に厳格に読み解くべきであると定めているかもしれません。また別の規則は、もし法律が貧困層を助けるためのものであるならば、できるだけ多くの人々を含めるように広く読み解くべきであると定めているかもしれません。これらのツールこそが、裁判官が単に過去の判例を思い出すことと、新しい問題に対して実際に論理的な推論を行うことの違いを生むのです。人工知能システムが法廷や法律事務所に入り込み始めている今、一つの重要な疑問が生じています。これらの機械は、本当にこれらのツールを使いこなす方法を理解しているのか、それとも単に以前に見たパターンに基づいて正しい答えを推測するのが非常に上手いだけなのか、という疑問です。

インドのマニパル高等教育アカデミーの研究チームは、最新世代の人工知能モデルを用いてこの疑問を検証することに乗り出しました。彼らは、これらの機械がどのように法律を解釈するかに完全に焦点を当てた、専門的なテスト、すなわち「ベンチマーク」を作成しました。コンピューターに単に事件の結果を予測させるのではなく、研究者たちは彼らに「思考プロセスを説明すること」を求めたのです。このテストでは、実際のインドの裁判判決から抽出された40の異なる法的シナリオをモデルに提示しました。各シナリオにおいて、モデルはどの特定の解釈規則を使用すべきかを特定し、その規則を正しく説明し、そしてその規則を事実に適用して結論を導き出さなければなりませんでした。研究者たちは、モデルを5つの明確な側面で評価しました。すなわち、正しい規則を選択したか、インドの法的伝統に従ってその規則を正確に記述したか、事実に対して正しく適用したか、最終的な正解に到達したか、そして全体的な推論がいかに明快であったか、という点です。

結果は、機械ができることとそのやり方の間に、驚くべき隔たりがあることを明らかにしました。テストされた最も強力な人工知能モデルは、驚くほど正解に到達することに長けていました。多くの場合、彼らは人間の裁判官が到達したであろう結論と同じ結論に達していました。しかし、研究者が彼らがどのようにそこに到達したかを見たとき、景色は一変しました。モデルは、使用している特定の法的規則を正しく特定することに頻繁に失敗したのです。彼らは正しいツールを使う方法を知らないまま、しばれた結論に到達することがよくあり、これは論理的な経路を辿っているのではなく、状況を既知のパターンに適合させていることを示唆しています。それはまるで、複雑な数学の問題を正解できるものの、どの公式を使ったのか、あるいはなぜそれが機能するのかを説明できない学生のようなものです。研究によると、研究者がモデルに対してどの規則を使うべきかを明示的に指示した場合、モデルはその規則の名前を挙げる能力は向上しましたが、その規則を説明したり適用したりする能力は、それほど大きく向上しませんでした。これは、モデルがこれらの法的規則の知識は持っているものの、直接的なプロンプトなしには自力でそれにアクセスすることに苦労していることを示唆しています。

研究者たちはまた、質問のされ方によってモデルの挙動が異なることも観察しました。自力で問題を解決させるよう放置されると、モデル（特にテストされたオープンソースのモデル）は躊躇したり、回答を拒否したりすることがよくありました。しかし、研究者がどのような規則を使うべきかについてヒントを与えると、モデルはより積極的に取り組むようになりました。この意欲の向上にもかかわらず、核心的な問題は残ったままです。モデルは、正しい論理を構築することよりも、正しい結果を推測することに長けていたのです。あるモデルは、特に、正しい結論に到達する頻度が、法的原則を正しく特定する頻度よりも一貫して高く、それでいて最終的な結論においても重大な誤りを犯していました。この「正しい答え」と「正しい推論プロセス」の間の乖離は、重要な発見です。これは、もしこれらのシステムが、単に結果を予測する能力に基づいて実際の法的場面に導入された場合、正しい理由とは異なる理由で正しい答えを提供してしまう可能性があり、推論そのものが結果と同じくらい重要であるシステムにおいては危険を伴う可能性があることを意味しています。

本研究は、これらの人工知能システムは強力なツールではあるものの、法律の解釈に求められる特定の種類の推論をまだ習得していないと結論付けています。彼らは、人間の裁判官が用いるようなステップ・バイ・ステップの法的規則の適用よりも、パターン認識に大きく依存しているようです。研究者たちは、この技術が無用であることを意味しているのではなく、単に「正しい答えを出しているからといって、それらが弁護士のように推論できると信頼することはできない」ということを強調しています。この研究は、このような特定の種類の評価が可能であり、かつ必要であることを証明するために設計された小規模なテスト、すなわちパイロット研究としての役割を果たしています。チームは今後、この研究を拡大し、より多くのモデルやより幅広い法律をテストすることで、これらのパターンが普遍的に当てはまるかどうかを確認する計画です。現時点での知見は、明確な警告を発しています。複雑な法の世界においては、正しい答えを得るだけでは不十分であり、機械もまた、そのプロセスを示すことができる必要があるのです。