NormDef-FR: an annotated corpus of normative definitions for the automatic processing of French legal codes

法律はしばしば膨大な規則のライブラリとして想像されますが、コンピュータにとって、それはテキストの混沌とした海です。フランスにおいて、法体系は「コード（法典）」に基づいて構築されています。これは、あらゆる言葉が特定の重みを持つ法律の巨大な集合体です。これら数千ページに及ぶ文書の中で、立法者は頻繁に自らの用語を定義するために立ち止まります。彼らは、「個人データとは、特定された個人に関するあらゆる情報を指す」や、「本条項の目的において、車両には自転車が含まれる」といった記述を行うことがあります。これらは単なる役立つ説明ではありません。それらは、権利と義務がどのように機能するかを決定する法的エンジンなのです。これらの正確な定義がなければ、法の残りの部分は正しく機能することができません。しかし、これらの定義を見つけることは困難です。なぜなら、それらは健康から税務に至るまで様々な法典にまたがる16万1,000以上の現行条文の中に埋もれており、検索を導く整理された地図も存在しないからです。

この構造の欠如は、テクノロジーにとって重大な問題を引き起こしています。弁護士やデジタルシステムが、法において特定の用語が正確に何を意味するかを知りたい場合、彼らはしばしば、すべての箇所を見つけ出したという保証がないまま、膨大なページを手作業で読み通さなければなりません。自然言語処理（人間が使う言語を理解するようにコンピュータに教える計算機科学の分野）は、法的テキストの分析において大きな進歩を遂げてきましたが、この特定のタスクにおいては苦戦してきました。既存のツールの多くは、英語や辞書にある一般的な定義のために設計されており、フランスの立法に見られる厳格で拘束力のある定義のためのものではありません。このギャップを埋めるために、研究者たちは、コンピュータが定義を自動的に見つけ出し理解する方法を教えるために設計された、慎重に精査された定義のコレクションである「NormDef-FR」という新しいリソースを作成しました。

モロッコのアブデルマレク・エッサディ大学の研究者たちは、人間の専門知識と機械による自動化の間に架け橋を築くことで、この問題に取り組みました。彼らはまず、公式のフランス法データベースから現在の現行法を集めることから始めました。コンピュータに図書館全体を一度に読ませようとする代わりに、彼らはまず、単純なルールベースのパターンを使用して、定義の候補と思われるものを特定しました。彼らは、「〜と定義される」や「〜とみなされる」といった、フランス法が定義を導入するために使用する特定のフレーズや、用語とその意味を分けるためのコロンの使用を探しました。この初期のスキャンによって潜在的な定義のリストが生成されましたが、それは決して完璧なものではありませんでした。多くの候補は誤検知であり、定義のように見えるものの、実際には提出すべき書類のリストや法的効果の記述など、他の何かであった文章を捉えていました。

この粗いリストを信頼できるトレーニングツールに変えるために、チームは人間の専門家を投入しました。彼らは数千もの候補を手作業でレビューし、どれが真の、使用可能な法的定義であり、どれを破棄すべきかを判断しました。また、テキストの境界線も修正し、「用語」と「定義」自体が正確に切り出されていることを確認しました。このプロセスは厳格なものでした。研究者たちは、定義として何とみなすかについて合意が得られるよう、サンプルのデータに対して2人の独立した専門家にラベル付けを行わせました。その結果、高い一致率が得られ、定義を特定するためのルールが明確で一貫していることが確認されました。最終製品であるNormDef-FRのバージョン1.0.0には、50の異なる法典にわたる363の異なる条文から抽出された、検証済みの693の定義が含まれています。各エントリーは、定義された用語をその意味に結びつけ、それがどこから来たのかに関するメタデータを含み、それがどのような種類の定義であるかを記しています。

このゴールドスタンダードのコレクションを手にした研究者たちは、コンピュータがどれほど上手く学習できるかをテストしました。彼らは、機械が成功する場所とつまずく場所を確認するために、3つの異なる課題を設定しました。最初のタスクは単純な抽出です。システムは定義を特定し、用語と意味を抽出できるでしょうか？ 第2のタスクはより広範なものです。システムは条文全体を見て、そこに定義が含まれているかどうかを判断できるでしょうか？ 第3のタスクは最も困難なものでした。システムは、コンピュータによって生成された候補定義を受け取り、それが保持すべき優れたものか、それとも破棄すべき間違いであるかを判断できるでしょうか？

結果は、明確な難易度の階層を明らかにしました。機械は第2のタスクにおいて驚くほど優秀でした。定義を含む条文を特定するよう求められた際、モデルは、定義が全く含まれていないことを手作業で確認した「真の負例（true negatives）」のセットで訓練された場合、ほぼ完璧な精度を発揮しました。この発見は極めて重要でした。なぜなら、定義リストにない条文はすべて「負例」であると仮定する以前の手法には欠陥があったことが示されたからです。多くの条文には隠れた定義が含まれていました。研究者が負例のサンプルを整理すると、コンピュータは定義の多い条文と通常の条文を容易に区別できるようになりました。

しかし、第3のタスクが真のボトルネックとなりました。コンピュータが特定の用語と定義のペアを検証しなければならないとき、その性能は大幅に低下しました。彼らは定義が存在する一般的な領域を特定することは容易でしたが、抽出した特定のペアが法的に有効であるかどうかを判断することには苦戦しました。彼らはしばしば、要件のリストや手続き上の指示を定義と間違えました。最高のモデルでも、これらの困難な決定の約71パーセントを正しく行うことができ、これは条文検出タスクで見られたほぼ完璧なスコアからは程遠いものでした。これは、コンピュータは正しい「近所」を見つけることはできても、正確な「家」を検証するには依然として人間の助けが必要であることを示唆しています。

この研究はまた、この特定の文脈における高度な人工知能の驚くべき限界を浮き彫りにしました。研究者たちは、一般的な会話に使用されるような洗練された言語モデルを、単語パターンに基づくより単純で伝統的な手法と比較しました。難しい検証タスクにおいて、複雑なモデルは単純なモデルを凌駕することはありませんでした。実際には、より単純な手法の方が安定しており、信頼できました。これは、ルールが厳格でパターンが特定の高度に専門化された法的テキストにおいては、テキストを一般的に「理解」しようとする複雑なシステムよりも、明確な言語的マーカーに依存する直接的なアプローチの方が効果的であることを示しています。

NormDef-FRの作成は、単なるデータセットではありません。それは、リーガルテクノロジーのための信頼できるリソースを構築する方法のデモンストレーションです。研究者たちは、データの不在を単に想定するだけでは不十分であり、そこに何が存在しないかを積極的に検証しなければならないことを示しました。負例を明示的にチェックすることで、システムが誤った教訓を学ぶことを防ぎました。このアプローチにより、リソースは堅牢で信頼できるものとなっています。このデータセットは、再現を可能にするドキュメントやスクリプトと共に公開されています。それは、法律の検索のためのより良いツールを構築するための基礎となり、弁護士やシステムがその意味を追い求めるのではなく、法の解釈に集中できるように、定義を見つけるという退屈な作業を自動化する助けとなります。この作業はまだ終わっておらず、将来のバージョンでは、より多くの種類の法律をカバーし、定義がどのように変化するかを追跡する必要がありますが、フランスの複雑な法典の世界に明晰さをもたらすための強固な出発点を提供しています。