Citation Grounding: Detecting and Reducing LLM Citation Hallucinations via Legal Citation Graphs
本論文は、「Citation Grounding（引用の接地）」、すなわち、大規模なウクライナの裁判判決グラフを活用して引用の正確性を評価し、モデルに有効な引用と破損した引用を区別させるよう学習させるための選好学習手法（CG-DPO）を用いることで、大規模言語モデルにおける法的引用のハルシネーションを検出し削減するための新しい指標およびフレームワークを導入するものである。
原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。 免責事項の全文を読む
あなたは、非常に賢く、早口な法務アシスタントを雇い、あなたのためにレポートを書かせていると想像してください。このアシスタントは、何百万冊もの本を読み、膨大な事実を知っています。しかし、一つ落とし穴があります。特定の法律を根拠として挙挙げるよう求められた際、このアシスタントは時として嘘をついてしまうのです。存在しない法律を捏造したり、何年も前に廃止された法律を引用したり、あるいは全く別の国の法律を引用したりすることがあります。法曹界では、これを「ハルシネーション（幻覚）」と呼びます。これは人々を深刻なトラブルに陥れる可能性があります。
この論文は、これらの嘘を見破る新しい方法と、アシスタントに嘘をつかないよう教える手法を紹介するものです。
問題点： 「偽の法律」生成器
著者たちの調査によると、最も高度なAIモデルであっても、ウクライナの法律について書くよう求められると、13%から21%の確率で架空の法的引用を捏造することが分かりました。これは、学生がエッセイを書いている際に、存在しない教科書のページ番号をでっち上げているようなものです。
解決策： 「引用グラウンディング（根拠付け）」テスト
これを修正するために、研究者たちは**引用グラフ（Citation Graph）**と呼ばれる巨大なデジタル地図を構築しました。このグラフは、1億件の実在する裁判判決から構築された、巨大で超正確な図書目録のようなものです。そこには、実在する裁判官が特定の法律を実際に引用したすべての記録が含まれています。
彼らは**引用グラウンディング（CG）**というテストを作成しました。その仕組みは以下の通りです：
- 地図： 彼らは「真実の地図」（実在する裁判事例のグラフ）を持っています。
- テスト： AIに法的な回答を書かせます。
- チェック： AIが言及したすべての法律を調べ、地図と照合します。
- その法律は存在したか？（正確性：Precision）
- その特定の状況において、適切な法律であったか？（関連性：Relevance）
- その法律は、その特定の日に実際に施行されていたか？（時間的妥当性：Temporality）
もしAIが地図にない法律を引用したり、誤った文脈で引用したりした場合、テストはそれをハルシネーションとしてフラグを立てます。
研究結果
彼らは5つの異なるAIシステムを100個の法的質問に対してテストしました。
- 結果： ほとんどのAIは、引用の約80%を正しく行いました。残りは偽物でした。
- 「RAG」の勝利： あるシステムは、RAG（検索拡張生成）と呼ばれる特別なトリックを使用していました。これは、AIが単に記憶に頼るのではなく、実際に図書館へ行き、回答する前に実在する本を見つけ、それを読むというイメージです。このシステムは、最も間違いが少なく、引用する法律の数自体も少なかったため、事実を実際に調べている場合には「少ない方がより良い（less is more）」ということを証明しました。
- 驚くべきパターン： 彼らは、より多くの法律を引用するAIモデルほど、間違いも多くなると予想していました。しかし、それは事実ではありませんでした。多くの法律を引用しながらも正確なモデルもあれば、少ない引用数でも間違っているモデルもありました。それは、単にどれだけ多く話すかではなく、AIがどのように構築されているかに完全に依存しています。
「自己学習」メソッド（CG-DPO）
この論文における最大の画期的な成果は、高価な弁護士チームを雇ってすべての回答をチェックさせることなく、AIを修正する方法を開発したことです。
通常、AIに誠実さを教えるには、人間がその回答を読み、「これは良い」「これは悪い」と判断する必要があります。しかし、これは時間がかかり、コストもかかります。
研究者たちは、自分たちの引用グラフが人間の代わりを務めることができることに気づきました。彼らは次のようなゲームを作成しました：
- 正しい引用を含む実際の裁判判決を用意する。
- 改ざんする： コンピュータプログラムを使用して、法律を入れ替えたり、架空の条文を捏造したり、あるいは古い法律（例：2020年の法律を、まだ存在しない2025年の法律に変更するなど）を使用したりします。
- レッスン： AIに対して、「本物」のバージョンと「改ざんされた」バージョンの両方を見せます。AIは「本物」の方を好むように学習します。
「真実」はすでにグラフの中に存在しているため、データをラベル付けするために人間を必要としませんでした。グラフ自体に採点を行わせたのです。彼らはこの手法を用いてモデルを訓練し、そのモデルは、実在する引用と偽の引用を見分ける精度において**98.5%**という精度に達しました。
結論
この論文は以下のことを示しています：
- AIは法律についてよく嘘をつくが、実在する裁判の歴史の巨大な地図と比較することで、それを見破ることができる。
- RAGシステム（回答する前に事実を調べるシステム）は、現在、これらの嘘を回避するための最良の方法である。
- （グラフを利用して）「正しい例 vs 誤った例」を生成することで、AIに嘘をつかないよう教えることができる。 これにより、一つ一つの引用をチェックするという、人間の弁護士による退屈な作業を排除できる。
著者たちは、彼らの「地図」、テストツール、およびトレーニングデータを誰でも利用できるように公開しており、法的なAIをすべての人にとってより信頼できるものにすることを目指しています。
自分の分野の論文に埋もれていませんか？
研究キーワードに一致する最新の論文のダイジェストを毎日受け取りましょう——技術要約付き、あなたの言語で。