MAWARITH: A Dataset and Benchmark for Legal Inheritance Reasoning with LLMs

イスラム法における複雑な相続計算を評価するための大規模なデータセット「MAWARITH」と多段階評価指標「MIR-E」を提案し、既存のモデルが推論の全段階で課題を抱えていることを示した研究です。

要約

「マワリト（MAWARITH）」：AI にイスラムの遺産相続を教えるための新しい教科書

この論文は、**「AI（人工知能）が、イスラム法の複雑な遺産相続ルールを正しく計算できるか？」**という問いに答えるために作られた、画期的な研究です。

まるで、AI に「相続という名のパズル」を解かせるための、世界最大の練習問題集と採点システムを作ったようなものです。

以下に、専門用語を避け、身近な例えを使って解説します。

---

1. なぜこれが難しいのか？（AI の「頭脳」の限界）

AI は普段、文章をまとめたり、質問に答えたりするのが得意です。しかし、イスラムの遺産相続は**「積み木」**のようなものです。

• ルールが厳格: 「お父さんがいれば、おじさんは相続権がない」「子供が 2 人いれば、母親の取り分は 1/6 になる」など、ルールが厳密に決まっています。
• 連鎖反応: 最初の積み木（誰が相続人か？）を間違えると、その上の積み木（誰がどれだけもらうか？）も全部崩れてしまいます。
• 調整が必要: 分配した合計が「1 円（全財産）」を超えてしまったり、足りなかったりする場合、特別な計算（調整）が必要です。

これまでの AI は、この「積み木」の最初の段でつまずくと、最終的な答えが間違っていても「正解」として処理されてしまうことがありました。

2. 新製品「マワリト（MAWARITH）」とは？

研究者たちは、12,500 問もの遺産相続の問題集（データセット）を作りました。

• ただの答え合わせじゃない: 従来のテストは「正解の選択肢 A, B, C, D のどれか」を選ぶだけでしたが、これは**「思考の過程（ステップバイステップ）」**をすべて見せることを求めます。
  • ステップ 1: 誰が相続人か？（おじさんは除外されるべきか？）
  • ステップ 2: 誰をブロック（排除）するか？
  • ステップ 3: 各人の取り分を計算する。
  • ステップ 4: 合計が 1 にならない場合の調整（増減）をする。
• 専門家による解説: 各問題には、イスラム法の専門家（ウラマー）が書いたような、詳細な解説と根拠が添付されています。

3. 採点システム「MIR-E」：過程を評価する

これまでのテストは「最終的な金額が合っていれば OK」でしたが、この研究では**「MIR-E（ミル・イー）」**という新しい採点システムを使います。

これは、**「料理のレシピ」**に例えると分かりやすいです。

• 従来のテスト: 「出来上がったケーキが美味しければ OK」。
• MIR-E: 「卵を割ったか？（ステップ 1）、砂糖を混ぜたか？（ステップ 2）、オーブンに入れたか？（ステップ 3）」を一つ一つチェックします。

もし「卵を割る」段階で間違えていたら、その後の工程が完璧でも、全体の点数は下がります。これにより、AI が**「どこで間違えたのか」**を詳しく分析できます。

4. 実験結果：AI はどうだった？

5 つの有名な AI モデル（Gemini, LLaMA, Qwen など）にテストを受けさせました。

• 勝者：Gemini-2.5-flash
  • 約**90%**の正解率を達成しました。まるで、相続の専門家として活躍できるレベルです。
• 他のモデル（LLaMA, Qwen など）
  • 正解率は50% 未満でした。
  • 主な失敗パターン:
    1. 関係性の読み間違い: 「孫の娘 4 人」を「孫の娘」と「娘」に分けて数えてしまうなど、言葉の解釈でミス。
    2. ルール適用ミス: 「お父さんがいるのに、おじさんにも相続権がある」と誤解して、余計な人をリストに追加してしまう（これを「偽の合格」と呼びます）。
    3. 計算の連鎖崩壊: 最初の人が間違えると、その後の計算も全部狂ってしまう。

5. この研究の意義

この研究は、AI が単に「知識を暗記する」だけでなく、**「論理的に考え、ルールに従って行動する」**能力をどう測るかを示しました。

• 宗教・法律分野への貢献: 相続は家族の平和に関わる重要な問題です。AI がここで失敗すると、実際の家族間にトラブルが起きる可能性があります。
• 未来への道筋: この「マワリト」データセットを使って、AI に「正しく考える癖」を付けさせることで、将来はより信頼できる法律支援 AI や、複雑な判断を必要とする AI を作れるようになります。

まとめ

この論文は、**「AI に『相続計算』という難しいパズルを解かせて、その思考過程を徹底的にチェックした」**という研究です。

結果として、一部の AI は非常に優秀であることが分かりましたが、多くの AI は「最初のルール理解」でつまずいていることが明らかになりました。これは、AI が人間のように「文脈やルールを深く理解する」ためには、まだ多くの訓練と工夫が必要だということを教えてくれています。

技術概要

MAWARITH: 大規模言語モデルを用いたイスラム法相続推論のためのデータセットとベンチマーク

本論文は、イスラム法（シャリーア）の相続法（ʿilm al-mawārīth）における複雑な推論タスクを評価・改善するために設計された大規模データセット「MAWARITH」と、それに伴う評価指標「MIR-E」を提案するものです。以下に、問題定義、手法、主要な貢献、結果、および意義について詳細にまとめます。

1. 問題定義と背景

大規模言語モデル（LLM）は自然言語処理の多くの分野で高い性能を示していますが、構造化されたルールベースの推論、特に多段階の論理的思考を必要とするタスクにおいては依然として限界があります。

イスラム相続法は、以下の理由から LLM の推論能力を評価する理想的なテストベッドです：

• 多段階推論の必要性: 相続人の特定、排除（ḥajb）ルールの適用、固定された相続分の割り当て、そして場合によっては調整（ʿawl: 超過配分、radd: 不足配分）を行うという厳密な手順が必要です。
• エラーの伝播: 初期段階（相続人の特定など）での誤りは、その後の計算全体を無効化し、最終的な分配結果を誤ったものにしてしまいます。
• 既存評価の限界: 従来の法分野のベンチマークは多肢選択問題（MCQ）が主流であり、モデルが「正解」を選べたとしても、その背後にある推論プロセスが正しいかどうか、あるいは法的根拠が妥当かどうかを評価できていませんでした。

2. 手法とデータセット（MAWARITH）

データセットの構築

• 規模と構成: アラビア語で記述された12,500 件の相続事例からなる大規模データセットです。
• 生成プロセス:
  1. ケース生成: 構造化された入力（親族関係と人数）を用いて、相続分計算ツールで数値を決定論的に算出。
  2. 自然言語変換: 構造化入力を、実際の法廷や相談で使われるような自然なアラビア語の記述に変換。
  3. 専門家による拡張: イスラム法学の専門家によって、各ステップの推論過程（相続人の特定、排除理由、計算根拠）を詳細に記述・検証。
  4. 標準化: Gemini-2.5-flash を用いて、推論の論理構造を維持しつつ、言語的一貫性と明瞭さを向上。
• データ構造: 各事例は、詳細な推論過程（<thought> タグ内）と最終回答（<answer> タグ内）の両方を含みます。推論過程には、相続人の抽出、排除（ḥajb）の分析、固定分の割り当て、調整（ʿawl/radd）の適用、最終配分の計算が含まれます。

評価指標（MIR-E）

最終回答の正誤だけでなく、推論の各段階を評価するための重み付き多段階指標MIR-E（Mawarith Inheritance Reasoning Evaluation）を提案しました。

• 評価ステージ:
  1. 相続人の特定と排除: 適切な相続人が選ばれ、排除されるべき者が正しく除外されているか（F1 スコアとカウント精度）。
  2. 相続分の割り当て: 各相続人に割り当てられた数値が正しいか。
  3. 調整（Normalization）: 全体的な調整（ʿawl または radd）が必要かどうかの判断と、その種類の特定。
  4. 最終配分: 正規化された最終的な分配結果。
• スコア計算: 各ステージのスコアを重み付け（相続人特定と最終配分を重視しつつ、中間ステップも評価）して総合スコアを算出します。これにより、エラーがどの段階で発生し、どのように伝播したかを分析できます。

3. 実験と結果

実験設定

• モデル: 5 つの LLM をゼロショット（ファインチューニングなし）で評価。
  • 商用モデル: Gemini-2.5-flash
  • オープンウェイトモデル: Qwen3-32B, LLaMA 3.3-70B, GPT-OSS-120B
  • 専門特化モデル: Fanar-C-2-27B（汎用）, Fanar-Sadiq（イスラム特化）
• 言語: アラビア語プロンプトを使用。

主要な結果

• 性能の格差: Gemini-2.5-flash が MIR-E 約 90% の高得点を達成し、他モデルを大きく引き離しました。一方、他のオープンモデル（Qwen3, Fanar, LLaMA など）はすべて 50% 未満 に留まりました。
• エラーの伝播: 図 2 に示されるように、Gemini 以外は「相続人の特定（Step 1）」で既に大幅な失敗率を示し（成功率 25% 未満）、そのエラーが後のステップ（相続分計算、調整）に伝播して最終結果を破綻させています。
• エラー分析:
  • 構造的エラー: 多くのモデルで「False Eligibility（相続権のない者を相続人として含める）」が最も一般的なエラーでした。特に遠縁の親族を、より近い親族がいるにもかかわらず誤って含める傾向が見られました。
  • 言語的解析エラー: 複雑なアラビア語の親族表現（例：「孫の娘 4 人」を 2 つの異なる相続人タイプに誤分解するなど）の解釈に失敗するケースが多発しました。
  • ルール適用の欠如: 正しい相続人が特定されても、コーランの条文の条件（例：兄弟がいる場合の母親の相続分が 1/6 に減るなど）を適用しきれず、誤った分数を割り当てるケースがありました。

4. 主要な貢献

1. MAWARITH データセットの公開: 12,500 件の詳細な推論過程（ステップバイステップの解説と数値計算を含む）を備えた、イスラム相続法における初の大規模ベンチマーク。
2. MIR-E 評価指標の提案: 最終答えだけでなく、推論パイプラインの各段階を評価し、エラーの伝播を定量化できる新しいメトリクス。
3. LLM の法推論能力の限界の解明: 商用モデルが高度なルールベース推論で優位性を示す一方、オープンモデルは初期段階の構造的エラー（相続人の特定ミス）に起因するエラー伝播に脆弱であることを実証。
4. ドメイン特化の重要性: 一般的な知識や RAG（検索拡張生成）だけでは、複雑な法的制約下での多段階推論を正確に行うことは困難であり、ドメイン固有の推論能力の向上が課題であることを示唆。

5. 意義と今後の展望

• 法的 AI の信頼性向上: 宗教的・法的文脈において、単なる正解だけでなく「なぜその結論に至ったか」という推論の正当性が極めて重要です。MAWARITH は、LLM が法的根拠に基づいて論理的に推論できるかどうかを検証する重要な基盤となります。
• 研究の方向性: 将来的には、プロセス報酬モデル（Process Reward Models）を用いた強化学習により、モデルの推論プロセスを法的制約に整合させるアプローチや、妊娠、行方不明者、性同一性に関する相続など、より複雑なケースへのデータセットの拡張が予定されています。

本論文は、LLM が高度な構造化推論タスクを遂行するための課題を明確にし、法分野における信頼性の高い AI 開発に向けた重要な第一歩を踏み出したと言えます。