Each language version is independently generated for its own context, not a direct translation.

1. 왜 이 연구가 필요할까요? (문제 상황)

상속 문제를 푸는 것은 단순히 "누가 얼마를 받나요?"라고 묻는 게 아닙니다. 마치 복잡한 퍼즐을 맞추거나 정교한 레시피를 따라 요리를 하는 것과 비슷합니다.

레시피 (이슬람 상속법): "할아버지가 돌아가셨을 때, 아들이 있으면 손자는 물려받지 못한다", "아내와 딸이 동시에 있으면 비율이 어떻게 변하는지" 등 매우 엄격한 규칙이 있습니다.
현재 AI 의 문제: 요즘 AI 는 글을 잘 쓰고 대화를 잘하지만, 이런 엄격한 규칙을 단계별로 따르며 계산하는 것에는 약점이 있습니다.
- 예를 들어, AI 가 "손자도 받을 수 있다"고 잘못 판단하면, 그 뒤의 모든 계산이 엉망이 되어버립니다. (이걸 **'오류 전파'**라고 합니다.)

2. 이 연구가 만든 것: MAWARITH (마와리트)

연구진은 12,500 개의 상속 사례로 구성된 거대한 데이터베이스를 만들었습니다.

기존 방식 (단답형 퀴즈): "정답은 A, B, C 중 하나?"라고만 물었습니다. AI 가 운 좋게 정답을 맞혀도, **어떻게 그 답을 냈는지 (추론 과정)**는 알 수 없었습니다.
새로운 방식 (MAWARITH): AI 에게 **"단계별로 생각해보고, 왜 그렇게 판단했는지 설명하라"**고 요구합니다.
1. 누가 상속받는지 찾기: (예: 아들은 있는데 손자는 제외해야 함)
2. 규칙 적용하기: (누구를 제외하고 누구에게 얼마를 주는지)
3. 정확한 계산하기: (나머지 부분을 어떻게 나누는지)
4. 최종 답안 제시하기

이것은 AI 가 단순히 정답을 외우는 게 아니라, 법률가처럼 논리적으로 사고하는지를 확인하는 것입니다.

3. 어떻게 점수를 매기나요? (MIR-E 평가 기준)

단순히 "정답/오답"으로만 점수를 주면 안 됩니다. 그래서 연구진은 MIR-E라는 새로운 점수 시스템을 만들었습니다.

비유: 요리 대회 심사
- 기존 방식: 요리가 다 됐을 때 맛만 보고 점수 줌. (실수가 있어도 운 좋게 맛만 좋으면 통과)
- MIR-E 방식:
  1. 재료 준비: 올바른 재료를 썼나? (상속인 목록이 맞나?)
  2. 절차: 조리 순서를 지켰나? (규칙을 잘못 적용하지 않았나?)
  3. 마무리: 최종 맛은 어때? (계산 결과가 정확하냐?)
- 만약 재료를 잘못 준비했다면 (상속인 목록 오류), 그 뒤의 모든 과정이 무효가 되어 점수를 깎습니다. 이렇게 실수가 어디서 발생했는지를 정확히 찾아냅니다.

4. 실험 결과: 누가 이겼나요?

연구진은 최신 AI 모델 5 개를 이 시험에 풀어보게 했습니다.

승자: Gemini-2.5-flash
- 이 모델은 약 **90%**의 높은 점수를 받았습니다. 마치 숙련된 법률 전문가처럼 단계별로 정확하게 추론하고 계산했습니다.
패자: 다른 오픈소스 모델들 (LLaMA, Qwen, Fanar 등)
- 점수가 50% 미만으로 낮았습니다.
- 주요 실수:
  - 허위 상속인 추가: 상속받을 자격이 없는 사람을 목록에 넣음.
  - 자격 있는 사람 제외: 정작 받아야 할 사람을 빼먹음.
  - 규칙 무시: 복잡한 상황 (예: 상속분이 전체보다 많을 때 줄이는 '아울' 규칙) 을 적용하지 않음.

5. 결론 및 시사점

이 연구는 **"AI 가 복잡한 규칙과 논리가 필요한 분야 (법률, 의료 등) 에서는 아직 인간 전문가를 완전히 대체하기 어렵다"**는 것을 보여줍니다.

핵심 메시지: AI 가 말을 잘하고 유창하게 글을 쓴다고 해서, 엄격한 규칙을 따르는 논리적 사고를 잘하는 것은 아닙니다.
미래 전망: 이 데이터셋 (MAWARITH) 은 앞으로 AI 가 더 똑똑하게 추론할 수 있도록 훈련시키는 데 쓰일 것입니다. 마치 법률가 지망생이 모의고사를 풀며 실력을 기르는 것처럼요.

한 줄 요약

"이슬람 상속법이라는 복잡한 퍼즐을 AI 가 얼마나 논리적으로 풀 수 있는지, 단계별 실수까지 꼼꼼히 채점하는 새로운 시험지를 만들었다."

Each language version is independently generated for its own context, not a direct translation.

MAWARITH: LLM 를 위한 이슬람 상속 추론을 위한 데이터셋 및 벤치마크 기술 요약

이 논문은 이슬람 상속법 (ʿilm al-mawārīth) 의 복잡한 규칙 기반 추론을 수행하는 데 있어 대규모 언어 모델 (LLM) 의 한계를 지적하고, 이를 해결하기 위한 새로운 데이터셋 MAWARITH와 평가 지표 MIR-E를 제안합니다.

1. 문제 정의 (Problem)

이슬람 상속법은 유산 상속인을 식별하고, 배제 (ḥajb) 및 할당 규칙을 적용하며, 최종 상속 지분을 계산하는 복잡한 다단계 추론 과정을 요구합니다.

기존 한계: 기존 벤치마크는 대부분 단순한 객관식 문제 (MCQ) 에 의존하여, 모델이 정답을 맞췄더라도 그 과정이 논리적으로 타당한지, 중간 추론 단계에서 오류가 발생했는지 평가할 수 없었습니다.
오류 전파: 상속 추론은 단계 간 의존성이 강합니다. 초기 단계 (상속인 식별) 의 오류는 이후 지분 계산과 조정 (ʿawl, radd) 단계로 전파되어 최종 결과를 무효화합니다.
필요성: 단순한 지식 검색이 아닌, 엄격한 법리적 규칙과 수치 계산을 결합한 구조화된 추론 능력을 평가할 수 있는 도구가 필요했습니다.

2. 방법론 (Methodology)

2.1 MAWARITH 데이터셋

규모 및 구성: 아랍어로 작성된 12,500 개의 상속 사례로 구성된 대규모 주석 데이터셋입니다. (학습용 12,000 개, 테스트용 500 개)
데이터 생성 파이프라인:
1. 사례 생성: Almawarith 계산기를 사용하여 구조화된 입력으로 상속 지분을 계산.
2. 자연어 변환: 구조화된 데이터를 아랍어 자연어 서술형 문제로 변환.
3. 전문가 보강: 이슬람 학자들이 단계별 계산 과정과 법리적 근거 (코란, 하디스 등) 를 포함한 상세한 추론 과정을 작성.
4. 표준화 및 검증: Gemini-2.5-flash 를 사용하여 언어적 일관성을 높이고, 전문가가 최종 검증 (상속인 수, 논리 일관성, 수치 정확도 확인).
주석 형식: 각 사례는 <thought> 태그 내의 상세한 추론 과정 (상속인 식별, 배제 규칙 적용, 지분 할당, 조정 적용 등) 과 <answer> 태그 내의 최종 결과를 포함합니다.

2.2 평가 지표: MIR-E (Mawarith Inheritance Reasoning Evaluation)

단순한 최종 정답 정확도가 아닌, 추론 파이프라인의 각 단계별 정확도를 가중치로 합산하는 다단계 평가 지표를 제안했습니다.

평가 구성 요소:
1. 상속인 식별 (Heirs & Blocking): 유효한 상속인 식별, 배제된 상속인 식별, 상속인 수 정확도 ( $S_h$ ).
2. 지분 할당 (Share Assignment): 각 상속인에게 할당된 초기 지분의 수치 정확도 ( $S_s$ ).
3. 조정 (Adjustment): ʿawl (지분 축소) 또는 radd (지분 재분배) 필요성 및 유형 판단 정확도 ( $S_a$ ).
4. 최종 할당 (Final Allocation): 최종 정규화된 지분 분배 정확도 ( $S_f$ ).
점수 계산: $MIR-E = 0.30 S_h + 0.30 S_s + 0.10 S_a + 0.30 S_f$ . 초기 단계 오류가 후속 단계 점수에 영향을 미치도록 설계되어 오류 전파를 정량화합니다.

3. 주요 기여 (Key Contributions)

최대 규모의 상속 추론 데이터셋: 12,500 개의 아랍어 상속 사례와 인간 수준의 단계별 추론 주석을 제공합니다.
단계별 추론 평가 프레임워크: 객관식 정답 여부뿐만 아니라, 법적 논리와 수치 계산의 각 단계를 분리하여 평가하는 MIR-E 지표를 개발했습니다.
오류 분석 및 통찰: 모델이 상속 추론에서 겪는 구체적인 실패 패턴 (상속인 식별 오류, 언어적 해석 오류, 규칙 적용 실패 등) 을 체계적으로 분석했습니다.

4. 실험 결과 (Results)

5 가지 LLM(Gemini-2.5-flash, Fanar-C, Fanar-Sadiq, LLaMA 3, Qwen 3) 을 제로샷 (zero-shot) 환경에서 평가했습니다.

성능 비교:
- Gemini-2.5-flash: 검증 및 테스트 세트 모두에서 약 90% 의 MIR-E 점수를 기록하며 압도적인 성능을 보였습니다.
- 기타 모델: Fanar-C, Fanar-Sadiq, LLaMA 3, Qwen 3 은 모두 50% 미만의 점수에 머물렀습니다.
오류 전파 분석:
- 대부분의 오픈 소스 모델은 초기 단계인 **상속인 식별 (Step 1)**에서 실패율이 높았습니다 (Gemini: 78.2% 성공, 나머지 모델: 25% 미만).
- 초기 식별 오류가 후속 단계로 전파되어 전체 파이프라인 성공률을 급격히 낮췄습니다.
- Fanar-Sadiq은 이슬람 특화 모델임에도 불구하고, Fanar-C 보다 상속인 식별 정확도가 높았으나 (RAG 활용), 여전히 지분 계산 단계에서 오류가 발생했습니다.
주요 오류 유형:
- 상속인 식별 오류: 복잡한 친족 관계 표현을 잘못 해석하거나, 배제 규칙 (ḥajb) 을 적용하지 못해 자격 없는 상속인을 포함하거나 자격 있는 상속인을 배제하는 오류가 빈번했습니다.
- 언어적 해석 오류: 아랍어 숫자 표현이나 복합 친족 명칭을 잘못 해석하여 상속인 수를 잘못 계산했습니다.
- 규칙 적용 오류: 코란 구절의 조건부 문맥 (예: 형제가 있을 때 어머니의 지분 감소) 을 간과하여 잘못된 지분을 할당했습니다.

5. 의의 및 결론 (Significance)

법적 추론 평가의 새로운 기준: 이 연구는 LLM 이 단순한 텍스트 생성을 넘어, 엄격한 규칙과 논리를 따르는 구조화된 도메인 추론 능력을 평가하는 데 있어 새로운 벤치마크를 제시했습니다.
상업적 vs 오픈 모델 격차: 상업적 모델 (Gemini) 이 오픈 소스 모델에 비해 복잡한 규칙 기반 추론에서 현저히 뛰어난 성능을 보이며, 모델 규모와 훈련 데이터의 다양성이 법적 추론 능력에 중요한 요소임을 시사합니다.
미래 방향: MAWARITH 는 이슬람 법 관련 LLM 개발에 필수적인 자원이 될 것이며, 향후 강화 학습 (Process Reward Models) 을 통해 모델의 추론 경로를 법적 제약에 맞게 정렬하는 연구의 기초가 될 것입니다. 또한, 임신 관련 사례, 실종자 상속 등 더 복잡한 시나리오로 데이터셋을 확장할 계획입니다.

이 논문은 LLM 이 법적, 종교적 맥락에서 신뢰할 수 있는 추론을 수행하기 위해서는 단순한 지식 습득을 넘어, 단계별 논리적 검증과 규칙 준수가 필수적임을 강력하게 주장합니다.

MAWARITH: A Dataset and Benchmark for Legal Inheritance Reasoning with LLMs