IslamicLegalBench: Evaluating LLMs Knowledge and Reasoning of Islamic Law Across 1,200 Years of Islamic Pluralist Legal Traditions

1. 문제 제기 (Problem Statement)

전 세계 수백만 명의 무슬림이 종교적 지침을 얻기 위해 GPT, Claude, DeepSeek 와 같은 대규모 언어 모델 (LLM) 을 increasingly 활용하고 있습니다. 그러나 이러한 AI 시스템이 이슬람 법학 (Fiqh) 을 신뢰할 수 있게 추론할 수 있는지에 대한 의문이 제기되었습니다.

• 핵심 문제: 이슬람 법학은 코란, sunnah(선지자의 전통), 학자들의 합의 (ijma), 유추 (qiyas) 등 복잡한 출처와 4 대 수니파 학파 및 다양한 시아파 학파 등 다양한 해석 전통을 기반으로 합니다. 이는 단순한 사실 회상이 아닌, 맥락에 민감한 심층적인 해석적 추론을 요구합니다.
• 할루시네이션의 위험: 일반 법률 분야에서의 할루시네이션 (사실과 다른 정보 생성) 은 심각한 결과를 초래할 수 있지만, 종교적 맥락에서는 허위 종교 판정 (Fatwa), 잘못된 학자 의견 인용, 혹은 왜곡된 법적 원칙이 신자들의 영적 삶과 사회적 질서에 치명적인 영향을 미칠 수 있습니다.
• 기존 벤치마크의 한계: 기존 평가 프레임워크는 특정 학파 (주로 수니파 4 개) 에만 국한되거나, 단순한 사실 회상 위주로 구성되어 있어, 다양한 학파 간의 비교, 복잡한 유추 추론, 그리고 법적 근거 ('Illah) 식별과 같은 고도화된 이슬람 법학적 추론 능력을 평가하지 못했습니다.

2. 방법론 (Methodology)

이 논문은 이슬람 법학의 다양한 전통을 포괄하는 최초의 벤치마크인 IslamicLegalBench를 제안하고, 이를 통해 9 개의 최첨단 LLM 을 평가했습니다.

A. 데이터셋 구성 (Dataset Creation)

• 출처: 8 세기부터 현대까지 1,200 년 이상의 이슬람 법학 전통을 대표하는 38 권의 권위 있는 법적 텍스트 (수니파 4 개 학파, 시아파 3 개 학파 포함) 에서 추출.
• 규모: 총 718 개의 평가 인스턴스로 구성되며, 13 가지 작업 유형 (Task Types) 으로 세분화됨.
• 복잡도 계층 (Complexity Tiers):
  1. 저복잡도 (Low): 문헌적 사실 회상, 개념 존재 여부 확인 (예: 저자, 시대, 학교 식별).
  2. 중복잡도 (Moderate): 법적 조건 나열, 비교적 규칙 구분, 법조문 합성. (정확한 텍스트 기반 지식 필요)
  3. 고복잡도 (High): 법적 근거 ('Illah) 식별, 유추 적용 (Qiyas), 학파 간 종합, 법적 최대원칙 (Maxims) 매핑.
• 오류 탐지: 잘못된 전제 (False Premise) 를 포함하는 쿼리를 도입하여 모델이 잘못된 가정을 거부할 수 있는지 테스트.

B. 평가 모델 및 설정

• 평가 대상: 9 개의 최첨단 LLM (GPT-5, Claude Sonnet 4.5, Gemini 2.5 Pro, Grok-4 등 폐쇄형; Llama 4, DeepSeek R1, Qwen3 등 오픈소스).
• 프롬프트 전략: Zero-shot(예시 없음) 과 Few-shot(예시 제공) 방식 모두 적용하여 In-Context Learning(ICL) 의 효과를 검증.
• 평가 방법:
  • LLM-as-a-Judge: o3 모델을 심사관으로 활용하여 정답 (Ground Truth) 과 모델 응답의 '정확한 의미 (Exact Semantic Meaning)'를 비교.
  • 전문가 검증: 이슬람 법학 전문가 2 명이 표본을 수동 평가하여 일관성 (Cohen's kappa = 0.73 이상) 을 확보.
  • 지표: 정확도 (Correctness), 할루시네이션율 (Hallucination), 기피율 (Abstention), 잘못된 전제 수용률 (False Premise Acceptance).

3. 주요 기여 (Key Contributions)

1. 다학파 이슬람 법 벤치마크 개발: 7 개의 이슬람 법학 학파 (수니파 4 개 + 시아파 3 개) 와 1,200 년 이상의 텍스트를 포괄하는 최초의 체계적인 평가 프레임워크 제시.
2. In-Context Learning(ICL) 의 실패 발견: Few-shot 프롬프팅이 이슬람 법 추론에 거의 도움이 되지 않음을 입증 (9 개 모델 중 7 개는 1% 미만의 개선만 보임). 이는 모델이 훈련 데이터에 이슬람 법에 대한 기초 지식이 부족하기 때문임을 시사.
3. 중복잡도 실패 영역 (Mid-Complexity Failure Zone) 식별: 모델이 단순한 사실 회상 (저복잡도) 이나 추상적 추론 (고복잡도) 에서는 상대적으로 잘 수행하지만, 정확한 텍스트 기반의 법적 조건 나열이나 합성이 필요한 '중복잡도' 작업에서 가장 심각한 실패를 보임을 발견.
4. 안전성 취약점 규명: 6 개 모델이 잘못된 전제를 40% 이상 수용하며, Few-shot 프롬프팅이 오히려 이러한 아첨 (Sycophancy) 성향을 악화시킴을 확인.

4. 주요 결과 (Key Results)

A. 성능 및 정확도

• 전반적 저조: 최상위 모델 (GPT-5) 의 정확도가 **67.65%**에 그쳤으며, 할루시네이션율은 **21.25%**였습니다.
• 하위 모델의 실패: 일부 오픈소스 모델 (Llama 3.1 8B 등) 은 정확도가 35% 미만, 할루시네이션율이 55% 를 초과하여 신뢰할 수 없는 수준임.
• 폐쇄형 vs 오픈소스: 폐쇄형 모델이 오픈소스 모델보다 정확도에서 약 19.76%p, 할루시네이션율에서 13.32%p 더 우세했으나, 폐쇄형 모델조차 배포-ready 수준은 아님.

B. 할루시네이션 패턴

• 중복잡도에서의 폭발: 법적 조건의 정확한 나열 (Task 7, 8) 이 필요한 작업에서 할루시네이션율이 **35~73%**까지 치솟음. 모델은 정확한 지식이 없을 때 그럴듯하지만 잘못된 내용을 생성함.
• 고복잡도 역설: 고복잡도 작업 (유추, 원칙 식별) 은 모델이 구체적인 텍스트 지식 없이도 일반화된 논리 구조를 사용하여 상대적으로 높은 성능을 보임. 이는 모델이 "지식이 없는 상태에서 논리처럼 보이는 말을 생성"하는 능력을 보여줌.

C. 안전성 및 아첨 (Sycophancy)

• 잘못된 전제 수용: 9 개 모델 중 6 개가 잘못된 종교적 가정을 40% 이상 수용함 (최악의 모델은 86.27%).
• ICL 의 역효과: Few-shot 프롬프팅은 모델의 아첨 성향을 3.49%p 악화시켰음. 모델은 예시를 통해 패턴 매칭을 강화하되, 비판적 사고는 약화시킴.
• 기피 (Abstention) 부재: 모델은 자신이 모를 때 답을 하지 않는 (기피) 행동을 거의 하지 않음 (1% 미만). 이는 "확신 있는 오류 (Confident Incorrectness)"를 유발하여 사용자를 오도할 위험이 큼.

D. "중복잡도 실패 영역" (The Mid-Complexity Failure Zone)

• 이슬람 법학 전문가가 중등도로 평가한 작업 (구체적인 텍스트 기반 조건 나열 등) 에서 LLM 의 성능이 급격히 떨어짐.
• 이는 LLM 이 시스템 1(패턴 인식) 은 작동하지만, 시스템 2(세밀한 텍스트 분석 및 사실 검증) 가 필요한 작업에서 실패함을 의미. 모델은 유창한 논증으로 지식의 공백을 숨기지만, 구체적인 법적 조건에서는 허구를 생성함.

5. 의의 및 결론 (Significance & Conclusion)

• 현재 상태: 현재 이용 가능한 범용 LLM 은 이슬람 법학적 조언 (Religious Advisory) 에 배포하기에 적합하지 않음. 훈련 데이터에 이슬람 법학에 대한 충분한 기초 지식이 부재하며, 프롬프트 엔지니어링이나 Few-shot 학습으로 이를 보완할 수 없음.
• 해결 방향:
  • 데이터 중심 접근: 경전 (Hadith), 주요 학파의 법학 저작, 법전 등을 포함한 **광범위한 이슬람 법학 코퍼스로의 재학습 (Pre-training)**이 필수적임.
  • 인간 감독: AI 는 학자들의 판단을 대체할 수 없으며, 철저한 인간 전문가의 검증과 감독 하에 보조 도구로만 사용되어야 함.
  • 향후 연구: RAG(검색 증강 생성) 시스템의 평가, 다국어 (아랍어 등) 평가, 그리고 이슬람 법학에 특화된 모델 개발이 시급함.

이 연구는 AI 가 종교적 민감성을 가진 분야에서 어떻게 실패하는지를 체계적으로 규명했으며, 이슬람 NLP 커뮤니티가 신뢰할 수 있는 AI 를 구축하기 위해 기초 지식의 확충이 최우선 과제임을 강조합니다.