CVPD at QIAS 2026: RAG-Guided LLM Reasoning for Al-Mawarith Share Computation and Heir Allocation

1. 문제 정의 (Problem Definition)

이 논문은 **이슬람 상속법 (QIlm al-Maw¯ar¯ıth)**을 자동화하는 데 초점을 맞추고 있습니다. 이 작업은 단순한 텍스트 생성이 아니라, 고도의 정확성이 요구되는 다단계 법적 추론 문제입니다. 시스템은 다음 단계들을 순차적으로 처리해야 합니다:

• 상속인 식별: 자격 요건을 갖춘 상속인 확인.
• 차단 (Hajb) 해결: 특정 상속인이 다른 상속인에 의해 상속권을 상실하는 경우 처리.
• 지분 할당: 고정 지분과 잔여 지분 계산.
• 조정 (Awl / Radd): 지분 합계가 1 을 초과하거나 (Awl) 부족할 때 (Radd) 발생하는 조정 처리.
• 최종 분배 (Taş¯ıl): 조정 후 최종 비율 산출.

주요 난제:

• 법적 변이성: 수니파의 다양한 율법 학파 (Madh¯ahib) 와 국가별 민법 코드가 존재하여, 단일 규칙 집합이 아닌 명시적인 법적 설정에 기반한 추론이 필요합니다.
• 구조적 일관성: QIAS 2026 평가 지표인 MIR-E는 최종 결과뿐만 아니라 중간 추론 단계의 정확성과 JSON 과 같은 엄격한 출력 형식을 요구합니다. 기존 LLM 은 법적 추론은 가능하지만, 구조화된 출력과 수치적 일관성 유지에 취약합니다.

2. 방법론 (Methodology)

저자들은 검색 증강 생성 (RAG) 파이프라인을 기반으로 한 3 단계 구조를 제안했습니다.

가. 규칙 기반 생성자 및 심볼릭 계산기 (Rule-Based Generator & Symbolic Calculator)

• 데이터 증강: 10 만 개의 합성 사례 (Synthetic Cases) 를 생성하기 위해 결정론적 (Deterministic) 상속 계산기를 사용했습니다.
• 생성 과정: 상속인 조합을 샘플링한 후, 심볼릭 계산기가 자격, 차단, 지분, 조정 (Awl/Radd), 최종 분배 단계를 순차적으로 해결합니다.
• 다중 뷰 렌더링: 각 사례를 아랍어 문제 텍스트, 자연어 Q&A, 명시적 추론 흔적, 완전한 구조화 출력 (JSON) 의 4 가지 형태로 변환하여 지식 베이스를 구축했습니다. 이는 희귀하지만 평가에 중요한 경우 (예: Umariyyah 사례) 를 포함하도록 설계되었습니다.

나. 하이브리드 검색 및 재순위화 (Hybrid Retrieval & Reranking)

• 검색 전략: 밀도 (Dense, 임베딩 유사도) 검색과 희소 (Sparse, BM25) 검색을 결합합니다.
• 융합 (Fusion): Reciprocal Rank Fusion (RRF) 을 사용하여 두 채널의 결과를 가중치 (α=0.7, β=0.3) 로 통합합니다.
• 재순위화 (Reranking): 통합된 상위 후보들을 Cross-Encoder 를 통해 재평가하여 가장 관련성 높은 Top-K 문서를 선택합니다.
• 소스 분석: 실험 결과, PDF 기반의 큐레이션된 법적 텍스트가 웹 기반 텍스트보다 의미적 일관성과 검색 품질에서 월등히 우수함을 확인했습니다.

다. 프롬프트 기반 구조화 생성 및 검증 (Prompted Structured Generation & Validation)

• 모델: Qwen3.5-9B LLM 을 사용했습니다.
• 생성 프로세스: 검색된 사례 (Context) 를 프롬프트에 주입하여, 모델이 먼저 <thinking> 태그로 추론 과정을 작성하고, 그 후 <answer> 태그로 구조화된 JSON 을 출력하도록 유도합니다.
• 출력 검증 (Validation): 생성된 JSON 에 대해 4 가지 제약 조건을 적용하여 검증합니다:
  1. Ckeys: 필수 키 (상속인, 지분 등) 존재 확인.
  2. Ctypes: 필드 데이터 타입 확인.
  3. Clabels: 법적 라벨 값 유효성 확인.
  4. Cmass: 최종 지분 합계가 100% 에 근접하는지 확인 (오차 허용 범위 ±5).
  • 검증 실패 시 규칙 기반 기본값 (Fallback) 을 적용하여 제출 완료도를 높입니다.

3. 주요 기여 (Key Contributions)

1. 규칙 기반 합성 데이터 전략: 단순한 텍스트 매칭이 아닌, 심볼릭 계산기를 통해 모든 중간 단계의 추론 흔적이 포함된 고품질 합성 데이터 (10 만 건) 를 구축하여 모델 학습 및 검색용 코퍼스를 강화했습니다.
2. 결정론적 검증 레이어: LLM 의 생성 오류를 보정하기 위해, 출력 후 검증 (Post-generation Validation) 과 구조적 제약 (Schema-constrained) 을 도입하여 MIR-E 평가 하에서 높은 신뢰성을 확보했습니다.
3. 소스 품질의 중요성 입증: 법적 추론 작업에서 오픈 웹 데이터보다 큐레이션된 PDF 문서가 검색 품질과 의미적 정확도 면에서 훨씬 효과적임을 실증했습니다.

4. 실험 결과 (Results)

• 성능: 제안된 시스템은 MIR-E 점수 0.935를 기록했습니다.
• 순위: QIAS 2026 공식 블라인드 테스트 리더보드에서 1 위를 차지했습니다 (2 위 팀은 0.931 점).
• 벤치마크 비교:
  • 오프더셸 (Off-the-shelf) 모델 (Qwen 3.5 9B 등) 만 사용할 경우 MIR-E 점수는 0.347 로 낮았으며, 출력 누락이 빈번했습니다.
  • RAG 파이프라인과 검증 레이어를 적용함으로써 점수가 비약적으로 상승했습니다.
• 오류 분석: 잔여 오류는 주로 다중 세대의 차단 (Hajb) 논리 (42%), 분수 연산 (31%), 그리고 복잡한 Awl 처리 (18%) 에서 발생했습니다. 이는 언어 이해 부족이 아닌, 복합적인 법적 - 수학적 의존성 문제임을 시사합니다.

5. 의의 및 결론 (Significance & Conclusion)

이 논문은 고정밀 아랍어 법적 추론 분야에서 다음과 같은 중요한 통찰을 제공합니다:

• 모델 선택보다 엔지니어링의 중요성: 강력한 기반 LLM 만으로는 엄격한 단계별 일관성을 보장하기 어렵습니다. 검색 기반 (Retrieval-grounded) 접근과 결정론적 검증 (Deterministic Validation) 을 결합한 시스템 엔지니어링이 성능 향상의 핵심입니다.
• 도메인 특화 지식의 가치: 법적 NLP 작업에서는 개방형 웹 데이터보다 전문적으로 큐레이션된 도메인 코퍼스 (PDF 등) 가 훨씬 더 신뢰할 수 있는 검색 결과를 제공합니다.
• 향후 방향: 현재 시스템은 수니파 주요 율법 학파와 민법 변이성을 모두 완전히 지원하지는 못하지만, 심볼릭 제약 조건을 강화하고 신뢰도 인식 검색을 도입함으로써 향후 고도화될 수 있습니다.

결론적으로, 이 연구는 RAG 와 구조화된 생성 (Structured Generation) 의 결합이 복잡한 법적 계산 및 추론 과제를 해결하는 데 있어 매우 효과적임을 입증했습니다.