Fanar-Sadiq: A Multi-Agent Architecture for Grounded Islamic QA

이 논문은 할루시네이션을 줄이고 코란, 하디스, 이슬람 법학 (Fiqh) 의 정통성을 보장하기 위해 의도 인식 라우팅, 검증된 인용, 그리고 특정 법학파 (Madhhab) 에 따른 계산기를 갖춘 다중 에이전트 아키텍처 'Fanar-Sadiq'을 제안하고 그 효과성을 입증합니다.

핵심

🕌 팬라-사딕: 이슬람 지식을 위한 '전문가 팀' AI

기존의 대형 언어 모델 (LLM) 은 마치 **모든 것을 다 아는 척하는 '만능 요리사'**와 같습니다. 이 요리사는 이슬람 경전 (코란, 하디스) 에 대한 질문을 받으면 맛있게 말은 잘하지만, 실제 레시피 (경전) 를 보지 않고 기억만으로 요리를 하다가 때로는 없는 재료를 넣거나, 다른 식당의 레시피를 가져와서 엉뚱한 요리를 내놓기도 합니다. 종교적 질문에서는 이런 실수가 매우 치명적일 수 있습니다.

**'팬라-사딕'**은 이 문제를 해결하기 위해 한 명의 '만능 요리사' 대신, 각자 특기를 가진 '전문가 팀'이 협업하는 시스템으로 바꿨습니다.

1. 지휘자 (라우터): 질문을 맞는 전문가에게 넘겨줍니다

사용자가 질문을 하면, 시스템의 **'지휘자 (라우터)'**가 먼저 질문의 성격을 파악합니다.

• "코란의 2 장 255 절이 뭐야?" → 경전 전문 도서관 사서에게 보냄.
• "제zakat (자카트) 를 얼마나 내야 해?" → 정밀 계산기에게 보냄.
• "이슬람 율법상 음악이 허락되나요?" → 법학 전문가에게 보냄.
• "안녕하세요?" → 환대 담당에게 보냄.

이처럼 질문의 종류에 따라 가장 적합한 도구와 전문가에게만 작업을 맡기므로, 엉뚱한 답을 내놓을 확률이 극도로 낮아집니다.

2. 세 가지 핵심 전문가 팀

① 경전 도서관 사서 (코란/하디스 검색)

• 역할: 코란의 특정 구절이나 하디스를 찾아냅니다.
• 특징: 이 사서는 절대 기억으로 말하지 않습니다. 오직 책장 (데이터베이스) 을 직접 펼쳐서 원문 그대로를 가져옵니다. 마치 도서관에서 책을 가져와 복사해 주는 것처럼, "이 구절은 코란 2 장 255 절에 정확히 이렇게 적혀 있습니다"라고 출처를 명확히 밝히며 답변합니다.

② 정밀 계산기 (자카트/상속 계산)

• 역할: 이슬람의 자선금 (자카트) 이나 상속 재산 분배를 계산합니다.
• 특징: 이 부분은 AI 가 "생각"해서 답하는 게 아니라, 수학 공식과 법규에 따라 자동으로 계산합니다.
  • 예시: "금 100g 이 있고, 부채가 1000 달러라면?" → AI 가 감으로 답하는 게 아니라, **정해진 공식 (NISAB)**에 숫자를 넣어 정확한 금액을 계산합니다. 마치 엑셀 시트나 계산기가 작동하듯 오차 없이 답을 줍니다.

③ 법학 전문가 (파트와/율법 답변)

• 역할: 복잡한 종교적 상황 (예: "이 약을 먹어도 되나요?") 에 대한 판단을 내립니다.
• 특징: 이 전문가도 실제 책 (경전과 학자들의 의견) 을 인용해서 답합니다. 만약 학자들 사이에 의견이 갈리는 경우 (예: 상속 문제), "A 학파는 이렇게 보고, B 학파는 저렇게 봅니다"라고 여러 관점을 모두 제시하여 사용자가 혼란을 겪지 않도록 합니다.

3. 왜 이 방식이 중요한가요? (기존 AI 와의 차이)

• 기존 AI (만능 요리사): "아, 코란에 그런 구절이 있었던 것 같은데... 대략 이렇게 기억나네요." (실제 구절이 다를 수 있음)
• 팬라-사딕 (전문가 팀): "네, 코란 2 장 255 절을 확인했습니다. 원문은 '이렇습니다'이며, 번역은 '이렇습니다'입니다. 출처는 여기 있습니다." (100% 사실 확인)

이 시스템은 **사실 (Grounding)**을 최우선으로 합니다. 종교적 질문에서는 '그럴듯한 이야기'보다 **'정확한 근거'**가 훨씬 중요하기 때문입니다.

4. 실제 성과

이 시스템은 이미 공개되어 약 190 만 번 이상 사용되었습니다. 사용자들이 "좋아요"를 누른 비율이 **77%**에 달할 정도로, 실제로 유용하게 쓰이고 있습니다. 특히 이슬람 상속 계산이나 자카트 계산처럼 숫자가 중요한 부분에서 기존 AI 들보다 훨씬 정확하고 신뢰할 수 있는 결과를 보여줍니다.

📝 한 줄 요약

"팬라-사딕은 이슬람 질문에 답할 때, AI 가 혼자 막상막하로 상상하는 대신, 경전 사서, 계산기, 법학자 등 각자 특기를 가진 전문가 팀이 협력하여 '정확한 근거'와 '정확한 계산'을 제공하는 신뢰할 수 있는 AI 비서입니다."

기술 요약

논문 요약: Fanar-Sadiq - grounded Islamic QA 를 위한 다중 에이전트 아키텍처

이 논문은 이슬람 교리, 성전 (코란, 하디스), 법학 (Fiqh) 과 관련된 질문 응답 (QA) 시스템에서 발생하는 할루시네이션 (환각) 과 출처 오류 문제를 해결하기 위해 제안된 Fanar-Sadiq이라는 다중 에이전트 아키텍처에 대해 설명합니다. 이 시스템은 카타르 연구소 (QCRI) 의 Fanar AI 플랫폼의 핵심 구성 요소로, 단일 생성 모델의 한계를 극복하고 사용자 의도에 맞는 전문 도구를 동적으로 선택하는 구조를 가집니다.

1. 문제 정의 (Problem)

대규모 언어 모델 (LLM) 은 이슬람 지식을 유창하게 답변할 수 있지만, 다음과 같은 심각한 한계를 가지고 있습니다:

• 할루시네이션 및 출처 오류: 코란 구절을 임의로 생성하거나 하디스를 잘못 인용하는 경우가 빈번합니다.
• 법학적 뉘앙스 부재: 이슬람 율법 (Fiqh) 은 학파 (Madhhab) 간 차이와 조건이 복잡하여, 단순한 확률적 생성으로는 정확한 답변을 제공하기 어렵습니다.
• 계산 및 규칙 기반 작업의 실패: 자카트 (Zakat, 의무적 기부금) 나 상속 (Inheritance) 계산과 같이 엄격한 수학적 규칙과 법적 제약이 필요한 작업은 일반 LLM 이 처리하기 어렵습니다.
• 단일 파이프라인의 비효율성: 기존의 '검색 후 생성 (Retrieve-then-Generate)' 방식은 다양한 의도 (구절 인용, 법학적 논증, 정밀 계산 등) 를 모두 동일한 방식으로 처리하려다 정확도가 떨어집니다.

2. 방법론 (Methodology)

Fanar-Sadiq 은 **의도 인식 라우팅 (Intent-aware Routing)**을 기반으로 한 다중 에이전트 아키텍처를 채택합니다. 사용자의 질문을 분석하여 가장 적합한 전문 모듈로 라우팅하는 구조입니다.

2.1 하이브리드 쿼리 분류기 (Hybrid Query Classifier)

• 역할: 들어오는 질문을 9 가지 세부 의도 클래스로 분류합니다.
  1. 법학 판결 (Fiqh rulings)
  2. 코란 검색 (Quran retrieval)
  3. 일반 이슬람 지식 (General Islamic knowledge)
  4. 인사/잡담 (Greetings)
  5. 자카트 계산 (Zakat calculation)
  6. 상속 계산 (Inheritance calculation)
  7. 두아 (기도문) 검색 (Dua lookup)
  8. 이슬람 역법 (Islamic calendar)
  9. 기도 시간 및 키블라 방향 (Prayer times)
• 구현: LLM 기반 분류기와 프로토타입 임베딩 기반 폴백 (Fallback) 메커니즘을 결합하여 분류 정확도 (90.1%) 를 극대화합니다.

2.2 전문 도구 및 에이전트 (Specialized Tools & Agents)

분류된 의도에 따라 다음과 같은 모듈로 라우팅됩니다:

• 계산 파이프라인 (Deterministic Calculators):
  • 자카트 계산기: 금/은 시세와 자산, 부채를 입력받아 할랄 (Halal) 규칙에 따라 자카트 금액을 결정론적으로 계산합니다.
  • 상속 계산기: 수니파 이슬람 상속법 (Faraid) 을 기반으로 상속분을 계산합니다. 학파 간 이견이 있는 경우 (예: 한나피 학파 vs 주류 학파), 단일 답변이 아닌 병렬 결과를 제공하여 투명성을 확보합니다.
• 성전 검색 도구 (Scripture Retrieval):
  • 코란 검색: 특정 구절 (Verse) 을 요청할 경우, 임의의 생성이 아닌 데이터베이스에서 원문을 그대로 (Verbatim) 추출하여 인용합니다.
  • NL2SQL: 전체 수라 (Surah) 텍스트나 통계 (구절 수 등) 를 요청할 경우, 자연어를 SQL 로 변환하여 데이터베이스에서 정확한 데이터를 조회합니다.
  • 두아 (기도문) 검색: 검증된 소스에서 기도문을 직접 검색하여 생성 오류를 방지합니다.
• 지식 검색 및 추론 (RAG & Reasoning):
  • Fiqh 에이전트: 코란/하디스/판례 데이터를 검색 (RAG) 하고, 답변에 대한 근거를 명시적으로 인용 (Citation Normalization) 하며, 학파별 차이를 명시합니다.
  • 일반 지식 에이전트: 검색된 문서에 기반하여 할루시네이션을 최소화한 답변을 생성합니다.
• 기타 도구: 이슬람 역법 변환, 기도 시간 및 키블라 방향 계산 (지리적 좌표 기반) 등.

2.3 응답 조립 및 검증

모든 파이프라인은 표준화된 출력 객체를 반환하며, 최종 응답 조립기는 인용구, URL, 실행 추적 로그 (Trace) 를 포함하여 투명성을 보장합니다.

3. 주요 기여 (Key Contributions)

1. 다중 에이전트 아키텍처: 고정된 RAG 파이프라인을 넘어, 질문 의도에 따라 전문 도구 (계산기, 검색기, 생성기) 를 선택하는 유연한 구조를 제시했습니다.
2. 검증 및 추적 가능성: 코란/하디스 인용에 대한 정규화 (Normalization) 와 검증 트레인을 도입하여 출처 신뢰성을 높였습니다.
3. 포괄적인 평가: 생성형 QA, 객관식 지식, 규칙 기반 추론 (상속/자카트) 을 아우르는 다양한 공개 벤치마크에서 시스템을 평가했습니다.
4. 실제 배포 및 활용: Fanar AI 플랫폼을 통해 공개 API 및 웹 애플리케이션으로 제공되었으며, 출시 1 년 미만 만에 약 190 만 건의 접근을 기록했습니다.

4. 결과 (Results)

다양한 벤치마크 (PalmX, QIAS, IslamTrust, IslamicFaithQA, FatwaQA) 에서 Fanar-Sadiq 을 상용 모델 (GPT-4.1, GPT-5, Gemini-3-Pro) 및 오픈소스 모델 (ALLaM, Fanar-2) 과 비교했습니다.

• 전체 성능: 평균 정확도 **76.5%**를 기록하여 오픈소스 모델들을 압도하고, 상용 모델들과 경쟁 가능한 수준을 보였습니다.
• 신뢰성 (Faithfulness) 개선:
  • IslamicFaithQA: 65.4% (가장 강력한 상용 모델인 GPT-5 는 51.2%, Gemini-3-Pro 는 53.4%). 할루시네이션이 중요한 생성형 QA 에서 가장 큰 개선을 보였습니다.
  • FatwaQA: 65.1% (Gemini-3-Pro 67.0% 에 근접).
• 규칙 기반 작업: 상속 계산 (QIAS) 과 같은 복잡한 규칙 기반 작업에서는 여전히 상용 모델보다 낮지만 (72.2% vs 93%+), 이는 MCQ 형식 매핑의 어려움 때문으로 분석되며, 실제 계산 엔진의 정확도는 보장됩니다.
• 사용자 만족도: 실제 채팅 플랫폼에서 77.4% 의 사용자가 답변을 '좋음 (Like)'으로 평가했습니다.

5. 의의 및 결론 (Significance)

Fanar-Sadiq 은 종교적, 법적 민감성이 높은 도메인에서 LLM 의 신뢰성을 높이기 위한 새로운 패러다임을 제시합니다.

• 할루시네이션 방지: 성전 인용 시 생성이 아닌 검색 기반 (Retrieval) 과 원문 대조를 통해 오류를 근본적으로 차단합니다.
• 정확한 계산: 수학적/법적 규칙이 필요한 작업 (자카트, 상속) 에는 생성 모델이 아닌 결정론적 계산기를 사용하여 수학적 정확성을 보장합니다.
• 투명성: 모든 답변에 근거와 인용구를 명시하고, 학파 간 이견이 있을 경우 이를 명시하여 사용자가 정보의 맥락을 이해하도록 돕습니다.

이 연구는 단순한 질문 응답을 넘어, 신뢰할 수 있는 지식을 제공하고 사용자의 실수를 방지하는 **책임 있는 AI (Responsible AI)**의 실현 가능성을 보여줍니다. 향후 연구 방향으로는 다양한 이슬람 학파의 법학적 범위 확대, 라우팅 로버스트성 강화, 하디스 인용 검증 강화 등을 계획하고 있습니다.