Retrieval Augmented Generation Framework for the Nepali Legal Domain Question Answering

기술 요약: 네팔 법률 도메인 질의응답을 위한 검색 증강 생성(RAG) 프레임워크

문제 정의
네팔의 법률 도메인은 법률 텍스트의 파편화, 미흡한 디지털화, 그리고 고어체적 용어 사용으로 인해 정보 접근성에 상당한 장벽이 존재한다. 인공지능(AI)이 영어와 같은 고자원 언어의 법률 질의응답(QA)을 혁신적으로 변화시킨 반면, 네팔어와 같은 저자원 언어의 경우 주석이 달린 데이터의 부족으로 인해 특화된 법률 거대언어모델(LLM)을 학습시키는 데 어려움을 겪고 있다. 중앙 집중화된 법률 문서의 제한과 전문 용어가 많은 텍스트의 특성이라는 이중적 과제는 수동 연구를 비효요하게 만들며, 미세 조정된 법률 LLM의 생성을 저해한다. 결과적으로, 광범위하고 수동으로 주석을 달아야 하는 학습 데이터에 의존하지 않고도 대중과 전문가 모두에게 정확하고 검증 가능한 법률 답변을 제공할 수 있는 시스템에 대한 절실한 필요성이 제기된다.

방법론
본 연구는 네팔 카눈 파트리카(Nepal Kanun Patrika, NKP) 디지털 아카이브에서 추출한 판례를 활용하여 네팔 법률 QA에 특화된 검색 증강 생성(RAG) 프레임워크를 제안한다. 방법론은 다음과 같은 세 가지 핵심 구성 요소로 구조화된다:

1. 데이터셋 큐레이션:

   • 출처: 1992년부터 2022년까지의 결정을 포함하는 NKP 아카이브에서 10,320개의 법률 문서(대법원 판결문)를 스크레이핑하였다.
   • 전처리: 이상치를 제거하기 위해 데이터를 정제하였고, Unicode NFC를 사용하여 정규화하였으며, 문맥 유지를 위해 10%의 중첩을 가진 최대 500 토큰 단위의 청크(chunk)로 분할하였다. 최종 데이터셋은 10,265개의 고유 문서와 110,626개의 청크로 구성되었다.
   • 평가 세트: 법률 학자들이 선정한 100개의 쿼리로 구성된 테스트 세트를 큐레이션하였으며, 이는 사실 기반의 객관적 질문 79%와 법적 절차 및 추론에 관한 주관적 질문 21%로 이루어져 있다.

2. 검색 전략:
   본 연구는 다음의 구성을 사용하여 **희소 검색(sparse retrieval)**과 **밀집 검색(dense retrieval)**을 비교하였다:

   • 희소 검색 (BM25): 두 가지 모드로 구현되었다:
     • BM25_Docs: 전체 문서에 대한 검색.
     • BM25_Chunks: 분할된 500 토큰 단위의 청크에 대한 검색.
   • 밀집 검색 (임베딩 모델): FAISS를 이용한 인덱싱을 통해 청크화된 코퍼스에 대해 세 가지 모델을 평가하였다:
     • multilingual-e5-large (1024 차원).
     • multilingual-e5-base (768 차원).
     • LaBSE (768 차원).
   • 문맥 선택: 생성을 위해 가장 성능이 좋은 희소 및 밀집 방식에서 상위 순위의 문서를 선택하였다. 앙상블 "Count Method" 또한 테스트되었는데, 이는 여러 리트리버의 상위 5개 결과 중 가장 빈번하게 등장하는 문서를 선택하는 방식이나, 성능이 저조하였다.

3. 생성 전략:

   • 모델: 답변 생성을 위해 OpenAI의 GPT-03 모델을 사용하였다.
   • 프롬프팅: 2단계 프롬프팅 전략을 채택하였다: (1) 증거 추출, 즉 모델이 답변을 뒷받고 있는 구절을 그대로 찾아내는 단계; (2) 추출된 증거에 엄격히 기반한 답변 생성 단계.
   • 거부 메커칙: 환각 현상을 방-지하기 위해, 검색된 문맥 내에 충분한 법적 근거가 발견되지 않을 경우 답변을 거부하도록 모델에 지시하였다.
   • 파라미터: 사실성과 유창성의 균형을 맞추기 위해 중간 정도의 온도(temperature 0.5)와 top-p(1.0)를 사용하였다.

4. 평가:

   • 검색 지표: Precision@1, Hit@k, Mean Reciprocal Rank (MRR@k)를 지연 시간(latency) 측정과 함께 사용하였다.
   • 생성 지표: 품질은 근거성(Groundedness) (검색된 출처와의 일치 여부), 진실성(Truthfulness) (참조 답변과의 일치 여부), 그리고 인간 평가를 통해 평가되었다. "LLM-as-a-Judge"(Gemini 2.5 Pro 사용)와 인간 전문가가 모두 출력물을 평가하였다.

주요 결과

• 검색 성능: 희소 검색이 밀집 검색을 유의미하게 앞질렀다. BM25_Chunks가 91%의 가장 높은 Precision@1을 달성하였고, 그 뒤를 BM25_Docs가 88%로 이었다. 가장 성능이 좋았던 밀집 모델인 multilingual-e5-large는 75%의 Precision@1을 기록하였다. 다른 밀집 모델들(e5-base, LaBSE)은 성능이 상당히 낮았다.
• 효율성 트레이드오프: BM25_Chunks가 가장 높은 정확도를 보였으나, 방대한 양의 청크(110,626개)로 인해 높은 지연 시간(쿼리당 1.2초) 문제를 겪었다. BM25_Docs는 거의 대등한 성능(88%)을 보이면서도 지연 시간이 현저히 낮아(0.1초), 훨씬 더 실행 가능한 전략임을 입증하였다.
• 생성 성능: BM25_Docs를 검색 백본으로 사용했을 때 최상의 생성 결과를 얻었다:
  • 성공적인 답변율: 92% (100개 쿼리 중 92개).
  • 근거성: 74% (자동화된 평가자 기준).
  • 진실성: 85% (자동화된 평가자 기준) 및 84% (인간 평가 기준).
    "Count Method"와 밀집 검색 방식은 더 낮은 성공률과 더 높은 오류율을 보였다.

의의 및 기여
저자들은 본 연구를 네팔 법률 판례에 대한 최초의 체계적인 RAG 기반 QA 파이프라인 적용 사례라고 주장한다. 주요 기여는 다음과 같다:

1. 데이터셋 구축: NKP 아카이브로부터 추출한 네팔 대법원 판례의 첫 번째 공개 데이터셋을 편찬 및 큐레이션하였다.
2. 베이스라인 설정: 네팔 법률 QA를 위한 표준 RAG 파이프라인의 첫 번째 베이스라인 적용을 수행하였다.
3. 방법론적 비교: 네팔 법률 도메인에서 희소(BM25)와 밀집 검색 방식 간의 첫 번째 경험적 비교를 수행하였다.

연구 결과의 의의
본 논문은 정형화된 언어와 특정 용어로 특징지어지는 네팔 법률 도메인의 경우, **희소 어휘 매칭(BM25)**이 기성 다국어 임베딩을 사용하는 의미적 밀집 검색보다 더 효과적이라고 결론짓는다. 이러한 발견은 사전 학습된 법률 텍스트가 없는 저자원, 도메인 특화 환경에서는 의미적 근사치보다 정확한 단어 중복이 더 신뢰할 수 있는 근거를 제공한다는 점을 시사한다. 본 연구는 잘 구축된 RAG 파이프라인이 광범위한 미세 조정 없이도 저자원 언어를 위한 법률 정보 접근성의 격차를 효과적으로 메울 수 있음을 보여주며, 신뢰할 수 있는 AI 시스템의 토대를 제공한다. 또한, 본 연구의 결과는 자동화된 평가를 위한 "LLM-as-a-Judge" 접근 방식이 인간 전문가의 평가와 강한 일치성을 보임을 입증함으로써 이를 검증하였다.