기술 요약: 크메르어 검색 증강 질문 응답을 위한 언어 모델 비교 연구

문제 제기

검색 증강 생성 (RAG) 은 검색된 증거에 기반하여 대규모 언어 모델 (LLM) 의 출력을 grounding 함으로써 환각 현상을 줄이고 사실적 정확성을 향상시키는 핵심 패러다임으로 부상했습니다. 그러나 저자원 비라틴 문자 언어인 크메르어의 경우 RAG 의 효능은 아직 거의 연구되지 않았습니다. 크메르어는 복잡한 아부기다 문자 체계, 제한된 주석 자료, 단어 분할을 위한 표준화 부재, 그리고 광학 문자 인식 (OCR) 노이즈의 존재 등 고유한 도전 과제를 안고 있습니다. 통신과 같은 제도적 환경에서는 신뢰할 수 있고 문서에 기반한 응답이 필요하므로 이러한 도전 과제는 더욱 심화됩니다. 기존 평가 관행은 영어 중심의 환경에 크게 영향을 받아 이러한 환경으로 원활하게 이전되지 못합니다. 따라서 크메르어 RAG 시스템에 가장 적합한 검색 모델, 로컬 배포 가능한 생성기, 그리고 자동화 평가 신호가 무엇인지 여전히 불분명합니다.

방법론

저자들은 크메르어 통신 도메인 문서를 대상으로 로컬 호스팅 배포를 위해 설계된 프라이버시 보호형 RAG 파이프라인에 대한 체계적인 연구를 제시합니다. 실험 설정은 표준 2 단계 파이프라인을 따릅니다:

1. 데이터셋 구축:

   • 코퍼스: 오픈소스 ICT 문서 (공고, 법률, 지침 등) 에서 파생된 7,000 개 이상의 청크로 구성되며, 대부분은 임베디드 영어 기술 용어를 포함한 크메르어입니다.
   • 벤치마크: 코퍼스에서 추출한 200 개의 질문 - 답변 쌍으로 구성된 큐레이팅된 '골든 데이터셋'으로, 실제 시민 문의를 다룹니다. 각 항목에는 질문, 도메인 전문가가 제공한 기준 정답, 그리고 메타데이터가 포함됩니다.

2. 검색기 평가:

   • 상위-k 개 청크를 검색하기 위해 세 가지 밀집 임베딩 모델이 벤치마크되었습니다: BGE-M3(567M), Jina-Embeddings-v3(570M), Qwen3-Embedding(597M).
   • 성능은 표준 정보 검색 (IR) 지표인 Hit Rate@k, 파일 수준 Hit Rate@k, 평균 역순위 (MRR@k), 그리고 Precision@k를 사용하여 측정되었습니다.

3. 생성기 평가:

   • BGE-M3(우월한 검색기로 식별됨) 를 사용하여 다섯 가지 생성기 백엔드가 평가되었습니다: Qwen3(8B), Qwen3.5(9B), Sailor2-8B-Chat, SeaLLMs-v3-7B-Chat, Llama-SEA-LION-v2-8B-IT.
   • 모델에는 범용 다국어 LLM 과 동남아시아 언어에 특화된 모델이 모두 포함되었습니다.

4. 평가 지표:

   • GPT-4o-mini를 LLM 심판으로, BGE-M3을 의미적 유사성 계산을 위해 활용하여 RAGAS 에서 영감을 받은 여섯 가지 지표를 사용했습니다:
     • 신뢰성 (Faithfulness): 검색된 문맥에 포함된 생성된 문장의 비율.
     • 답변 관련성 (Answer Relevance): 사용자 질문과 답변에서 유도된 생성된 질문 간의 코사인 유사성.
     • 문맥 관련성 (Context Relevance): 질문과 검색된 문맥 간의 의미적 유사성.
     • 사실적 정확성 (Factual Correctness): 기준 정답에 대해 참/거짓으로 분류된 문장의 F1 점수.
     • 답변 유사성 (Answer Similarity): 생성된 답변과 기준 정답 간의 임베딩 유사성.
     • 답변 정확성 (Answer Correctness): 사실적 정확성과 답변 유사성의 가중 합.

주요 기여

1. 검색기 벤치마킹: 본 연구는 노이즈가 많고 도메인이 다양한 제도적 텍스트에 대한 효과를 분석한 크메르어 문서에 대한 최초의 밀집 검색 벤치마크를 제공합니다.
2. 생성기 비교: 지역 특화 (동남아시아 중심 모델) 가 크메르어 QA 에 있어 범용 다국어 모델보다 측정 가능한 이점을 제공하는지 평가하기 위해 로컬 배포 가능한 다섯 가지 생성기 모델을 비교합니다.
3. 지표 적응: 저자원 비라틴 문자 환경에서 적응된 여섯 가지 RAGAS 스타일 지표의 유용성과 한계를 검토하여 크메르어에 대한 그들의 행동에 대한 경험적 증거를 제공합니다.

결과

검색 성능

BGE-M3은 모든 검색 지표에서 Jina-Embeddings-v3 와 Qwen3-Embedding 일관적으로 우월한 성능을 보였습니다.

• Hit Rate@3: BGE-M3 은 0.285를 달성하여 Jina v3(0.135) 보다 두 배 이상 높고 Qwen3-Embedding(0.175) 보다 현저히 높았습니다.
• 파일 Hit Rate@3: BGE-M3 은 70% 의 확률로 올바른 소스 파일에서 청크를 검색한 반면, Jina v3 는 48.5%, Qwen3-Embedding 은 52.5% 였습니다.
• 관찰: 흥미롭게도 Jina v3 는 가장 높은 상위-1 코사인 유사성 (0.759) 을 달성했지만 검색 정확도는 가장 낮았습니다. 이는 원시 코사인 유사성이 크메르어의 검색 품질에 대한 신뢰할 수 있는 지표가 아님을 강조합니다.

생성기 성능

어떤 단일 모델도 모든 지표에서 지배적인 성능을 보이지 않았으며, 성능은 특정 평가 차원에 따라 다양했습니다:

• 신뢰성: Qwen3.5-9B가 가장 높은 점수 (0.859) 를 기록했으며, 이어 SeaLLMs-v3-7B-Chat(0.846) 이 뒤를 이었습니다. Llama-SEA-LION-v2-8B-IT 는 가장 낮은 점수 (0.556) 를 기록했습니다.
• 답변 관련성: SeaLLMs-v3-7B-Chat이 가장 잘 수행 (0.867) 하여 지역 특화가 주제적 반응성을 돕는다는 것을 시사합니다.
• 문맥 관련성: 모든 모델에서 점수가 밀집되어 있었으며 (0.717–0.726), 이 지표가 생성기보다는 검색기 (BGE-M3) 에 의해 주로 결정됨을 확인했습니다.
• 사실적 정확성: Qwen3-8B가 가장 높은 점수 (0.380) 를 기록하여 Qwen3.5-9B(0.303) 를 능가했습니다. 이는 더 크고 새로운 Qwen3.5 모델이 문맥에 더 잘 기반하는 반면, 약간 작은 Qwen3-8B 는 사실적 세부 사항을 더 정확하게 재현한다는 트레이드오프를 나타냅니다.
• 답변 유사성 및 정확성: SeaLLMs-v3-7B-Chat이 답변 유사성 (0.836) 과 답변 정확성 (0.599) 모두에서 선두를 차지하여 의미적 근접성과 사실적 적절성 사이의 가장 균형 잡힌 전체적 성능을 나타냈습니다.

중요성과 주장

본 논문은 저자원 언어에 대한 RAG 배포에서 중요한 병목 현상과 미묘한 차이를 강조한다고 주장합니다:

1. 검색기 선택은 주요 병목 현상입니다: 최상의 검색기조차도 modest 한 Hit Rate@3(0.285) 을 보인 것은 검색 품질이 전체 시스템 성능의 주요 제약 요인임을 나타냅니다. 본 연구는 영어에서 검증된 방법 (예: 원시 코사인 유사성에 의존) 이 크메르어에서도 동일하게 작동한다고 가정할 수 없음을 입증합니다.
2. 지표 신뢰성: 저자들은 판단 기반 지표 (신뢰성과 사실적 정확성) 가 임베딩 선택과 코사인 유사성의 고유한 한계에 민감한 유사성 기반 지표 (답변 관련성, 답변 유사성) 보다 크메르어 텍스트에 대한 더 신뢰할 수 있는 평가 신호를 제공한다고 주장합니다. 이는 통신 도메인에서 전문가 판단과 관련된 발견과 일치합니다.
3. 모델 특화는 미묘합니다: 지역 특화가 항상 우수한 성능을 보장하는 것은 아닙니다. SeaLLMs 이 관련성과 유사성에서 뛰어났지만, Qwen3.5 는 문맥 기반에서, Qwen3-8B 는 사실적 정밀도에서 우월했습니다. 지역 타겟팅의 영향은 모델별로 강력하게 달라지며, 보장된 가족 전체의 이점이 아닙니다.
4. 실용적 배포: 본 연구는 실무자에게 모델 선택이 특정 목표에 의해 주도되어야 함을 입증합니다: 문맥 기반을 위해 Qwen3.5, 사실적 정확성을 위해 Qwen3-8B, 그리고 전체적 의미적 품질을 위해 SeaLLMs.

본 논문은 크메르어를 위한 전용 인간 평가 부재, 고정된 검색 매개변수, 평가 파이프라인에서 사용된 영어 중심 임베딩 모델의 잠재적 편향 등을 포함한 한계를 지적하며 마무리합니다. 향후 연구는 하이브리드 검색, 크메르어 특화 토큰화, 그리고 인간 평가 연구에 초점을 맞출 것을 제안합니다.