An End-to-End Ukrainian RAG for Local Deployment. Optimized Hybrid Search and Lightweight Generation

이 논문은 UNLP 2026 공유 과제에서 2위를 차지한 시스템으로, 제한된 컴퓨팅 자원에서도 정확한 답변을 생성할 수 있도록 최적화된 하이브리드 검색과 경량화된 우크라이나어 특화 언어 모델을 결합한 로컬 배포용 RAG(검색 증강 생성) 시스템을 제안합니다.

핵심

📚 상황 설정: "아주 좁고 어두운 도서관"

우리가 가진 AI는 아주 똑똑하지만, 몸집이 너무 커서 커다란 최신식 도서관(고성능 서버)에만 들어갈 수 있습니다. 그런데 이번 미션은 **"아주 좁고 낡은 창고(성능이 낮은 P100 GPU) 안에서, 인터넷 연결도 없이, 수많은 우크라이나어 책들 사이에서 정답을 찾아내라!"**는 것이었습니다.

이 문제를 해결하기 위해 연구팀은 세 가지 비결을 사용했습니다.

---

1. 🔍 첫 번째 비결: "두 단계로 찾아가는 2단계 탐색법" (Hybrid Retrieval)

도서관이 너무 넓으면 책 한 권을 찾는 데 시간이 너무 오래 걸리겠죠? 그래서 연구팀은 **'스마트한 검색 단계'**를 만들었습니다.

• 1단계 (어느 방인가?): 먼저 질문을 듣고 "이 질문은 '의학' 코너에 있는 책에 대한 거네!"라고 **어떤 책(문서)**을 읽어야 할지 빠르게 골라냅니다. (마치 도서관 입구에서 안내판을 보고 구역을 정하는 것과 같아요.)
• 2단계 (몇 페이지인가?): 책을 골랐다면, 이제 그 책의 수백 페이지 중 정확히 몇 페이지에 답이 있는지 아주 세밀하게 뒤집니다. 이때 '단어의 뜻(의미)'과 '정확한 글자(키워드)'를 동시에 비교하는 하이브리드 방식을 써서 실수 없이 찾아냅니다.

2. 🧠 두 번째 비결: "우크라이나어 맞춤형 과외" (Fine-tuning)

대부분의 AI는 영어 공부를 아주 많이 해서 영어는 잘하지만, 우크라이나어는 서툴러서 글자를 자꾸 쪼개 읽거나 엉뚱한 소리(환각 현상)를 합니다.

• 연구팀은 AI에게 **'우크라이나어 전용 문제집'**을 만들어 주었습니다.
• 직접 수천 개의 가짜 질문과 정답 세트를 만들어 AI에게 공부시켰죠. 마치 학생에게 "이 단어는 우크라이나어로 이렇게 읽고, 이런 뜻이야!"라고 맞춤형 과외를 해준 것과 같습니다. 덕분에 AI는 우크라이나어 문맥을 아주 잘 이해하게 되었습니다.

3. 🎒 세 번째 비결: "가방 다이어트" (Quantization & Compression)

공부한 AI는 너무 똑똑해서 몸집(용량)이 엄청나게 커졌습니다. 이 커다란 AI를 좁은 창고(제한된 하드웨어)에 넣으려니 문에 걸려서 들어갈 수가 없었죠.

• 그래서 연구팀은 **'다이어트(양자화)'**를 시켰습니다. AI의 지식은 최대한 유지하면서, 불필요하게 무거운 숫자 데이터들을 가볍게 압축한 것입니다.
• 덕분에 AI는 가벼운 배낭 하나만 메고도 좁은 창고 안에서 쌩쌩 움직이며 빠르게 정답을 찾아낼 수 있게 되었습니다.

---

🏆 결과: "좁은 창고의 챔피언"

이 시스템은 결과적으로 전 세계 참가자 중 2등을 차지했습니다!

요약하자면:
이 논문은 **"AI가 아무리 똑똑해도 환경이 열악하면 힘을 못 쓰지만, '똑똑한 검색법 + 맞춤형 공부 + 몸집 줄이기'라는 전략을 쓰면, 아주 작은 컴퓨터에서도 우크라이나어 전문가 AI를 만들 수 있다"**는 것을 증명한 것입니다.

기술 요약

[기술 요약] 로컬 배포를 위한 엔드투엔드 우크라이나어 RAG 시스템

본 논문은 UNLP 2026 Shared Task에서 2위를 차지한 연구로, 자원이 제한된 로컬 환경(단일 P100 GPU)에서 우크라이나어 문서를 대상으로 정확하고 근거 있는 답변을 생성하는 효율적인 검색 증강 생성(RAG) 시스템을 제안합니다.

1. 문제 정의 (Problem Statement)

• 언어적 한계: 기존 LLM은 영어에 최적화되어 있어, 우크라이나어와 같은 중저자원 언어(Medium-resource language)에서는 토크나이저 효율이 떨어져 메모리 사용량이 급증하고 추론 속도가 저하되며 정확도가 낮아지는 문제가 있음.
• 지식의 한계 및 환각(Hallucination): LLM은 학습 데이터 외의 최신 정보나 특정 도메인 지식에 대해 잘못된 정보를 생성하는 경향이 있음.
• 하드웨어 제약: 실무적인 로컬 배포를 위해서는 외부 API 없이 제한된 GPU 메모리 내에서 빠르고 정확하게 동작해야 함.

2. 핵심 방법론 (Methodology)

본 시스템은 데이터 준비 $\rightarrow$ 2단계 하이브리드 검색 $\rightarrow$ 답변 생성 및 근거 제시의 파이프라인을 따릅니다.

A. 데이터 준비 및 전처리

• 레이아웃 인식 추출: pymupdf4llm을 사용하여 PDF를 구조(표, 헤더 등)가 보존된 Markdown 형식으로 변환.
• 언어 특화 전처리: pymorphy3를 이용해 우크라이나어 형태소 분석(Lemmatization) 및 불용어 제거를 수행하여 검색 품질 향상.

B. 2단계 하이브리드 검색 (Two-Stage Hybrid Retrieval)

1. 문서 레벨 검색 (Document-Level):
   • Dense Retrieval: Perplexity 임베딩 모델을 사용하여 의미적 유사성 파악.
   • Sparse Retrieval: BM25 알고리즘을 사용하여 키워드 일치 확인.
   • 두 방식의 결과를 결합하거나, 결과가 불일치할 경우 jina-reranker-v3를 사용하여 최적의 문서를 선정.
2. 페이지 레벨 검색 (Page-Level):
   • 문서를 Markdown 구조 기반의 구문론적 청킹(Syntactic Chunking)으로 분할.
   • Dense(벡터)와 Sparse(BM25) 점수를 **RRF(Reciprocal Rank Fusion)**로 결합.
   • BAAI/bge-reranker-v2-m3를 사용하여 상위 8개 후보를 재정렬(Reranking).

C. 답변 생성 및 모델 최적화 (Generation & Optimization)

• 모델: 우크라이나어에 특화된 MamayLM-12B (Gemma 3 기반) 사용.
• 미세 조정 (Fine-tuning):
  • 합성 데이터 활용: GPT-4o-mini를 이용해 PDF로부터 약 7,000개의 우크라이나어 객관식 문제(MCQ)를 생성하여 학습 데이터로 활용.
  • LoRA 적용: 모델 전체가 아닌 저차원 행렬만 업데이트하여 효율적으로 학습.
  • Task: 단순히 답만 내는 것이 아니라, 답변과 함께 해당 정보가 있는 페이지 번호를 함께 출력하도록 학습(Grounding).
• 경량화: llama.cpp와 GGUF 4-bit 양자화를 적용하여 P100 GPU의 제한된 메모리 내에서 고속 추론 가능하도록 구현.

3. 주요 기여 (Key Contributions)

1. 특화된 검색 파이프라인: 문서와 페이지를 단계별로 찾는 정교한 2단계 하이브리드 검색 시스템 구축.
2. 데이터 생성 방법론: 고품질의 우크라이나어 QA 데이터셋을 구축하기 위한 자동화된 합성 데이터 생성 파이프라인 제안.
3. 로컬 최적화 모델: 제한된 하드웨어에서 고성능을 내기 위해 양자화 및 LoRA를 결합한 맞춤형 LLM 설계.

4. 결과 (Results)

• 성적: UNLP 2026 Shared Task에서 최종 2위 달성.
• 성능: Private Test Set에서 0.942의 높은 점수 기록.
• 효율성: 단일 P100 GPU 환경에서 9시간 이내의 엄격한 시간 제한을 준수하며 성공적으로 추론 완료.
• 정확도: 문서 식별 능력은 거의 완벽에 가까웠으며, 페이지 레벨 Recall@3 역시 0.92로 매우 높음.

5. 의의 (Significance)

본 연구는 **언어적 특수성(우크라이나어)**과 **하드웨어적 제약(로컬 배포)**이라는 두 가지 난제를 동시에 해결했습니다. 특히, 고가의 클라우드 GPU나 외부 API 없이도, 로컬 환경에서 신뢰할 수 있고 근거(Page number)가 명확한 AI 질의응답 시스템을 구축할 수 있음을 증명하여 실무적 활용 가능성을 높였습니다.