기술 요약: Qwen Goes Brrr – 우크라이나어 다중 도메인 문서 이해를 위한 오프더셸 RAG

1. 문제 정의

본 논문은 UNLP 공유 과제 5 번을 다루며, 이는 우크라이나어 다중 도메인 문서 이해에 초점을 맞춘 Kaggle 코드 대회입니다. 시스템은 PDF 문서 집합을 처리하고 6 지선다형 질문에 답해야 합니다. 이 작업은 세 가지 결합된 출력을 요구합니다:

1. 정답 옵션 (A–F).
2. 증거를 포함하는 소스 문서.
3. 그 답을 근거로 하는 해당 문서 내의 특정 페이지.

주요 제약 사항 및 과제:

• 데이터 부족: 작업별 학습 데이터가 제한적 (초기 질문 40 개, 개발용 질문 461 개) 이며, 숨겨진 테스트 세트에는 보이지 않는 세 번째 도메인이 존재합니다.
• 문서 복잡성: 입력은 다양한 포맷, 표, 섹션 계층 구조를 가진 전체 PDF 이므로 페이지 단위 위치 파악이 단순하지 않습니다.
• 실행 시간 예산: 솔루션은 인터넷 접속 없이 Kaggle 하드웨어 (2×T4 GPU) 에서 9 시간 이내에 실행되어야 하므로, 복잡한 다단계 에이전트 루프보다는 효율적인 파이프라인이 선호됩니다.
• 평가 지표: 점수 함수는 정답 정확도 (50%), 문서 식별 (25%), 페이지 위치 파악 (25%) 을 가중치로 부여하며, 문서가 정확해야만 페이지 근접성이 점수에 반영됩니다.

2. 방법론

저자들은 **맥락적 청킹 (contextual chunking), 질문 인식 밀집 검색 (question-aware dense retrieval), 답안 인식 재순위화 (answer-aware reranking)**라는 세 가지 핵심 구성 요소를 기반으로 한 검색 증강 생성 (RAG) 파이프라인을 제안합니다.

2.1 맥락적 청킹

PDF 페이지를 일반 텍스트로 취급하는 대신, 저자들은 **구조 인식 청킹 (structure-aware chunking)**을 적용합니다:

• 처리: 느리고 불안정한 Docling 라이브러리를 PDF 를 마크다운으로 렌더링하는 커스텀 pymupdf4llm 기반 변환기로 대체했습니다.
• 구조: 각 청크는 세 가지 중첩된 맥락 수준을 포함합니다:
  1. 전역 문서 접두사 (첫 128 토큰).
  2. 현재 헤더 경로 (섹션 맥락).
  3. 로컬 청크 본문.
• 구성: 청크는 512 토큰으로 제한되며 64 토큰의 오버랩을 가집니다. 제거 실험 (Ablation studies) 을 통해 이 문서 맥락을 제거할 경우 성능이 크게 저하됨 (Public 점수 0.945 에서 0.861 로 하락) 을 확인했습니다.

2.2 밀집 검색 (1 단계)

• 모델: 시스템의 주요 검색기로 Qwen3-Embedding-8B를 사용합니다.
• 쿼리 구성: 질문 단독이 아닌 전체 6 지선다 인스턴스 (질문 + 모든 6 개 정답 옵션 + 지시문) 로 쿼리를 구성합니다.
• 학습 전략: 8B 모델을 대회 특정 데이터로 미세 조정하는 것은 이득이 없었고 과적합 위험이 있었습니다. 사전 학습된 모델 단독이 견고함이 입증되었습니다. 더 작은 모델 (0.6B) 은 성능 격차를 해소하기 위해 보조 데이터 (UA-SQuAD + 새로운 8 만 개 코퍼스) 로 미세 조정이 필요했습니다.
• 출력: 상위 20 개 청크가 재순위화기에 전달됩니다.

2.3 옵션 인식 재순위화 (2 단계)

• 모델: 미세 조정된 Qwen3-Reranker-8B.
• 입력: 재순위화기는 질문과 모든 6 개 정답 옵션을 연결하여 입력받습니다. 이를 통해 모델은 단순한 주제적 유사성이 아닌, 어떤 특정 대안을 지지하거나 반박하는지에 따라 패시지를 구분할 수 있습니다.
• 학습 데이터: 모델은 다음을 조합하여 미세 조정되었습니다:
  • 461 개의 대회 개발용 예제.
  • UA-SQuAD(우크라이나어 추출형 QA) 의 16,658 개 쌍.
  • 불가능한 질문, 밀집 검색 오류, 혼란스러운 오답 패시지에서 채굴된 하드 네거티브.
  • 일반화를 개선하기 위해 번역된 영어 데이터셋 (Natural Questions, HotpotQA, MS MARCO, GooAQ) 에서 파생된 보조 80,000 개 예제 사전 학습 코퍼스.
• 선택: 재순위화된 패시지 중 상위 2 개만 최종 생성기로 전달됩니다.

2.4 답안 선택 (3 단계)

• 모델: Qwen3-32B(AWQ 양자화).
• 입력: 질문, 모든 옵션, 그리고 상위 2 개 재순위화된 패시지.
• 생성: 모델은 알파벳 {A, B, C, D, E, F} 중 단일 토큰만 생성하도록 제한됩니다.
• 위치 파악: 예측된 문서와 페이지는 가장 높은 순위를 받은 선택된 청크에서 파생됩니다.

3. 주요 기여

1. 최첨단 파이프라인: 구조 인식 청킹, 질문 인식 검색, 답안 인식 재순위화를 통합하여 엄격한 코드 대회 제약 내에서 우크라이나어 다중 도메인 문서 이해를 위한 검색 증강 파이프라인.
2. 오프더셸 효율성: 복잡한 하류 휴리스틱 대신 신중한 파이프라인 설계 (문서 구조 보존 및 전체 6 지선다 인스턴스를 기반으로 한 관련성 조건부 설정) 를 통해 대부분 사전 학습된 모델을 사용하여 높은 경쟁력 있는 성능을 달성할 수 있음을 입증.
3. 새로운 우크라이나어 리소스: 검색 기반 6 지선다 QA 를 위한 새로운 리소스 구축:
   • 대회 데이터와 UA-SQuAD 를 결합한 밀집 검색 및 재순위화를 위한 학습 세트.
   • 번역된 영어 데이터셋에서 유래한 우크라이나어 양방향 인코더 및 크로스 인코더 모델을 위한 새로운 80,000 개 예제 사전 학습 코퍼스.

4. 결과

• 리더보드 성능: 최종 시스템은 Public 리더보드에서 0.9452, Private 리더보드에서 0.9598을 달성했습니다.
• 재순위화의 영향:
  • 재순위화는 Recall@1을 0.6957 에서 0.7935 로 향상시켰습니다.
  • 상위 2 개 재순위화된 패시지를 사용하면 정답 정확도가 0.9348 에서 0.9674 로 증가했습니다.
• 제거 실험 통찰:
  • 문서 맥락: 청크에서 문서 접두사를 제거할 때 가장 큰 단일 성능 저하가 발생했습니다.
  • 모델 크기 vs 미세 조정: 더 큰 사전 학습 임베더 (8B) 가 바로 사용 시 (out-of-the-box) 가장 좋은 성능을 보였습니다. 다양한 데이터 (8 만 개 코퍼스 + UA-SQuAD) 로 더 작은 모델 (0.6B) 을 미세 조정하면 격차의 상당 부분을 회복할 수 있었으나, 대회 특정 데이터만으로 미세 조정하면 과적합으로 인해 성능이 저하되었습니다.
  • 도메인 라우팅: 도메인 분류기 라우팅 전략은 Public 세트 (두 개의 가시 도메인) 에서는 잘 작동했으나, Private 세트 (보이지 않는 세 번째 도메인) 에서는 실패하여 도메인 중립적 검색이 일반화에 더 강력함을 확인했습니다.
  • 요약 주입: 원시 문서 접두사를 생성된 요약으로 대체하면 성능이 저하되어, 이 작업에서는 압축된 요약보다 원시 구조 신호가 더 우수함을 시사합니다.

5. 중요성과 주장

본 논문은 우크라이나어 다중 도메인 문서 이해에 있어 문서 구조를 보존하고 답안 공간에 대한 관련성 추정을 인식하는 것이 복잡한 하류 휴리스틱이나 에이전트 루프를 추가하는 것보다 더 효과적이라고 주장합니다.

• 효율성 vs 복잡성: 저자들은 엄격한 실행 시간 예산 하에서 현대적인 사전 학습 구성 요소 (Qwen3 계열) 를 사용하는 잘 구조화된 파이프라인이 작업별 아키텍처 혁신 없이도 최상위 성능을 달성하기에 충분하다고 주장합니다.
• 리소스 격차: 8 만 개 사전 학습 코퍼스와 미세 조정 전략을 도입함으로써 고품질 우크라이나어 검색 데이터셋의 부족 문제를 해결하고, 도메인 간 일반화를 개선합니다.
• 실용성: 결과는 신중한 데이터 준비 (맥락적 청킹) 와 적절한 조건부 설정 (질문 + 옵션) 과 결합될 때, "오프더셸" 모델이 제약된 환경에서 더 복잡하고 맞춤형으로 구축된 시스템보다 우수한 성능을 발휘할 수 있음을 시사합니다.

저자들은 명시적으로 경쟁 환경에서는 그들의 접근 방식이 견고하지만, 상대적으로 큰 모델 (8B–32B) 과 기계 번역된 보조 데이터에 의존하므로 지연 시간이나 수동 검토 요구 사항이 더 엄격한 프로덕션 배포에는 어려움이 있을 수 있다고 지적합니다. 계산 제약이 완화된다면 양방향 임베딩 모델(예: 확산 기반) 과 **늦은 청킹 (late chunking)**을 유망한 향후 방향으로 제시합니다.