기술 요약: KOVRE – 효율적인 한국어 시각 문서 검색을 위한 임베딩 모델 학습

문제 정의

시각 문서 검색(Visual Document Retrieval, VDR)은 텍스트 쿼리를 렌더링된 문서 이미지와 직접 매칭하는 것을 목표로 하며, OCR 및 텍스트 추출 파이프라인 과정에서 흔히 손실되는 표, 그림, 레이아웃과 같은 핵심적인 시각적 및 구조적 정보를 보존합니다. 최근의 VDR 모델들은 강력한 성능을 달 수 있었으나, 다음과 같은 세 가지 주요 한계점에 직면해 있습니다:

1. 영어 중심 편향: 기존의 학습 데이터와 벤치마크는 주로 영어에 집중되어 있어, 한국어를 위한 고성능 시스템 구축에 공백이 존재합니다.
2. 자원 집약성: 고성능 모델들은 종종 거대한 백본(예: 8B 이상의 파라미터)이나 멀티 벡터 표현(페이지당 여러 개의 임베딩 저장)에 의존하며, 이는 상당한 저장 공간과 검색 비용을 발생시킵니다.
3. 미개척된 학습 전략: 특정 언어를 위한 컴팩트한 싱글 벡터 리트리버를 효과적으로 학습시키는 방법, 특히 학습 데이터 구성, 하드 네거티브 마이닝(hard-negative mining), 그리고 리랭커(reranker)로부터의 지식 증류(knowledge distillation)에 관한 연구가 제한적입니다.

방법론

저자들은 Qwen3-VL-Embedding-2B 모델을 기반으로 최적화된 컴팩트 싱글 벡터 리트리버인 KOVRE(KOrean Visual Document Retrieval Embedding)를 소개합니다. 학습 과정은 두 가지 별도의 단계로 나뉩니다.

1. 베이스 모델 및 표현

• 아키텍처: 모델은 수정 없이 원래의 Qwen3-VL-Embedding-2B 비전-언어 아키텍처를 유지합니다.
• 입력: 텍스트 쿼리와 렌더링된 문서 페이지 이미지를 입력받아 공유된 밀집 공간(shared dense space)으로 매핑합니다.
• 마트료시카 표현 학습(Matryoshka Representation Learning, MRL): 모델은 다양한 차원(2048, 1024, 768, 512, 256, 128)으로 임베딩을 출력하도록 학습되어, 검색 품질과 저장 효율성 사이의 유연한 트레이드오프를 허용합니다.
• 유사도: 학습과 추론 모두에 코사인 유사도(Cosine similarity)를 사용합니다.

2. 1단계: 대조 학습 (Contrastive Learning, CL)

• 데이터: 모델은 한국어와 영어 데이터를 포함한 708,729개의 쿼리-페이지 쌍으로 학습됩니다.
  • 한국어: 공개된 KoViDoRe 데이터와 AI Hub의 프라이빗 컬렉션을 결합합니다.
  • 영어: 백본의 다국어 능력이 파괴되는 것(catastrophic forgetting)을 방지하기 위해 5개의 기존 VDR 리소스(보고서, 슬라이드, 표)로부터 수집되었습니다.
• 하드 네거티브 마이닝 (Hard-Negative Mining): 더 큰 모델인 Qwen3-VL-Embedding-8B를 사용하여 쿼리당 7개의 하드 네거티브를 추출합니다.
  • 포지티브 인지 필터링 (Positive-Aware Filtering): 어노테이션된 포지티브 유사도의 95%를 초과하는 후보는 잘못된 네거티브(false negatives)를 줄이기 위해 제외됩니다.
  • 셀프 가이드 필터링 (Self-Guide Filtering): 포지티브보다 점수가 현저히 높은 네거티브(stop-gradient 임계값 기준)는 손실 계산에서 제외됩니다.
• 손실 함수: **하드니스 가중치(hardness weighting)**가 적용된 InfoNCE 목적 함수를 최적화합니다. 명시적으로 마이닝된 하드 네거티브에는 어려운 예제를 강조하기 위해 추가적인 stop-gradient 항이 가중치($\alpha=2.0$)와 함께 적용되며, 인배치 네거티브(in-batch negatives)에는 가중치를 부여하지 않습니다.
• 목적: 손실은 모든 마트료시카 차원에 걸쳐 공동으로 계산됩니다.

3. 2단계: 지식 증류 (Knowledge Distillation, KD)

• 데이터: 코퍼스의 한국어 서브셋만을 사용합니다.
• 교사 모델 (Teacher Model): Qwen3-VL-Reranker-8B가 각 쿼리에 대해 64개의 페이지 후보(마이닝된 하드 네거티브 32개 + 무작위 샘플 32개)의 점수를 매깁니다.
• 타겟 구축: 교사 모델의 점수를 기준으로 상위 8개의 네거티브를 포지티브와 함께 선택하여 학습 인스턴스를 구성합니다.
• 점수 정규화: 핵심 단계로, 소프트맥스(softmax)를 적용하기 전에 교사 모델과 학생 모델의 점수 모두에 대해 **행별 최소-최대 정규화(per-row min-max normalization)**를 수행하여 [0, 1] 범위로 맞춥니다. 이는 리랭커 점수의 경계가 없고 쿼리마다 달라지는 스케일 문제를 해결하여 관련성 분포의 형태를 보존합니다.
• 손실 함수: 학생 모델은 모든 마트료시카 차원에 걸쳐 자신의 점수 분포와 교사의 정규화된 분포 사이의 KL-다이버전스(KL-divergence)를 최소화합니다.

주요 기여

1. KOVRE 모델: 더 큰 백본이나 멀티 벡터 인덱스를 요구하지 않으면서도 경쟁력 있는 성능을 달성하는 한국어 시각 문서용 컴팩트 싱글 벡터 리트리버를 개발했습니다.
2. 체계적인 학습 레시피: 다음과 같은 구성 요소의 효용성을 입증하는 종합적인 분석을 제공합니다:
   • 다국어 능력을 보존하기 위한 이중 언어 감독(Bilingual supervision).
   • 포지티브 인지 하드 네거티브 마이닝 및 셀프 가이드 필터링.
   • 마이닝된 네거티브에 대한 하드니스 가중치 적용.
   • 효과적인 지식 증류를 위한 민-맥스 점수 정규화.
   • 컴팩트한 검색을 위한 마트료시카 표현의 유용성.

결과

한국어 VDR 벤치마크(KoViDoRe 및 SDS KoPub VDR)에서 평가했을 때, KOVRE는 유의미한 개선을 보여줍니다:

• 성능 향상: 최종 2B KOVRE 모델은 베이스 모델인 Qwen3-VL-Embedding-2B를 크게 상회하는 성능을 보입니다.
• 대형 모델과의 비교: KOVRE는 종합 성능(nDCG@10) 측면에서 8B 싱글 벡터 모델(Qwen3-VL-Embedding-8B)과 강력한 4B 멀티 벡터 베이스라인(Jina Embeddings v4)보다 우수한 성능을 나타냅니다.
• 차원 효율성: 차원을 축소하더라도(예: 256차원), KOVRE는 4096차원의 Qwen3-VL-Embedding-8B보다 약간 더 나은 성능을 유지하며 강력한 성능을 유지합니다.
• 어블레이션 연구(Ablation Insights):
  • 이중 언어 학습이 한국어 전용 학습보다 우수합니다.
  • 시각적 문맥 없이 추가적인 한국어 텍스트 데이터셋을 더하는 것은 오히려 성능을 저하시켰습니다.
  • 2단계에서의 민-맥스 정규화는 매우 중요했습니다. 정규화가 없으면 지식 증류가 오히려 성능을 해쳤습니다.

의의 및 주장

본 논문은 타겟팅된 이중 언어 감독과 정교하게 설계된 학습 전략을 통해, 모델 크기를 키우거나 저장 공간을 많이 차지하는 멀티 벡터 표현을 채택하지 않고도 다양한 도메인에서 매우 효과적인 한국어 VDR 모델을 생성할 수 있다고 주장합니다.

저자들은 KOVRE를 현재 모델들이 충분히 다루지 못하는 언어를 위한 실질적인 솔루션으로 제시하며, 잘 학습된 컴팩트한 모델이 더 크고 복잡한 시스템과 대등하거나 이를 능가할 수 있음을 입증했습니다. 이 연구는 시각 문서 검색을 위한 데이터 구성, 네거티브 마이닝 전략, 그리고 지식 증류에서의 점수 정규화의 중요성을 강조하는 재현 가능한 학습 레시피를 제공합니다.

한계점 명시: 저자들은 한국어 학습 코퍼스가 영어에 비해 고유한 페이지 이미지 수가 적어, 학습 과정에서 관찰된 레이아웃 및 문서 유형의 다양성이 제한될 수 있음을 인정합니다. 향후 연구는 단순히 쿼리 수를 늘리는 것이 아니라 한국어 페이지 이미지의 다양성을 확장하는 데 집중해야 한다고 제안합니다.