DistilVDR: A Compact End-to-End Visual Document Retriever via Dual-Student Distillation

DistilVDR 기술 요약

문제 정의
시각적 문서 검색(Visual Document-based Retrieval, VDR)은 현재 대규모 시각-언어 모델(20억에서 80억 개의 파라미터 범위)이 주도하고 있습니다. 이 모델들은 OCR 오류를 방기하고 레이아웃을 보존하기 위해 문서 페이지를 이미지로 인코딩합니다. 이러한 방식은 효과적이지만, 배포하기에는 매우 비쌉니다. 인덱싱을 위해 상당한 GPU 메모리가 필요하며, 스코어링 시 높은 지연 시간이 발생하고, 특히 멀티 벡터 아키텍처를 사용할 경우 방대한 인덱스 용량을 생성합니다. 기존의 압축 전략들은 트레이드오프에 직면해 있습니다. 작은 규모의 멀티 벡터 인코더를 처음부터 학습시키는 것은 품질은 유지하지만 멀티 벡터 시스템의 높은 인덱싱 및 스코어링 비용을 그대로 유지하며, 쿼리 측만 증류(distillation)하는 방식은 문서 인코더가 교사(teacher) 모델의 거대한 규모에 머물게 됩니다. 따라서 멀티 벡터 상호작용이나 거대한 파라미터 수 없이도 높은 품질을 달야할 수 있는 컴팩트한 엔드 투 엔드 단일 벡터 리트리버가 부족한 실정입니다.

방법론
저자들은 524M 파라미터 규모의 엔드 투 엔드 단일 벡터 VDR 시스템인 DistilVDR을 제안합니다. 이 접근 방식은 단일 고정된 8B 시각-언어 교사 모델(Qwen3-VL-Embedding-8B)로부터의 **이중 학생 증류(dual-student distillation)**에 의존합니다.

• 아키텍처: 시스템은 VDR의 입력 비대칭성(텍스트 쿼리 vs. 이미지 문서)에 맞춤화된 비대칭 인코더 전용 학생 설계를 채택합니다.
  • 쿼리 인코더: DistilBERT-base를 기반으로 한 경량 70M 파라미터 텍스트 전용 인코더입니다. 이는 교사 모델을 학습시킬 때 사용된 것과 동일한 인스트럭션 문자열이 접두사로 붙은 텍스트 쿼리를 처리합니다.
  • 문서 인코더: 300M 규모의 InternViT 시각 인코더와 150M 규모의 ModernBERT-base 텍스트 백본을 결합한 더 무거운 454M 파라미터 인코더입니다. 이는 페이지의 종횡비에 따라 그리드 레이아웃을 적응시키고 백본의 컨텍스트 윈도우에 맞도록 전체 시각 토큰 수를 제한하는 동적 타일링 전략을 통해 문서 이미지를 처리합니다. 시각 토큰은 텍스트 백본의 임베딩 공간으로 투영되어 양방향 어텐션과 함께 처리됩니다.
• 학습 목적 함수: 두 학생 인코더는 고정된 교사가 생성한 4096 차원의 임베딩을 회귀하도록 독립적으로 학습됩니다. 손실 함수는 점 단위 코사인 정렬 손실($L = 1 - \langle \text{student}, \text{teacher} \rangle$)을 사용합니다.
  • 결정적으로, 학생 모델의 목적 함수는 관련성 레이블(relevance labels), 네거티브 샘플링, 또는 대조 학습(contrastive terms)을 필요로 하지 않습니다. 감독(supervision)은 관련성 감독을 통해 사전 학습된 교사의 임베딩 공간으로부터 완전히 유도됩니다.
  • 두 학생 모델은 학습 중에 분리되어 병렬 최적화가 가능합니다.
• 변체(Variants): 문서 인코더의 시각 토큰 예산(타일 수)만 다른 두 가지 배포 변체가 공개됩니다:
  • DistilVDR-HiRes: 최대 6개의 타일과 썸네일을 사용합니다 (최대 7,168 토큰).
  • DistilVDR-Fast: 최대 2개의 타일과 썸네일을 사용합니다 (최대 3,072 토큰).

주요 결과
전체 22개 데이터셋 ViDoRe 스위트(v1, v2, v3)에서 평가한 결과, DistilVDR은 품질-효율성 트레이드오프에서 유의미한 개선을 보여주었습니다:

• 검색 품질: DistilVDR-HiRes는 ViDoRe에서 평균 NDCG@5 61.74를 달성하여 8B 교사의 성능(71.05)의 **86.9%**를 유지했습니다. 이는 colSmol-500M(53.01) 및 ColModernVBERT(42.46)와 같은 멀티 벡터 모델을 포함한 모든 재현된 1B 미만 베이스라인을 능가합니다. 고해상도에 민감한 v3 벤치마크에서 DistilVDR은 모든 1B 미만 베이스라인을 큰 차이로 앞섭니다 (다음 순위 모델인 33.52 대비 47.07). DistilVDR-Fast는 3배 더 작은 시각 토큰 예산으로 평균 NDCG@5 59.98을 달성합니다.
• 효율성:
  • 인덱싱: DistilVDR은 8B 교사보다 한 자릿수 더 빠르고, 멀티 벡터 베이스라인보다 훨씬 빠르게 코퍼스를 인덱싱합니다.
  • 저장 공간: 단일 벡터 인덱스는 가장 강력한 1B 미만 멀티 벡터 베이스라인보다 15.6배 작습니다 (백만 문서당 16.4 GB vs. 256 GB).
  • 스코어링: 스코어링 지연 시간은 멀티 벡터 MaxSim 스코어링에 비해 두 자릿수 감소했습니다 (1만 개 문서에 대해 9.6 ms vs. 약 1.1~3.2 s).
  • 처리량: DistilVDR-Fast는 초당 99.04개의 문서를 처리하며, 이는 8B 교사보다 약 18배 빠릅니다.

의의 및 주장
본 논문은 DistilVDR이 거대 모델의 높은 품질과 컴팩트한 시스템의 배포 효율성 사이의 간극을 성공적으로 메웠다고 주장합니다. 코사인 정렬 손 loss 하에서 단일 교사로부터 쿼리 및 문서 인코더를 모두 증류함으로써, 저자들은 대조 학습이나 네거티브 마이닝 없이도 엔드 투 엔드로 학습 가능한 컴팩트한 단일 벡터 리트리버를 구현할 수 있음을 입증했습니다.

저자들은 DistilVDR을 500M 규모에서의 우월한 운영 지점으로 설정하며, 검색 품질과 모든 배포 지표(지연 시간, VRAM, 인덱스 크기)에서 "처음부터 학습하는" 소규모 멀티 벡터 경로를 압도한다고 주장합니다. 그들은 시스템의 성공이 대조 목적 함수를 통해 관련성을 처음부터 학습할 필요 없이 관련성 지식을 전달하는 교사의 사전 학습된 임베딩 공간에 달려 있다고 강조합니다.

한계 및 범위
저자들은 다음과 같은 한계점을 언급합니다:

• 교사 의존성: 학생 모델은 교사 모델의 능력에 구속됩니다. 8B 교사의 체계적인 약점은 DistilVDR에도 전파됩니다.
• 실험 범위: 비교는 계산 예산이 일치하도록 재학습된 베이스라인이 아닌 공식 공개 릴리스를 대상으로 수행되었습니다. 논문은 교사 규모나 계열에 대한 스윕(sweep)을 수행하지 않았습니다.
• 성능 격차: 23B 모델과는 경쟁할 만한 수준이지만, 복잡한 v3 벤치마크에서는 여전히 가장 강력한 48B 멀티 벡터 모델보다 7~10포인트 뒤처집니다.
• 콘텐츠 적응성: 타일링 예산은 페이지 콘텐츠의 복잡도가 아니라 릴리스 시점에 종횡비에 따라 고정됩니다.
• 쿼리 범위: 쿼리 인코더는 텍스트 전용이며 영어 및 라틴 문자에 기반하여 학습되었습니다. 따라서 이미지 조건부 쿼리나 비라틴 문자를 지원하지 않습니다.
• 압축: 보고된 인덱스 풋프린트는 압축되지 않은 float32 벡터를 가정합니다. 추가적인 양자화 기술은 테스트되지 않았습니다.