🤖 machine learning

NanoVDR: Distilling a 2B Vision-Language Retriever into a 70M Text-Only Encoder for Visual Document Retrieval

이 논문은 문서 인덱싱에는 강력한 비전 - 언어 모델을, 쿼리 인코딩에는 이를 증류한 경량 텍스트 전용 모델을 사용하여 시각적 문서 검색의 효율성을 극대화하면서도 성능을 유지하는 'NanoVDR' 프레임워크를 제안합니다.

원저자: Zhuchenyang Liu, Yao Zhang, Yu Xiao

게시일 2026-03-16

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Zhuchenyang Liu, Yao Zhang, Yu Xiao

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

📄 NanoVDR: 거대한 두뇌에서 작은 메모장으로 지식을 전달하다

이 논문은 **"시각 문서 검색 (Visual Document Retrieval)"**이라는 복잡한 문제를 해결하기 위해 개발된 **'NanoVDR'**이라는 새로운 기술을 소개합니다.

쉽게 말해, **"그림이 포함된 문서 (보고서, 매뉴얼, 논문 등) 를 검색할 때, 무거운 컴퓨터 (GPU) 를 쓰지 않고도 일반 컴퓨터 (CPU) 에서 빠르게, 그리고 똑똑하게 찾을 수 있는 방법"**을 찾았습니다.

이 기술의 핵심 아이디어를 일상적인 비유로 설명해 드리겠습니다.

1. 문제점: "모든 일을 거인 (VLM) 이 처리하는 비효율"

지금까지의 방식은 다음과 같았습니다.

상황: 사용자가 "이 보고서의 3 페이지에 있는 차트 데이터가 뭐야?"라고 질문합니다.
기존 방식: 거대한 AI 모델 (약 20 억 개의 파라미터, '거인'이라고 부릅시다) 이 문서 이미지를 보고 이해하는 것도, 사용자의 질문을 이해하는 것도 모두 이 거인이 담당합니다.
문제점: 질문은 단순히 "텍스트"일 뿐인데, 거대한 거인을 불러와서 텍스트만 읽게 하는 것은 비행기를 타고 동네 마트까지 가는 것과 같습니다.
- 결과: 검색 속도가 매우 느리고, 고가의 그래픽 카드 (GPU) 가 필수적이며, 비용이 많이 듭니다.

2. 해결책: NanoVDR 의 "비대칭 전략"

NanoVDR 은 문서와 질문의 성격을 다르게 보고, 각각에 맞는 전문가를 투입합니다.

문서 (이미지) = "거인 (Teacher)"의 영역
- 문서에는 복잡한 그림, 차트, 글자가 섞여 있어 시각적 이해가 필요합니다.
- 그래서 **거대한 AI (거인)**가 미리 모든 문서를 분석하고, 각 문서의 핵심을 요약한 **"요약 카드 (임베딩)"**를 만들어 도서관에 정리해 둡니다. (이 작업은 한 번만 하면 됩니다.)
질문 (텍스트) = "작은 메모장 (Student)"의 영역
- 사용자의 질문은 "텍스트"일 뿐입니다. 그림을 볼 필요가 없습니다.
- 그래서 **작고 가벼운 AI (약 7 천만 파라미터, '메모장')**가 질문을 받아, 거인이 만든 '요약 카드'와 비교할 수 있는 형태로 변환합니다.
- 이 '메모장'은 일반 컴퓨터 (CPU) 에서 0.05 초 만에 작동합니다. (거인은 2 초 이상 걸림)

비유:

기존: 도서관 사서 (거인) 가 책도 찾고, 질문자도 만나고, 책과 질문을 비교하고, 답을 줍니다. 사서가 너무 바빠서 대기 시간이 깁니다.

NanoVDR: 사서 (거인) 는 미리 모든 책의 내용을 요약한 카드를 만들어 책장에 꽂아둡니다. 질문자가 오면, **가벼운 안내원 (메모장)**이 질문을 받아 그 요약 카드와 빠르게 비교해 답을 줍니다.

3. 핵심 기술: "지식 증류 (Distillation)"의 비밀

이 기술의 가장 멋진 점은 **"어떻게 작은 메모장이 거인의 지식을 배울까?"**입니다.

기존 방식 (경쟁식 학습): 거인과 학생이 동시에 여러 문서를 보고 "어떤 게 더 관련 있을까?"를 경쟁하게 하여 점수를 매기게 했습니다. (이건 문서 이미지도 계속 보여줘야 해서 느립니다.)
NanoVDR 의 방식 (직접적인 정렬):
- 거인이 이미 만든 **"질문에 대한 요약 카드"**만 학생에게 보여줍니다.
- 학생은 "내가 만든 카드가 거인의 카드와 **방향 (각도)**이 똑같아지도록"만 노력합니다.
- 효과: 문서 이미지 하나도 보지 않고, 오직 질문 텍스트만 가지고도 거인의 능력을 95% 이상 따라잡습니다. 마치 **명작 영화의 줄거리 (요약)**만 읽어도 영화의 감동을 이해하는 것과 같습니다.

4. 다국어 문제 해결: "번역된 질문으로 훈련하기"

작은 메모장 (학생) 은 원래 영어만 잘 배웠기 때문에, 다른 언어 (포르투갈어, 스페인어 등) 로 질문하면 성능이 떨어졌습니다.

해결책: 거대한 AI 를 다시 훈련시킬 필요 없이, 영어 질문을 다른 언어로 번역해서 학생에게 더 많이 보여주었습니다.
결과: 문서 이미지를 다시 분석할 필요 없이, 질문만 번역해서 훈련시켰는데, 다국어 성능이 비약적으로 향상되었습니다.

🏆 NanoVDR 의 성과 (한 줄 요약)

속도: 기존 방식보다 50 배 이상 빠릅니다. (CPU 에서 0.05 초 vs 2.5 초)
크기: 모델 크기가 32 배 더 작습니다. (7 천만 파라미터 vs 20 억 파라미터)
성능: 거대한 AI 의 성능을 95% 이상 유지하면서도, 훨씬 더 저렴하고 빠르게 작동합니다.
비용: 훈련 비용이 13 시간의 GPU 시간 미만으로, 일반 기업도 쉽게 도입할 수 있습니다.

🎯 결론

NanoVDR 은 **"무거운 일은 미리 거인에게 맡기고, 가벼운 일은 작은 전문가에게 맡기는 지혜"**를 보여줍니다. 이제 우리는 고가의 그래픽 카드 없이도, 일반 노트북이나 서버에서 복잡한 문서 (보고서, 매뉴얼) 를 초고속으로 검색할 수 있게 되었습니다.

이 기술은 앞으로 모바일 앱, 엣지 디바이스, 실시간 검색 서비스 등에서 혁신적인 변화를 가져올 것으로 기대됩니다.

1. 문제 정의 (Problem Statement)

비효율적인 대칭적 설계: 기존의 비주얼 문서 검색 (Visual Document Retrieval, VDR) 시스템은 문서 인덱싱과 쿼리 인코딩 모두에 동일한 무거운 비전 - 언어 모델 (VLM, 예: 2B~8B 파라미터) 을 사용합니다.
쿼리 - 문서 비대칭성 간과: 문서는 복잡한 시각적 정보 (차트, 다이어그램 등) 를 포함하므로 강력한 시각적 이해가 필요하지만, 사용자의 쿼리는 단순한 텍스트 문자열일 뿐입니다. 따라서 텍스트 전용 쿼리에 2B 이상의 대규모 VLM 을 사용하는 것은 계산 자원의 낭비입니다.
높은 지연 시간 및 의존성: 이러한 대칭적 설계로 인해 쿼리 시 GPU 가 필수적이며, CPU 환경에서의 지연 시간 (latency) 이 매우 길고, 고차원 임베딩으로 인한 인덱스 저장 비용도 큽니다.

2. 방법론 (Methodology)

저자들은 쿼리와 문서 간의 비대칭성 (Asymmetry) 을 활용하여 NanoVDR 프레임워크를 제안합니다.

비대칭 지식 증류 (Asymmetric Knowledge Distillation):
- Teacher (교사 모델): 고정된 (frozen) 2B 파라미터 VLM (Qwen3-VL-Embedding) 을 사용하여 오프라인에서 문서 이미지를 임베딩합니다.
- Student (학생 모델): 매우 가벼운 텍스트 전용 인코더 (최소 69M 파라미터, DistilBERT 기반) 를 사용하여 온라인에서 쿼리를 인코딩합니다. 학생 모델은 시각 모듈이 전혀 필요 없으며 CPU 에서 실행됩니다.
쿼리 중심 증류 (Query-Centric Distillation):
- 학습 목표: 학생 모델이 교사 모델의 쿼리 임베딩 공간에 매핑되도록 학습시킵니다.
- 손실 함수 (Loss Function): 6 가지 증류 목표를 비교한 결과, 점별 코사인 정렬 (Pointwise Cosine Alignment) 이 가장 효과적이었습니다.
  - $L_{align} = 1 - \cos(v_Q^s, v_Q^t)$
  - 이 방식은 문서 이미지나 음의 샘플 (negative sampling) 이 필요 없으며, 오직 교사 모델의 쿼리 임베딩만 사전에 캐싱하면 됩니다.
- 기타 목표와의 비교: 랭킹 기반 (KL-divergence) 이나 대비적 (contrastive) 손실 함수보다 성능이 우수하며, 학습 비용을 획기적으로 줄입니다.
다국어 증강 (Multilingual Augmentation):
- 비동기 인코더에서 성능 병목은 '교차 모달 (Cross-modal)' 이 아닌 '교차 언어 (Cross-lingual)' 전이에 있음을 발견했습니다.
- 이를 해결하기 위해 영어 훈련 쿼리를 기계 번역 (Opus-MT) 을 통해 5 개 언어 (포르투갈어, 스페인어, 독일어, 프랑스어, 이탈리아어) 로 변환하여 학습 데이터를 증강시켰습니다.

3. 주요 기여 (Key Contributions)

비대칭 증류 프레임워크: 2B VLM 교사를 69M~151M 크기의 텍스트 전용 학생으로 증류하여 VDR 을 수행하는 새로운 아키텍처를 제안했습니다.
최적의 증류 목표 발견: 랭킹 기반 손실보다 단순한 공간 정렬 (Spatial Alignment) 이 더 우수한 성능을 낸다는 것을 22 개의 ViDoRe 벤치마크를 통해 입증했습니다. 이는 문서 처리 없이 쿼리 임베딩만으로도 충분함을 의미합니다.
극한의 효율성:
- NanoVDR-S-Multi (69M): 2B 모델 (DSE-Qwen2) 보다 파라미터는 32 배 적고, CPU 쿼리 지연 시간은 50 배 낮습니다 (약 50ms).
- 저비용 학습: 전체 학습 비용이 13 GPU 시간 미만입니다.
교차 언어 병목 해결: 기계 번역을 통한 쿼리 증강만으로 다국어 성능을 크게 향상시켜, 학생 모델이 교사 모델의 95.1% 성능을 유지하도록 했습니다.

4. 실험 결과 (Results)

성능 (ViDoRe 벤치마크):
- NanoVDR-S-Multi (DistilBERT, 69M) 는 ViDoRe v2 와 v3 에서 2B 모델인 DSE-Qwen2 를 능가하며, 3B 모델인 ColPali 보다도 높은 성능을 기록했습니다.
- 교사 모델의 성능을 95.1% 까지 유지하며 (NanoVDR-S-Multi), 69M 파라미터로 2B 모델의 품질을 달성했습니다.
효율성 및 배포 비용:
- 쿼리 인코딩 속도: CPU 에서 51ms (DSE-Qwen2 는 2,539ms, ColPali 는 7,284ms).
- 모델 크기: 274MB (ColPali 는 11.9GB).
- 인덱스 저장: 단일 벡터 방식을 유지하여 1 백만 문서당 약 8.2GB (Multi-vector 방식은 264~819GB).
학습 데이터 효율성: 전체 학습 데이터의 25% 만으로도 교사 모델의 90% 이상 성능을 달성할 수 있어 데이터 효율성이 매우 높습니다.

5. 의의 및 결론 (Significance)

실용적인 VDR 배포: NanoVDR 은 고비용의 GPU 서버 없이도 CPU 환경에서 실시간으로 고품질 비주얼 문서 검색을 가능하게 합니다. 이는 엣지 디바이스나 리소스가 제한된 환경에서의 배포를 가능하게 합니다.
설계 패러다임의 전환: "쿼리와 문서는 반드시 동일한 무거운 모델로 처리해야 한다"는 기존 관념을 깨고, 쿼리에는 가벼운 텍스트 모델, 문서에는 무거운 비전 모델을 사용하는 비대칭적 설계가 VDR 분야에서 더 효율적이고 효과적임을 증명했습니다.
간소화된 학습 프로세스: 문서 이미지를 학습 중에 처리할 필요가 없어 (오프라인 인덱싱만 필요), 학습 파이프라인이 단순해지고 비용이 대폭 절감되었습니다.

요약하자면, NanoVDR 은 무거운 비전 - 언어 모델의 능력을 경량 텍스트 모델로 효율적으로 증류하여, 비용과 지연 시간을 획기적으로 줄이면서도 최첨단 수준의 비주얼 문서 검색 성능을 달성한 획기적인 연구입니다.