ViDoRe V3: 복잡한 현실 세계 시나리오에서의 검색 증강 생성 (RAG) 에 대한 종합적 평가

이 논문은 ViDoRe V3를 소개하며, 시각적으로 풍부한 문서 (Visual Document) 코퍼스를 대상으로 한 복잡한 현실 세계 시나리오에서의 검색 증강 생성 (RAG) 파이프라인을 평가하기 위해 설계된 포괄적인 멀티모달 벤치마크입니다. 기존 벤치마크가 단순한 텍스트 기반 단일 문서 검색에 치중하거나 검색과 생성을 분리하여 평가하는 한계를 지적하고, 이를 해결하기 위한 새로운 표준을 제시합니다.

1. 문제 정의 (Problem)

현실 세계의 RAG 시스템은 다음과 같은 복잡한 과제를 직면하고 있으나, 기존 벤치마크들은 이를 충분히 포착하지 못합니다.

• 시각적 요소 해석: 표 (Tables), 차트 (Charts), 인포그래픽 (Infographics) 등 인간이 해석하도록 설계된 비텍스트 요소에서 중요한 정보를 추출해야 합니다.
• 다중 문서 통합: 단일 문서가 아닌 여러 문서에 흩어진 정보를 종합, 비교, 추론해야 하는 개방형 (Open-ended) 쿼리를 처리해야 합니다.
• 정확한 소스 근거 (Grounding): 환각 (Hallucination) 을 방지하고 신뢰성을 확보하기 위해 답변의 출처를 문서 내 특정 위치 (예: 바운딩 박스) 로 명확히 지시해야 합니다.

2. 방법론 (Methodology)

ViDoRe V3 는 12,000 시간의 인간 어노테이션 노력을 바탕으로 구축되었으며, 다음과 같은 엄격한 프로세스를 따릅니다.

• 데이터 구성: 금융, 컴퓨터 과학, 에너지, 제약, 인적 자원, 산업 유지보수, 통신, 물리학 등 10 개의 다양한 산업 도메인에서 26,000 페이지의 문서를 수집했습니다.
• 쿼리 생성 (3 단계 프로세스):
  1. 인간 기반 (Human): 실제 문서 페이지나 요약본을 보고 인간 어노테이터가 쿼리를 작성합니다.
  2. 합성 기반 (Synthetic): LLM 을 사용하여 요약본에서 다양한 유형 (개방형, 추출형, 다중 홉 등) 의 쿼리를 생성합니다.
  3. 필터링 및 검증: VLM(시각 - 언어 모델) 을 이용한 사전 필터링과 인간 전문가의 검증을 거쳐 고품질 쿼리 - 페이지 쌍을 선별합니다.
• 어노테이션: 각 쿼리에 대해 관련 페이지, 정답, 그리고 답변을 지지하는 증거를 나타내는 **바운딩 박스 (Bounding Box)**와 모달리티 레이블 (텍스트, 표, 차트 등) 을 인간 어노테이터가 직접 표시합니다.
• 다국어 지원: 모든 쿼리와 문서가 영어와 프랑스어를 기반으로 하며, 스페인어, 독일어, 이탈리아어, 포르투갈어 등 총 6 개 언어로 번역되어 제공되어 교차 언어 검색 능력을 평가합니다.

3. 주요 기여 (Key Contributions)

1. 현실적인 쿼리 생성 방법론: 문서 내용에 접근하는 방식 (전체 페이지 vs 요약본) 을 제한하여 단순한 추출형 쿼리 편향을 줄이고, 실제 검색 행동을 반영하는 어노테이션 프로토콜을 제안했습니다.
2. ViDoRe V3 벤치마크: 26,000 페이지, 3,099 개의 인간 검증 쿼리 (6 개 언어), 10 개 도메인으로 구성된 대규모 멀티모달 RAG 벤치마크를 공개했습니다. 검색, 생성, 시각적 근거 (Grounding) 평가를 모두 통합하여 MTEB 생태계에 통합되었습니다.
3. 포괄적인 평가 및 통찰: 최신 SOTA 모델들을 대상으로 검색 정확도, 답변 품질, 시각적 근거 충실도를 평가하여 RAG 실무자에게 실행 가능한 인사이트를 제공했습니다.

4. 실험 결과 (Results)

• 검색 (Retrieval):
  • 비주얼 리트리버 우세: 동일한 파라미터 수 기준, 텍스트 기반 리트리버보다 시각적 리트리버 (Visual Retriever) 가 더 높은 성능을 보였습니다.
  • 재랭킹 (Reranking) 의 효과: 텍스트 기반 재랭커 (Textual Reranker) 는 성능을 크게 향상시켰으나 (+13.2 NDCG@10), 시각적 재랭커는 미미한 개선 (+0.2) 이나 오히려 성능 저하를 보였습니다.
  • 난이도 영향: 단순한 쿼리 (Boolean, Numerical) 보다 개방형 (Open-ended) 및 다중 홉 (Multi-hop) 쿼리에서 성능이 급격히 떨어졌습니다. 또한, 관련 페이지 수가 증가할수록 검색 성능이 감소하는 경향을 보였습니다.
• 생성 (Generation):
  • 하이브리드 접근법: 시각적 컨텍스트 (이미지) 와 텍스트 컨텍스트를 모두 제공하는 하이브리드 파이프라인이 단일 모달리티보다 어려운 쿼리에서 더 높은 정확도 (54.7%) 를 기록했습니다.
  • 시각적 컨텍스트의 중요성: 이미지 기반 컨텍스트가 텍스트 기반 컨텍스트보다 복잡한 답변 생성에 더 효과적인 근거를 제공했습니다.
• 시각적 근거 (Visual Grounding):
  • 현저한 성능 격차: 인간 어노테이터 간의 일치도 (F1 점수 0.60) 에 비해 최신 VLM 모델 (Qwen3-VL, Gemini 3 Pro) 의 바운딩 박스 생성 성능 (F1 점수 0.06~0.09) 은 매우 낮았습니다. 이는 현재 모델들이 문서 내 정확한 위치를 찾는 데 여전히 큰 어려움을 겪고 있음을 시사합니다.

5. 의의 및 결론 (Significance)

ViDoRe V3 는 단순한 텍스트 검색을 넘어, 시각적 요소 이해, 다중 문서 추론, 그리고 정확한 소스 근거가 필요한 현실적인 RAG 시스템의 발전 방향을 제시합니다.

• 연구 방향 제시: 현재 모델들은 비텍스트 요소 처리, 개방형 쿼리, 그리고 미세한 시각적 근거 (Fine-grained visual grounding) 에서 한계를 보이고 있음을 명확히 드러냈습니다.
• 오픈 소스 및 접근성: 상업적으로 허용 가능한 라이선스로 공개되어, 연구자와 개발자들이 복잡한 문서 이해 및 RAG 기술의 발전을 가속화할 수 있는 기반을 마련했습니다.

결론적으로, ViDoRe V3 는 차세대 멀티모달 RAG 시스템이 해결해야 할 핵심 과제를 정의하고, 더 견고하고 지능적인 문서 이해 모델 개발을 위한 필수적인 평가 도구로 작용할 것입니다.