Document-as-Image Representations Fall Short for Scientific Retrieval

논문 개요

이 논문은 과학적 문서 검색 (Scientific Document Retrieval) 분야에서 최근 주류를 이루고 있는 '문서 - 이미지 (Document-as-Image)' 표현 방식의 한계를 지적하고, 이를 대체할 수 있는 더 효과적인 접근법을 제안합니다. 저자들은 과학 논문과 같은 텍스트가 풍부한 멀티모달 문서에서는 렌더링된 페이지 이미지를 직접 임베딩하는 방식보다, LaTeX 소스 코드를 기반으로 한 구조화된 텍스트 및 멀티모달 표현이 훨씬 우수함을 실증적으로 증명합니다.

1. 문제 제기 (Problem Statement)

• 현황: 최근 많은 문서 임베딩 모델 (ColPali, Qwen-VL 등) 이 렌더링된 문서 페이지를 이미지로 처리하는 '문서 - 이미지' 방식을 채택하고 있습니다. 또한, 기존 벤치마크 (ArXivQA, ViDoRe 등) 도 문서를 이미지 페이지로 취급하여 이러한 방식을 암묵적으로 선호합니다.
• 문제점: 과학 논문은 텍스트, 수식, 표, 그림 등 다양한 구조화된 요소로 구성되어 있습니다. 문서를 단순히 이미지로 변환하면 다음과 같은 치명적인 단점이 발생합니다.
  • 구조 정보 손실: 섹션, 표, 수식, 그림 간의 명확한 구분과 참조 관계가 시각적 추론에만 의존하게 되어 기계적으로 읽기 어려워집니다.
  • 텍스트 밀집도 문제: 페이지에 텍스트가 많을수록 이미지 기반 표현의 성능이 급격히 저하됩니다.
  • OCR 의존성: PDF 기반의 이미지 처리는 종종 OCR 도구를 사용해야 하며, 이는 오류를 유발하고 노이즈를 추가합니다.
• 핵심 질문: 과학적 검색을 위해 어떤 문서 표현 방식 (텍스트 vs 이미지 vs 멀티모달) 이 가장 적합하며, 어떤 조건에서 작동하는가?

2. 방법론 및 제안된 벤치마크 (Methodology & ArXivDoc)

저자들은 이러한 문제를 해결하기 위해 ArXivDoc이라는 새로운 벤치마크를 구축했습니다.

• ArXivDoc 구축:
  • 소스 기반: 렌더링된 PDF 가 아닌, 원본 LaTeX 소스 코드를 기반으로 구축되었습니다. 이를 통해 텍스트, 표, 그림, 수식 등 구조화된 요소에 직접 접근할 수 있습니다.
  • 규모: 8,210 개의 과학 논문 (총 144,653 페이지) 과 547 개의 정밀하게 검증된 쿼리로 구성되었습니다.
  • 쿼리 설계: 텍스트, 표, 그림에 근거한 3 가지 유형의 쿼리를 포함하며, 문맥 독립적 (Decontextualized) 이고 모호하지 않도록 인간 어노테이터와 LLM 을 통해 다단계 필터링을 거쳤습니다.
• 비교 실험 설정:
  • 표현 방식:
    1. 텍스트 전용: 원본 LaTeX 텍스트 (주석 및 포맷팅 제거).
    2. 이미지 전용: 렌더링된 페이지 이미지.
    3. 멀티모달 (Interleaved): 텍스트와 그림을 원래 순서대로 교차 배치한 방식.
    4. 텍스트 + VLM 캡션: 텍스트에 비전 - 언어 모델이 생성한 그림 설명을 추가한 방식.
  • 모델: 단일 벡터 모델 (Qwen-Embedding, Qwen-VL-Embedding) 과 지연 상호작용 (Late Interaction) 모델 (ColQwen) 을 다양한 표현 방식에 적용하여 성능을 비교했습니다.

3. 주요 결과 (Key Results)

실험 결과 (nDCG@10 기준) 는 다음과 같은 핵심 결론을 도출했습니다.

1. 문서 - 이미지 방식의 열세:
   • 모든 쿼리 유형 (텍스트, 표, 그림) 에서 '문서 - 이미지' 표현 방식은 다른 방식보다 일관되게 낮은 성능을 보였습니다.
   • 특히 그림 기반 쿼리에서도 이미지 방식이 최적이 아니었으며, 오히려 텍스트 + VLM 캡션 방식이 가장 우수한 성능을 기록했습니다. 이는 과학 논문에서 그림에 대한 설명이 주변 텍스트에 잘 포함되어 있음을 시사합니다.
2. 인터리브드 (Interleaved) 표현의 우위:
   • 별도의 추가 학습 없이 기존 이미지 기반 임베딩 모델을 텍스트와 이미지를 교차 배치한 입력에 적용했을 때, 단순 '문서 - 이미지' 방식보다 성능이 더 뛰어났습니다. 이는 구조를 보존하고 모달리티를 정렬하는 것이 중요합니다.
3. 단일 벡터 vs 지연 상호작용:
   • 단일 벡터 모델 (Single-vector) 이 지연 상호작용 모델 (Multi-vector, 예: ColQwen) 보다 더 좋은 성능을 보였습니다.
   • 지연 상호작용 모델은 인덱스 크기가 약 40 배 더 크지만, 성능은 오히려 낮거나 비슷했습니다. 이는 과학적 검색에는 효율성 면에서 단일 벡터 방식이 더 유리함을 의미합니다.
4. 문서 길이와 성능 저하:
   • 페이지 내 텍스트 양이 증가할수록 '문서 - 이미지' 방식의 성능 저하가 텍스트 기반 방식보다 훨씬 빠르게 발생했습니다. 긴 과학 문서를 다룰 때 텍스트 기반 접근이 필수적입니다.

4. ViDoRe 벤치마크와의 비교 분석

• ViDoRe(강의 슬라이드, ESG 보고서 등) 벤치마크에서는 이미지 기반 방식이 더 잘 작동하는 것으로 나타났습니다.
• 이유: ViDoRe 는 시각적 레이아웃과 인포그래픽에 의존하는 반면, ArXivDoc(과학 논문) 은 고밀도의 전문 텍스트와 구조화된 수식에 의존합니다. 따라서 문서의 특성에 따라 최적의 표현 방식이 달라지며, 과학적 검색에는 텍스트 중심의 구조화된 접근이 더 적합합니다.

5. 의의 및 기여 (Significance)

• 패러다임 전환 제안: 과학적 문서 검색 분야에서 '이미지 중심' 접근법의 맹신에 경종을 울리고, 구조화된 소스 (LaTeX/XML) 를 활용한 텍스트 기반 및 멀티모달 접근의 중요성을 강조합니다.
• 새로운 벤치마크: 대규모 오픈 도메인 과학 문서 검색을 위한 최초의 구조화된 벤치마크 (ArXivDoc) 를 제공하여, 향후 연구의 표준 평가 기준으로 활용될 수 있습니다.
• 실용적 통찰:
  • 과학 논문 검색 시스템 구축 시, 렌더링된 이미지를 임베딩하는 대신 원본 텍스트와 구조화된 메타데이터를 활용하는 것이 비용 대비 효율적이고 정확도가 높음을 증명했습니다.
  • 그림 기반 쿼리에도 텍스트 설명 (캡션 및 주변 문맥) 이 핵심 역할을 하므로, 텍스트 임베딩 모델만으로도 강력한 성능을 낼 수 있음을 보였습니다.

결론

이 논문은 과학적 문서의 본질 (구조화된 텍스트와 수식) 을 고려할 때, 단순한 이미지 렌더링은 검색 성능을 저하시키는 요인임을 명확히 밝혔습니다. 향후 과학적 검색 시스템은 렌더링된 픽셀이 아닌, 원본 소스의 구조적 정보를 보존하는 멀티모달 표현 방식으로 발전해야 함을 시사합니다.