IRPAPERS: A Visual Document Benchmark for Scientific Retrieval and Question Answering

1. 문제 정의 (Problem)

최근 멀티모달 기초 모델 (Foundation Models) 의 발전으로 AI 시스템이 문서 이미지를 직접 처리하여 검색 및 생성을 수행할 수 있게 되었습니다. 그러나 기존 시스템은 여전히 OCR(광학 문자 인식) 을 통해 이미지를 텍스트와 메타데이터로 변환한 후 텍스트 기반 검색을 수행하는 방식에 의존하고 있습니다.

이러한 상황에서 다음과 같은 핵심 질문이 제기됩니다: "과학 문헌 검색 및 질문 응답 (QA) 과제에서 이미지 기반 시스템과 확립된 텍스트 기반 시스템은 어떻게 비교되는가?"
특히 과학 논문은 텍스트뿐만 아니라 레이아웃, 도표, 수식, 다이어그램 등 시각적 요소로 의미를 전달하므로, 텍스트로 변환될 때 이러한 정보가 손실되는지, 혹은 이미지 기반 표현이 이를 보존하여 더 나은 성능을 발휘할 수 있는지에 대한 체계적인 평가가 부족했습니다.

2. 방법론 (Methodology)

2.1 IRPAPERS 데이터셋 구축

• 구성: 정보 검색 (IR) 분야를 전문으로 하는 166 편의 과학 논문 (총 3,230 페이지) 으로 구성되었습니다.
• 출처: 대규모 언어 모델 (LLM) 을 활용한 정보 검색에 대한 포괄적인 조사 논문 [53] 의 인용 문헌에서 추출되어, 유사한 어휘와 기법을 공유하는 밀집된 (semantically dense) 코퍼스를 형성합니다.
• 쿼리: 19 편의 논문에서 추출된 180 개의 'Haystack 속 바늘 (Needle-in-the-haystack)' 형태의 질문을 제작했습니다. 이는 특정 페이지의 세부 방법론적 디테일을 정확히 찾아내는 능력을 평가하기 위해 설계되었습니다.
• 표현 형식: 각 페이지에 대해 두 가지 표현을 제공합니다.
  1. 이미지: 페이지를 Base64 인코딩된 이미지로 저장.
  2. 텍스트: GPT-4.1 멀티모달 모델을 사용하여 생성된 OCR 텍스트 전사본.

2.2 실험 설계

• 검색 (Retrieval) 평가:
  • 텍스트 기반: BM25(희소 검색), Arctic 2.0(밀집 임베딩), 그리고 이 둘을 결합한 하이브리드 검색.
  • 이미지 기반: ColModernVBERT(다중 벡터 임베딩), ColPali, ColQwen2 등 오픈소스 멀티벡터 모델 평가.
  • 효율성 최적화: MUVERA 인코딩을 사용하여 다중 벡터 표현을 고정 차원의 단일 벡터로 압축하는 방식과 ef (검색 후보 수) 파라미터에 따른 성능 - 효율성 트레이드오프 분석.
  • 멀티모달 하이브리드 검색: 텍스트 점수 (BM25+Arctic 2.0) 와 이미지 점수 (ColModernVBERT) 를 가중치 ($\alpha$) 를 통해 융합 (Relative Score Fusion, Reciprocal Rank Fusion).
  • 비교 대상: 오픈소스 모델과 Cohere Embed v4(이미지), Voyage 3 Large(텍스트) 와 같은 최상위 폐쇄형 (Closed-source) 모델 비교.
• 질문 응답 (QA) 평가:
  • RAG (Retrieval-Augmented Generation): 검색된 컨텍스트 (이미지 또는 텍스트) 를 기반으로 LLM 이 답변을 생성하는 방식.
  • 평가 지표: LLM-as-Judge 를 사용하여 생성된 답변과 정답 (Ground Truth) 간의 이진 의미적 동등성 (Binary Semantic Equivalence) 을 점수화.
  • 베이스라인: 검색 없음 (No Retrieval), 하드 네거티브 (Hard Negative), 오라클 검색 (Oracle Retrieval, 정답 페이지 직접 제공) 조건에서 성능 비교.

3. 주요 기여 (Key Contributions)

1. IRPAPERS 벤치마크 공개: 정밀한 방법론적 디테일을 타겟으로 하는 180 개의 질문과 3,230 페이지의 과학 논문으로 구성된 시각적 문서 검색 및 QA 벤치마크를 오픈소스화했습니다.
2. 모달리티 간 체계적 비교: 오픈소스 모델을 활용한 이미지 기반 검색과 하이브리드 텍스트 검색의 성능을 과학 문서에 대해 직접 비교했습니다.
3. 멀티모달 퓨전의 효과 입증: 텍스트와 이미지가 서로 다른 실패 모드 (Complementary Failures) 를 보이며, 이를 융합한 멀티모달 하이브리드 검색이 단일 모달리티보다 우수한 성능을 낸다는 것을 증명했습니다.
4. MUVERA 효율성 분석: 다중 벡터 임베딩의 저장 및 계산 비용 문제를 해결하기 위한 MUVERA 인코딩의 성능 - 효율성 트레이드오프를 정량화했습니다.
5. 폐쇄형 vs 오픈소스 모델 격차 분석: Cohere Embed v4 와 Voyage 3 Large 와 같은 최신 폐쇄형 모델의 성능을 평가하여 오픈소스 모델과의 현재 성능 격차를 규명했습니다.

4. 주요 결과 (Key Results)

4.1 검색 (Retrieval) 성능

• 오픈소스 모델 비교:
  • Recall@1: 텍스트 기반 하이브리드 검색 (46%) 이 이미지 기반 (ColModernVBERT, 43%) 보다 약간 우세했으나, Recall@20에서는 이미지 기반 (93%) 이 텍스트 기반 (91%) 을 상회했습니다.
  • 상호 보완성: 텍스트만 성공한 쿼리 22 건, 이미지만 성공한 쿼리 18 건으로, 각 모달리티가 서로 다른 정보를 포착함을 보여줍니다.
  • 멀티모달 하이브리드: 텍스트와 이미지를 융합한 검색이 **Recall@1 49%, Recall@5 81%, Recall@20 95%**로 가장 높은 성능을 기록했습니다.
• 모델 크기 영향: ColPali, ColQwen2 와 같은 더 큰 멀티벡터 모델은 Top-rank (Recall@1) 성능을 향상시켰으나 (ColQwen2 49%), Recall@20 수준에서는 작은 모델과 유사한 성능을 보여 깊은 순위에서의 체감 효과는 감소했습니다.
• MUVERA: ef=1024 설정 시 ColModernVBERT 대비 Recall@1 에서 2%p 하락 (41%) 이 있었으나, 저장 공간을 50 배 이상 줄일 수 있는 효율성을 보였습니다.
• 폐쇄형 모델: Cohere Embed v4(이미지) 가 **Recall@1 58%**로 오픈소스 모델 및 Voyage 3 Large(텍스트, 52%) 를 압도했습니다.

4.2 질문 응답 (Question Answering) 성능

• 검색의 중요성: 검색이 없는 경우 (Parametric knowledge 만 의존) 정답 일치도는 0.16 으로 매우 낮았으며, 이는 질문이 외부 지식 없이 해결 불가능함을 의미합니다.
• 모달리티 비교:
  • k=1: 텍스트 RAG (0.62) 가 이미지 RAG (0.40) 보다 우세했습니다.
  • k=5: 텍스트 RAG (0.82), 이미지 RAG (0.71) 로 모두 성능이 크게 향상되었습니다.
  • 오라클 오버슈트: k=5 에서 검색된 5 개의 문서로 답변한 결과가, 정답 문서 하나만 제공받은 오라클 (Oracle k=1) 성능 (텍스트 0.74, 이미지 0.68) 을 능가했습니다. 이는 관련 페이지들의 맥락이 답변 생성에 필수적임을 시사합니다.
• 시각적 표현의 한계와 강점:
  • 대부분의 차트나 다이어그램은 텍스트 전사로도 충분히 답변 가능했습니다.
  • 하지만 t-SNE 플롯과 같은 추상적 시각화 (상대적 위치, 군집 기하학 등) 는 텍스트로 설명하기 어려워 이미지 기반 QA 에서만 높은 정확도 (70% vs 텍스트 30%) 를 보였습니다.
  • 반대로, 이미지 기반 검색은 정확한 텍스트 매칭 (예: 특정 약어 포함 여부) 에 취약하여 BM25 와 같은 희소 검색의 보완이 필요했습니다.

5. 의의 및 결론 (Significance & Conclusion)

• 시각적 문서 처리의 새로운 패러다임: 과학 문헌 검색에서 OCR 기반 텍스트 변환만이 전부가 아니며, 원본 이미지 기반의 멀티모달 접근법이 필수적일 수 있음을 입증했습니다.
• 하이브리드 접근의 필수성: 텍스트와 이미지는 상호 보완적인 강점을 가지므로, 단일 모달리티에 의존하기보다 멀티모달 하이브리드 검색이 최상의 성능을 보장합니다.
• 미래 방향성:
  • 에이전트 시스템: 쿼리 특성에 따라 텍스트와 이미지 가중치를 동적으로 조절하거나, 검색 단계에서는 이미지 임베딩을 활용하고 답변 생성 단계에서만 시각적 정보가 필요한 경우에만 이미지를 로드하는 효율적인 아키텍처가 제안됩니다.
  • 표현의 한계: 텍스트는 정확한 기호 매칭에 강점이 있고, 이미지는 공간적/구조적 정보 보존에 강점이 있으므로, 두 표현을 모두 활용하는 에이전트 검색 시스템이 과학적 지식 마이닝의 정밀도를 높일 것입니다.

이 연구는 IRPAPERS 를 통해 과학 문헌 검색 및 질문 응답 기술의 현재 상태를 정량화하고, 텍스트와 이미지의 융합이 미래 AI 시스템의 핵심 요소임을 강조합니다.