VLD-RAG: Agentic Vision-Language Retrieval-Augmented Generation for Long, Visually-Rich Multi-Page Documents

기술 요약: VLD-RAG

문제 정의

시각적으로 풍부한 문서(예: 보고서, 슬라이드, 매뉴얼)는 질문에 답하는 데 필요한 증거를 여러 페이지에 걸쳐 분산시켜 놓는 경우가 많으며, 텍스트와 복잡한 레이아웃, 표, 차트, 그림을 혼합하여 배치합니다. 텍스트 중심의 환경을 위해 설계된 표준 Retrieval-Augmented Generation (RAG) 파이프라인은 이러한 시나리오에서 성능이 저하됩니다. 페이지를 일반 텍스트로 변환하면 정보 손실이 발생하여, 올바른 해석에 필수적인 레이아웃 의미론, 공간적 관계, 비텍스트적 단서들이 가려질 수 있습니다. 또한, 기존의 비전 우선(vision-first) 접근 방식들도 문제에 직면해 있습니다: 추출된 텍스트나 OCR에 의존할 경우 구조적 신호를 놓칠 수 있고, 어휘적 신호와 의미적 신호를 나이브하게 결합하는 방식은 두 양상(modality)이 불일치할 때 취약할 수 있으며, 단판 승부식(single-shot) 검색은 여러 페이지에 흩어진 다단계 증거 발견이 필요한 긴 문서에 대해 불충분한 경우가 많습니다.

방법론: VLD-RAG 프레임워크

저자들은 다중 페이지 증거 검색 및 페이지 간 추론을 위해 설계된 에이전트 기반 멀티모달 RAG 프레임워크인 VLD-RAG를 제안합니다. 이 시스템은 세 가지 주요 단계로 작동합니다:

1. 이중 공간 문서 표현 (Dual-Space Document Representation)

VLD-RAG는 상호 보완적인 신호를 보존하기 위해 이중 인덱스 아키텍처를 채택합니다:

• 비전 인덱스 (Visual Index): 페이지 이미지는 비전 인코더(ColPali)를 사용하여 밀집된 비전-언어 임베딩($v_i$)으로 인코딩됩니다. 이는 "페이지 이미지로 검색한다"는 철학을 준수하며, 통합된 공간 내에서 시각적 레이아웃과 텍러적 의미를 모두 보존합니다.
• 텍스트 인덱스 (Text Index): 페이지는 레이아웃 정보(표, 그림, 헤딩)를 보존하는 구조화된 Markdown으로 파싱됩니다. 이들은 직렬화되어 청크 임베딩($t_{i,j}$)으로 인덱싱됩니다. 이를 통해 증거의 충실한 재구성과 정밀한 어휘 매칭(ID, 숫자, 희귀 엔티티 등)이 가능해집니다.

2. 멀티모달 쿼리 구성 및 하이브리드 검색

쿼리 $q$가 수신되면, 시스템은 핵심 엔티티, 시각적 앵커, 예상되는 증거 유형을 포함하는 구조화된 검색 의도(intent)를 생성하기 위해 멀티모달 쿼리 분해를 수행합니다. 검색 프로세스는 두 가지 브랜치를 결합합니다:

• 희소 어휘 검색 (Sparse Lexical Retrieval): 쿼리에서 키워드($k$)를 추출하여 표준 용어 빈도 기반 검색을 수행합니다.
• 밀집 의미 검색 (Dense Semantic Retrieval): 언어 모델(Gemma3n)을 사용하여 쿼리에 조건화된 "가설 문서(hypothetical document)"($h$)를 생성합니다. 이 합성 문서는 이상적인 답변을 담고 있는 페이지의 내용을 근사하며, 쿼리와 문서 사이의 의미적 간극을 메워줍니다. 가설 문서는 밀집 비전-언어 임베딩($e_h$)으로 인코딩되어 ANN 검색을 통해 페이지 임베딩과 매칭됩니다.

양상 일관성 융합 (Modality-Consistent Fusion):
두 브랜치의 후보들은 병합됩니다. 양상 간의 불일치를 처리하기 위해, 일관성 제약이 적용된 융합 점수가 계산됩니다:
$$s(i) = \alpha s_{sparse}(i) + (1 - \alpha) s_{dense}(i) - \lambda \Delta(i)$$
여기서 $\Delta(i)$는 희소 신호와 밀집 신호가 크게 불일치하는 후보에 대해 페널티를 부여합니다.

3. 에이전트 워크플로우 및 반복적 정교화

VLD-RAG는 검색 에이전트(Retrieval Agent), 답변 에이전트(Answer Agent), 검증 에이전트(Validation Agent)가 포함된 검증 가이드 에이전트 워크플로우를 활용합니다.

• 증거 기반 생성 (Evidence-Grounded Generation): 생성기는 검색된 페이지 영역, 파싱된 Markdown 스팬, 그리고 메타데이터에 근거하여 답변을 생성합니다.
• 검증 루프 (Verification Loop): 검증 에이전트는 생성된 답변이 증거에 의해 충분히 뒷받침되는지 확인합니다(신뢰 임계값 $\tau$). 검증에 실패할 경우(예: 인용 누락 또는 낮은 신뢰도), 시스템은 반복적 정교화(iterative refinement) 단계를 트리거합니다. 누락된 증거를 바탕으로 쿼리가 정교화($q'$)되며, 업데이트된 의도와 함께 검색 프로세스가 반복됩니다.

주요 기여

1. 이중 인덱스 아키텍처: 페이지 수준 임베딩을 통해 시각적 레이아웃 단서를 보존하는 동시에, 구조화된 Markdown 직렬화를 통해 정밀한 어휘적 신호를 유지하는 비전-언어 문서 RAG 프레임워크입니다.
2. 양상 일관성 하이브리드 검색: 일관성 제약을 사용하여 양상 간의 합의를 명시적으로 모델링함으로써, 교차 양상 불일치에 대한 견고성을 높이는 검색 전략입니다.
3. 검증 가이드 에이전트 루프: 반복적인 쿼리 정교화를 통해 신뢰할 수 있는 다중 페이지 증거 발견을 가능하게 하는 메커즘으로, 복잡한 교차 페이지 질문에 대한 단판 검색의 불충분함을 해결합니다.

실험 결과

본 프레임워크는 두 가지 멀티모달 롱 도큐먼트 벤치마크인 LongDocURL과 MMLongBench-Doc에서 평가되었습니다.

• 검색 성능: VLD-RAG는 모든 top-K 설정($K \in \{1, 3, 5\}$)에서 Recall@K, NDCG, MRR 측면에서 베이스라인(M3DocRAG, MDocAgent, MoLoRAG 포함) 대비 일관된 개선을 보여주었습니다.
  • MMLongBench-Doc에서 VLD-RAG는 가장 높은 Recall 및 랭킹 품질 지표를 달성했습니다.
  • 더 긴 문서와 다중 페이지 질문의 비율이 높은 LongDocURL에서, VLD-RAG는 텍스트 전용 및 이미지 전용 베이스라인을 능가하며 특히 강력한 Recall 및 NDCG 상승을 보였습니다.
• 분석: 결과는 하이브리드 접근 방식이 위치 인식 관련성(position-aware relevance)을 효과적으로 포착하며, 이는 다중 페이지 검색에 매우 중요하다는 것을 나타냅니다. 가설 문서 생성의 통합은 특히 증거가 복잡한 레이아웃 내에 포함되어 있을 때 의미적 간극을 메우는 데 도움을 주었습니다. 일부 베이스라인이 중간 단계의 K 값에서 더 높은 정밀도(Precision)를 달성하기도 했으나, V-RAG의 우수한 Recall 및 랭킹 지표는 포괄적인 증거 커버리지가 필요한 RAG 작업에 있어 더 높은 전반적 유효성을 시사합니다.

의의

본 논문은 정답이 여러 페이지에 흩어진 증거에 의존할 때, 조율된 에이전트 검증과 멀티모달 하이브리드 검색이 신뢰할 수 있는 그라운딩(grounding)을 위해 필수적이라고 주장합니다. 시각적 레이아웃 정보를 유지하면서도 정밀한 어휘 매칭을 유지함으로써, VLD-RAG는 시각적으로 풍부한 롱 도큐먼트 맥락에서의 기존 RAG 시스템의 한계를 해결합니다. 본 연구의 결과는 효과적인 멀티모달 RAG를 위해서는 단순히 더 나은 인코더뿐만 아니라, 양상을 융합하기 위한 구조적 전략과 누락된 증거를 회복하기 위한 반복적 메커즘이 필요함을 강조합니다.