기술 요약: 패치 백을 넘어: 후기 상호작용 시각 문서 검색을 위한 텍스트 감독을 통한 글로벌 레이아웃 학습

1. 문제 제기

시각 문서 검색 (VDR) 은 생성된 콘텐츠의 사실적 근거를 결정하는 검색 요소가 검색 품질에 따라 달라지는 검색 증강 생성 (RAG) 의 핵심 구성 요소입니다. 최근 VDR 모델들은 문서를 로컬 패치 임베딩의 집합으로 표현하는 후기 상호작용 아키텍처(예: ColPali, ColQwen) 를 채택해 왔으나, 이러한 접근법은 근본적인 구조적 한계를 겪고 있습니다.

일반적으로 MaxSim(최대 유사도) 점수 함수를 활용하는 표준 후기 상호작용 메커니즘은 문서 페이지를 "패치 백 (bag-of-patches)"으로 취급합니다. 이 공식은 쿼리 토큰과 고립된 문서 패치 (예: 특정 테이블 셀 또는 도표 영역) 간의 로컬 유사성을 우선시하지만, 페이지의 공간적 관계와 글로벌 레이아웃 구조는 무시합니다. 텍스트, 테이블, 도표를 결합한 이질적인 레이아웃이 포함된 실제 도메인에서는 관련성이 종종 이러한 요소들이 페이지 전체에 걸쳐 어떻게 상호작용하는지에 달려 있습니다. 결과적으로 후기 상호작용 모델은 분산된 증거를 가진 글로벌 관련성 페이지와 필요한 구조적 맥락이 결여되었지만 피상적인 로컬 어휘적 중복을 포함하는 방해 페이지를 구별하는 데 자주 실패합니다.

2. 방법론

저자들은 추론 중 텍스트 설명자가 필요 없이 학습 가능한 글로벌 구조 병목 현상을 표준 후기 상호작용 검색에 보강하는 멀티모달 인코더인 Gbl-Desc-FT를 제안합니다. 핵심 혁신은 추론 중 텍스트 설명자가 필요 없이 페이지 수준 레이아웃 정보를 포착하도록 최적화된 학습 가능한 글로벌 토큰($g_v$) 의 도입입니다.

2.1 아키텍처

이 모델은 비전 대형 언어 모델 (VLLM) 백본 (특히 ColQwen2.5 에서 초기화됨) 을 기반으로 구축됩니다.

• 글로벌 토큰: 학습 가능한 토큰 $g_v \in \mathbb{R}^d$이 시각적 패치 임베딩 시퀀스 $I$에 추가됩니다.
• 맥락화: 결합된 시퀀스 $[I; g_v]$는 VLLM 의 자기 주의 레이어를 통해 처리됩니다. 이를 통해 글로벌 토큰이 모든 패치를 동시에 주시할 수 있게 되어, 독립적인 패치 매칭에서 손실되는 상대적 공간적 관계 (예: 도표와 캡션의 근접성) 가 인코딩됩니다.
• 추론: 추론 시 모델은 순수한 시각 검색기로 작동합니다. 글로벌 토큰이 쿼리와 문서 시퀀스 모두에 추가되며, 확장된 시퀀스에 대한 표준 후기 상호작용 MaxSim 함수를 사용하여 관련성이 점수화됩니다. 이 단계에서는 텍스트 설명자가 필요하지 않습니다.

2.2 훈련 전략: 설명자 기반 구조 감독

글로벌 토큰이 레이아웃 사전 지식을 표현하도록 가르치기 위해 저자들은 자동으로 생성된 설명자를 사용하는 텍스트 구조 감독 전략을 사용합니다. 이러한 설명자는 세밀한 텍스트 내용을 포함하지 않고 페이지의 공간적 조직 (예: 열 위치, 테이블 존재 여부, 헤더 계층 구조) 을 요약합니다.

훈련 목적 함수는 다음 세 가지 구성 요소로 이루어진 결합 손실 함수입니다:

1. 검색 손실 ($L_{retrieval}$): 쿼리 토큰과 문서 패치 임베딩을 정렬하는 표준 후기 상호작용 손실.
2. 글로벌 정렬 손실 ($L_{global}$): 레이아웃 설명자에서 파생된 텍스트 글로벌 토큰 ($g_{desc}$) 과 시각적 글로벌 토큰 ($g_v$) 을 정렬하는 InfoNCE 대비 손실. 이는 시각적 토큰이 고수준 레이아웃 의미론에 대한 잠재적 대리인으로 작용하도록 강제합니다.
3. 로컬 정렬 손실 ($L_{local}$): 텍스트 설명자에서 가장 관련성 높은 토큰과 로컬 패치 임베딩을 정렬하도록 장려하는 손실로, 패치 수준에서 구조적 일관성을 보장합니다.

업데이트는 계산 효율성을 유지하기 위해 기본 비전 인코더와 LLM 가중치를 고정하고 VLLM 내의 LoRA 어댑터로만 제한됩니다.

3. 주요 기여

이 논문은 현재 VDR 연구의 세 가지 특정 격차를 식별하고 해결합니다:

1. 구조적 한계 식별: 저자들은 후기 상호작용 MaxSim 점수화가 페이지 수준 구조를 모델링할 메커니즘이 부족하여 레이아웃이 중요한 문서에서 검색 오류를 초래한다는 것을 실증적으로 입증합니다.
2. 학습 가능한 글로벌 병목: 그들은 로컬 패치가 페이지 수준 레이아웃에 의해 맥락화될 수 있도록 교차 영역 구조적 관계를 인코딩하는 학습 가능한 글로벌 토큰을 도입합니다.
3. 훈련 전용 감독: 그들은 구조적 신호가 추론 시 설명자 생성의 계산 오버헤드 없이 학습 중 텍스트 설명자를 통해 모델 매개변수로 증류될 수 있음을 입증합니다.

4. 실험 결과

이 모델은 네 가지 다양한 데이터셋 (경제, 생의학, ESGH(인간 라벨링), ESGR(레스토랑)) 을 포함하는 ViDoRe-v2벤치마크에서 평가되었습니다.

• 성능 향상: Gbl-Desc-FT 는 평균적으로 가장 강력한 아키텍처 비교 기준 모델인 ColQwen2.5보다 +2.4 nDCG@5 및 +2.3 MAP@5만큼 더 높은 성능을 기록했습니다.
• 통계적 유의성: ColQwen2.5 대비 데이터셋별 Wilcoxon 부호 순위 검정 ($p < 0.05$) 을 통해 개선 사항이 통계적으로 유의미함이 입증되었습니다.
• 효율성: 3B 파라미터 Gbl-Desc-FT 모델은 특히 ESGH 및 ESGR 과 같은 레이아웃이 무거운 데이터셋에서 4.4B 인 Nemo-3b 및 7B 인 ColNomic-7B 와 같은 훨씬 더 큰 모델과 비교하여 경쟁력 있거나 더 우수한 성능을 달성했습니다.
• 절제 연구:
  • 로컬 패치를 제거하면 성능이 급격히 저하되어 세밀한 매칭을 위해 로컬 증거가 여전히 주된 역할을 한다는 것이 확인되었습니다.
  • 글로벌 토큰을 제거하면 작지만 일관된 감소가 발생하여 토큰이 최적의 구조적 앵커링을 제공함을 입증했습니다.
  • 학습된 글로벌 토큰을 단순 풀링 전략 (평균, 최대, 중앙값) 으로 대체하면 심각한 성능 저하가 발생하여 학습된 토큰이 비자명한 구조적 신호를 포착함을 검증했습니다.
• 오라클 비교: 이 모델은 추론 시 텍스트 설명자를 연결하는 미세 조정 기준 모델인 CrossContext-FT와 동등한 성능을 보였으며, 추론 시 설명자를 사용하는 제로샷 기준 모델인 CrossContext-ZS보다 우수한 성능을 기록했습니다. 이는 모델이 훈련 중 레이아웃 정보를 성공적으로 내부화했음을 확인시켜 줍니다.

5. 중요성과 주장

이 논문은 패치 수준 유사성만으로는 회복할 수 없는 시각 문서 검색을 위한 구조적 귀납적 편향을 제공하는 접근법을 주장합니다. 글로벌 레이아웃 신호를 검색 표현 자체의 일부로 인코딩하는 법을 학습함으로써, 이 방법은 교차 영역 상호작용 (예: 서술 텍스트를 특정 도표에 연결) 에 관련성이 의존하는 도메인에서 더 견고한 검색을 가능하게 합니다.

저자들은 이 방법이 추론 시 무시할 수 있는 오버헤드로 표준 시각 검색 파이프라인의 효율성을 유지하면서 "패치 백"의 한계를 극복한다고 강조합니다. 결과는 명시적인 구조적 편향을 가진 컴팩트한 모델이 시각적으로 이질적인 문서에서 훨씬 더 큰 인코더와 일치하거나 능가할 수 있음을 시사하며, 복잡한 문서 레이아웃을 다루는 RAG 시스템을 위한 확장 가능한 솔루션을 제공합니다.