CausalEmbed: Auto-Regressive Multi-Vector Generation in Latent Space for Visual Document Embedding

1. 연구 배경 및 문제 정의 (Problem)

비주얼 문서 검색 (Visual Document Retrieval, VDR) 은 광범위한 문서 컬렉션에서 관련 페이지를 검색하는 작업으로, 현대 정보 시스템 및 RAG(검색 증강 생성) 의 핵심 요소입니다. 최근 멀티모달 대규모 언어 모델 (MLLM) 의 발전으로 인해 텍스트 기반 OCR 없이 문서 페이지를 시각적 엔티티로 직접 처리하는 방식이 주류를 이루고 있습니다.

• 기존 방식의 한계:
  • 단일 벡터 (Single-vector): 전체 페이지를 하나의 벡터로 인코딩하지만, 내용이 풍부한 페이지의 세부적인 시각적 복잡성을 포착하는 데 한계가 있습니다.
  • 기존 다중 벡터 (Multi-vector, 예: ColPali): 페이지를 수백~수천 개의 패치 (patch) 단위로 나누어 각각을 벡터로 표현합니다. 이는 검색 정확도는 높지만, 저장 비용 (Storage Overhead) 이 매우 크고 실제 배포 환경에서 확장성 (Scalability) 이 떨어지는 치명적인 단점이 있습니다.
  • 기존 압축 기법의 한계: 기존 연구 (클러스터링, 가지치기 등) 는 기존에 생성된 밀집된 (dense) 표현에서 토큰을 선택하거나 병합하는 방식이라, 원본 표현의 품질에 의존하며 성능 저하가 불가피합니다.

핵심 질문: MLLM 의 생성 능력을 활용하여, 패치 수준의 다중 벡터 표현에서 발생하는 과도한 중복성을 줄이면서도 고품질의 임베딩을 생성할 수 있을까요?

2. 제안 방법론: CausalEmbed (Methodology)

저자들은 CausalEmbed라는 새로운 프레임워크를 제안합니다. 이는 고정된 크기의 패치 기반 인코딩을 탈피하여, 자기회귀 (Auto-Regressive) 방식으로 잠재 공간 (Latent Space) 에서 다중 벡터 임베딩을 순차적으로 생성하는 접근법입니다.

• 핵심 메커니즘:

  • 자기회귀 생성: 사전 훈련된 MLLM 을 미세 조정하여, 문서 페이지나 텍스트 쿼리에 대해 토큰 단위 (token-wise) 로 잠재 벡터 시퀀스를 순차적으로 생성합니다.
  • 동적 생성 정책: 고정된 토큰 수 대신, 모델이 학습된 생성 정책을 통해 필요한 만큼의 임베딩 벡터를 동적으로 생성합니다.
  • 학습 목표 (Training Objective):
    1. Contrastive Loss (Lm): 긍정 쌍과 부정 쌍 간의 마진 (margin) 을 최대화하는 기존 대비 학습을 기반으로 합니다.
    2. Progressive Refinement Loss (Ld): 문서 임베딩 시퀀스에서 추가되는 각 토큰이 검색 성능을 점진적으로 향상시켜야 함을 강제합니다 (Telescoping sum).
    3. Diversity Regularization (Lq): 생성된 쿼리 토큰들 간의 유사도를 패널티하여, 모델이 반복적인 패턴으로 붕괴 (collapse) 되는 것을 방지하고 다양성을 유지하도록 합니다.

• 그라디언트 흐름의 이점:

  • 기존 병렬 패치 방식은 특정 토큰만이 그라디언트 신호를 받지만, CausalEmbed 는 자기회귀적 의존성으로 인해 생성 체인 전체에 그라디언트가 전파되어 학습 효율성이 크게 향상됩니다.

3. 주요 기여 (Key Contributions)

1. 새로운 패러다임 제안: 시각적 문서 임베딩을 위한 순차적 자기회귀 생성 방식을 도입하여, 기존의 병렬 패치 기반 인코딩을 대체했습니다.
2. 압축 효율성과 성능의 최적 균형: 기존 가지치기 (pruning) 기반 베이스라인보다 극단적인 압축 비율 (약 30 배) 에서도 우수한 성능을 달성했습니다.
3. 테스트 시간 스케일링 (Test-time Scaling) 특성 발견: 추론 시 생성되는 토큰 수를 동적으로 조절함으로써, 지연 시간 (latency) 과 정확도 사이의 균형을 유연하게 조정할 수 있는 특성을 발견했습니다. 이는 '마트료시카 (Matryoshka)' 표현 학습과 유사한 성질을 보입니다.
4. 강력한 일반화 능력: Qwen2.5-VL(강력한 백본) 과 PaliGemma(상대적으로 약한 백본) 등 다양한 모델 아키텍처에서 일관된 성능 향상을 보여주었습니다. 특히 PaliGemma 에 적용 시 ColPali 전체 리소스 대비 30 배 적은 토큰으로 14.6% 이상의 성능 향상을 기록했습니다.

4. 실험 결과 (Results)

• 벤치마크 성능: ViDoRe V1, V2, V3 등 다양한 시각적 문서 검색 벤치마크에서 평가되었습니다.
  • 압축률: 기존 ColPali(약 1,000 토큰) 대비 30~155 배의 토큰 수 감소 (약 32 토큰 수준) 를 달성했습니다.
  • 정확도: ViDoRe V2 및 V3 에서 기존 최상위 가지치기 기법 (SemCluster, K-Means 등) 보다 nDCG@5 점수가 현저히 높았습니다.
  • PaliGemma 적용: CausalPali 는 ColPali 전체 리소스 모델보다 모든 ViDoRe 버전에서 약 5% 높은 성능을 기록하며, 생성 방식의 우월성을 입증했습니다.
• 지연 시간 (Latency): 자기회귀 생성으로 인한 쿼리 인코딩 오버헤드가 있더라도, 토큰 수 감소로 인한 Late Interaction (MaxSim) 계산 속도가 약 11.8 배 빨라져 전체 엔드 - 투 - 엔드 지연 시간이 개선되었습니다.
• 테스트 시간 스케일링: 추론 시 토큰 수를 1 에서 32 로 늘리면 성능이 꾸준히 향상되며, 이는 도메인 (의학, 에너지, AI 등) 과 언어에 관계없이 일반화되는 특성임을 확인했습니다.

5. 의의 및 결론 (Significance)

CausalEmbed 는 시각적 문서 검색 분야에서 저장 공간과 계산 비용을 획기적으로 줄이면서도 고품질의 검색 성능을 유지할 수 있는 실용적인 솔루션을 제시합니다.

• 실용성: 수천 개의 벡터를 저장해야 했던 기존 다중 벡터 방식의 배포 장벽을 낮추어, 실제 산업 환경 (기업 검색, RAG 등) 에 적용 가능성을 높였습니다.
• 이론적 통찰: 자기회귀 생성이 임베딩 작업에서 어떻게 효율적인 학습과 테스트 시간의 유연한 스케일링을 가능하게 하는지에 대한 이론적, 실험적 근거를 마련했습니다.
• 미래 방향: 생성형 AI 가 단순한 텍스트/이미지 생성을 넘어, 효율적인 정보 검색 및 임베딩 생성의 핵심 패러다임으로 자리 잡을 수 있음을 시사합니다.

결론적으로, 이 논문은 저장 효율성과 검색 정확도 사이의 트레이드오프를 해결하고, 적응형 추론 (Adaptive Inference) 을 가능하게 하는 차세대 멀티모달 임베딩 기술의 새로운 지평을 열었다고 평가할 수 있습니다.