기술 요약: SaMer – 시각-언어 검색을 위한 객체-증거 보존형 토큰 병합

문제 정의

ColPali 및 ColQwen2와 같은 다중 벡터(multi-vector) 시각-언어 검색 시스템은 최대 유사도(MaxSim) 후기 상호작용(late interaction)을 통해 토큰 수준의 시각적 증거를 보존함으로써 세밀한 검색을 달alam합니다. 그러나 이 방식은 모든 이미지에 대해 수백에서 수천 개의 이미지 측 패치 임베딩을 저장하고 비교해야 하므로 상당한 저장 공간과 계산 비용이 발생합니다.

프루닝(pruning)이나 특징 기반 병합(feature-based merging)과 같은 기존의 토큰 압축 전략들은 이러한 비용을 줄이고자 시도합니다. 하지만 저자들은 이러한 방법들에서 발생하는 결정적인 실패 모드인 **객체-인스턴스 붕괴(object-instance collapse)**를 식별했습니다. 압축이 오로지 특징 유사성에만 의존할 경우, 서로 다른 객체 인스턴스(예: 두 명의 서로 다른 사람 또는 자동차)로부터 온 시각적으로 유사한 패치들이 하나의 표현으로 병합될 수 있습니다. 이는 향후 쿼리 토큰이 선택해야 할 데이타인 서로 다른 증거들을 붕괴시킵니다. 또한, 프루닝은 쿼리가 알려지기 전에 시각적 증거를 폐기하므로, 매칭에 필요한 특정 토큰을 제거할 위험이 있습니다. 핵심 과제는 쿼리에 의해 선택 가능한 매칭을 위해 필요한 객체 및 영역 수준의 증거를 손실하지 않으면서 이미지 측 토큰을 압축하는 것입니다.

방법론: SaMer

저자들은 원래의 후기 상호작용 인터페이스를 유지하면서, 포스트 프로젝터(post-projector) 시각 토큰을 $K$개의 대표 중심점으로 압축하도록 설계된 객체 인식형 토코 병합 프레임워크인 SaMer(Semantic-aware Merging)을 제안합니다.

1. 특징-공간 소프트 할당 (Feature-Spatial Soft Assignment)

SaMer은 $N$개의 포스트 프로젝터 시각 토큰을 $K$개의 병합된 토큰($K \ll N$)으로 압축합니다. 이 방식은 다음의 거리 메트릭을 결합하여 각 시각 토큰 $v_i$를 대표 $k$에 할당하는 특징-공간 소프트 할당 메커니즘을 채택합니다:

• 특징 유사도 (Feature Similarity): $1 - v_i^\top \mu_k$를 사용하여 의미론적으로 유사한 토큰들을 그룹화합니다.
• 공간적 일관성 (Spatial Coherence): $\gamma \|p_i - s_k\|_2^2$를 사용하여 시각적으로는 유사하지만 공간적으로 멀리 떨어진 영역들이 공격적으로 병합되는 것을 방지합니다.

대표값들은 단순한 폐기된 토큰이 아니라 정규화된 가중 중심점($r_k$)으로 형성되어, 압축된 표현이 MaxSim 스코어링과 호환되도록 보장합니다.

2. 객체 인식 병합 사전 (Object-Aware Merge Prior, 학습 시에만 사용)

서로 다른 인스턴스 간의 혼합을 방지하기 위해, SaMer은 객체 주석(annotation)을 보조적인 그라운딩 손실(grounding loss)이 아닌 **병합 사전(merge prior)**으로서 학습 중에만 활용합니다.

• 메커니즘: 시스템은 스톱 그래디언트(stop-gradient) 하드 할당을 사용하여 각 대표값에 대한 바운딩 박스(bbox) 레이블 분포를 추정합니다.
• 패널티: 인스턴스 불일치 패널티($P_{inst}$)가 거리 메트릭에 추가됩니다. 만약 특정 토큰을 대표값에 할당하는 것이 서로 다른 객체 인스턴스의 증거를 섞는 결과(즉, 토큰의 bbox 레이블이 대표값의 지배적인 레이블과 다른 경우)를 초래한다면, 해당 할당 가중치를 감소시킵니다.
• 추론: 추론 시점에 SaMer은 정답 바운딩 박스나 객체 탐지기를 필요로 하지 않습니다. 이는 학습 중에 적응된 프로젝션 레이어에 의존하여 무주석(annotation-free) 특징-공간 소프트 할당을 수행합니다.

3. 압축 인식 프로젝션 전용 적응 (Compression-Aware Projection-Only Adaptation)

압축된 표현을 검색 공간과 정렬하기 위해, SaMer은 비전 인코더와 언어 백본을 고정한 채 오직 공유 프로젝션 레이어만을 적응시킵니다.

• 프로젝션 레이어는 압축된 MaxSim 점수($S_K$)에 대한 다중 양성(multi-positive) InfoNCE 검색 손실을 사용하여 학습됩니다.
• 이를 통해 병합된 토큰이 백본 표현을 변경하거나 새로운 검색 아키텍처를 요구하지 않고도 MaxSim 스코어링에 효과적으로 남을 수 있도록 보장합니다.

주요 기여

1. 문제 프레이밍: 저자들은 시각 토큰 압축을 후기 상호작용 검색을 위한 증거 보존 문제로 재정의하며, 특징 기반 병합의 주요 실패 모드로 객체-인스턴스 붕괴를 식별했습니다.
2. SaMer 프레임워크: 객체 주석을 학습 시의 병합 사전로 사용하여 서로 다른 인스턴스 간의 병합을 억제하는 객체 인식형 토큰 병합 방법을 제안하며, 추론 시에는 주석이나 탐지기가 필요하지 않습니다.
3. 효율성 및 성능: SaMer은 $K=64$일 때, ColPali의 저장 공간을 16.09배 줄이면서도 프루닝 및 풀링 베이스라인보다 검색 성능(R@1)과 구절 수준의 그라운딩(phrase-level grounding)을 동시에 개선함을 입증했습니다.

실험 결과

저자들은 Flickr30K, MSCOCO, ImageCoDe, DocVQA에서 SaMer을 평가했습니다.

• 검색 성능:
  • Flickr30K에서 SaMer은 ColPali의 R@1을 77.0에서 82.4로, ColQwen2의 R@1을 73.6에서 79.3으로 향상시켰습니다.
  • MSCOCO에서 ColPali의 R@1은 47.4에서 51.6으로 향상되었습니다.
  • SaMer은 동일한 토큰 예산($K=64$) 및 적응 설정 하에서 압축 베이스라인(H-Pool, HPC, SAP)보다 일관되게 우수한 성능을 보였습니다.
• 그라운딩 품질:
  • SaMer은 우수한 구절 수준 그라운딩을 보여주었습니다. BoxMass(주석된 영역 내부의 관련성 집중도)와 같은 지표가 47.8에서 54.2로 증가했고, CoverageIoU는 13.1에서 16.4로 개선되었습니다.
  • 이는 SaMer이 프루닝이나 단순 풀링이 관련성을 배경이나 주변 객체로 분산시키는 것과 달리, 쿼리에 의해 선택 가능한 객체 증거를 더 잘 보존함을 나타냅니다.
• 효율성:
  • ColPali의 경우, SaMer은 저장 공간을 16.09배 줄였고 MaxSim 연산을 16.1배 줄였습니다.
  • 쿼리 처리량(QPS)은 Flickr30K에서 4.3배, MSCOCO에서 9.1배 증가했습니다.
  • ColQwen2의 경우, 저장 공간은 각각 Flickr30K에서 3.73배, MSCOCO에서 1.99배 감소했으며, 그에 따른 처리량 이득이 있었습니다.

의의 및 주장

본 논문은 검색 압축의 효과가 단순히 토큰 수를 줄이는 것이 아니라, 미래의 쿼리 토큰이 선택해야 할 증거를 보존하는 것에 달려 있다고 주장합니다.

저자들의 주장은 다음과 같습니다:

1. 객체 인식 병합은 특징 전용 풀링보다 우수하다: 단순히 유사한 패치를 병합하는 것은 서로 다른 객체 인스턴스를 붕괴시킬 수 있는 반면, SaMer의 객체 인식 사전은 미세한 검색에 필요한 구별 능력을 유지합니다.
2. 학습 시의 사전 정보는 추론 시의 효율성을 가능하게 한다: 객체 주석을 학습 시의 병합 사전으로만 사용함으로써, SaMer은 추론 중에 객체 탐지기를 실행하는 계산 오버헤드 없이 객체 일관성이 있는 압축을 달성합니다.
3. 프로젝션 전용 적응만으로도 충분하다: 프로젝션 레이어를 통해 검색 공간을 정렬하는 것만으로도 백본을 고정한 채 높은 성능을 유지할 수 있어, 이 방법이 기존의 다중 벡터 검색기에 플러그 앤 플레이(plug-and-play) 방식으로 적용될 수 있게 합니다.

결과적으로 효율적인 다중 벡터 검색을 위해서는 압축과 쿼리에 의해 선택 가능한 객체 수준의 증거 보존 사이의 균형이 필요함을 시사합니다.