Efficient and High-Fidelity Omni Modality Retrieval

1. 문제 정의 (Problem)

기존의 멀티모달 검색 (Multimodal Retrieval) 모델들은 주로 텍스트와 이미지 (Vision) 두 가지 모달리티 간의 상호작용에 집중해 왔습니다. 그러나 실제 응용 환경에서는 텍스트, 이미지, 오디오, 비디오 등 **세 가지 이상의 이질적인 모달리티가 결합된 복잡한 쿼리 (Composed Queries)**를 처리해야 하는 요구가 증가하고 있습니다.

이러한 범용 (Universal) 검색 시스템을 구축하는 데는 두 가지 주요한 기술적 장벽이 존재합니다:

1. 계산 효율성 (Computational Efficiency): 대규모 토큰 시퀀스 (예: 이미지나 오디오 인코더에서 생성된 500 개 이상의 토큰) 를 직접 대형 언어 모델 (LLM) 에 입력하면 연산 비용이 급증하여 배치 크기 (Batch Size) 를 줄일 수밖에 없으며, 이는 대비 학습 (Contrastive Learning) 의 효과를 떨어뜨립니다.
2. 표현 충실도 (Representation Fidelity): 풍부한 멀티모달 데이터를 단일 임베딩 벡터로 압축할 때, 미세한 세부 정보 (Fine-grained details) 가 손실됩니다. 기존의 평균 풀링 (Average Pooling) 이나 [EOS] 토큰 사용은 정보 손실을 유발하며, 반면 토큰 수준의 상호작용을 유지하는 방법 (예: ColBERT) 은 저장 및 연산 비용이 너무 높아 대규모 시스템에 적용하기 어렵습니다.

2. 제안 방법: OmniRet (Methodology)

저자들은 위 문제들을 해결하기 위해 OmniRet이라는 새로운 범용 검색 프레임워크를 제안했습니다. 이는 텍스트, 비전, 오디오를 모두 처리할 수 있는 최초의 모델입니다.

핵심 아키텍처 및 구성 요소

1. 공유 미디어 리샘플러 (Shared Media Resampler):

   • 목적: 미디어 인코더에서 생성된 긴 토큰 시퀀스를 LLM 입력 공간에 맞는 컴팩트한 고정 크기 (Fixed-size) 의 잠재 벡터로 변환하여 효율성을 높입니다.
   • 구현: Perceiver 아키텍처를 기반으로 하며, 모든 모달리티에 걸쳐 공유되지만 각 모달리티별 특성 (Modality-specific) 을 반영하기 위해 별도의 '미디어 잠재 (Media Latents)'를 추가합니다.
   • 다양성 손실 (Diversity Loss): 리샘플링된 토큰들이 서로 중복되지 않고 다양한 정보를 담도록 하기 위해 직교성 (Orthogonality) 을 장려하는 정규화 손실 함수를 도입했습니다.

2. 어텐션 슬라이스드 와세르슈타인 풀링 (Attention Sliced Wasserstein Pooling, ASWP):

   • 목적: LLM 의 출력 히든 스테이트를 단일 벡터로 집계하면서도 토큰 수준의 미세한 정보를 보존합니다.
   • 원리: LLM 출력 토큰 집합을 확률 분포로 간주하고, 학습 가능한 참조 점 (Learnable References) 집합과의 거리를 기반으로 임베딩을 생성합니다.
   • 메커니즘:
     • 토큰 집합을 여러 1 차원 투영 (Projections) 으로 나누어 비교합니다.
     • 각 투영에서 'Monge Coupling'을 계산하여 분포의 정렬 정도를 측정합니다.
     • STM (Straight-Through Maximum) 추정기를 사용하여 이산적인 선택 (Hard Selection) 을 미분 가능하게 만들어, 중요한 토큰 정보를 선택적으로 추출하면서도 단일 벡터 시스템의 효율성을 유지합니다.

3. 학습 전략:

   • 약 600 만 개의 쿼리 - 타겟 쌍 (30 개 데이터셋) 을 사용하여 다중 태스크 학습을 수행했습니다.
   • LLM 은 고정 (Frozen) 하고, 새로운 모듈 (리샘플러, 풀링) 과 LLM 내부의 LoRA 어댑터만 학습시켰습니다.
   • 손실 함수: Hard-negative InfoNCE 손실, Triplet 손실, 그리고 위에서 언급한 Diversity 손실의 선형 결합을 사용합니다.

3. 주요 기여 (Key Contributions)

1. OmniRet 프레임워크: 텍스트, 비전, 오디오를 통합하여 처리하는 최초의 범용 검색 모델. 효율성 (리샘플러) 과 충실도 (ASWP) 문제를 동시에 해결했습니다.
2. 새로운 풀링 기법 (ASWP): 단일 벡터의 효율성을 유지하면서 토큰 수준의 세부 정보를 보존하는 새로운 임베딩 집계 방법론을 제시했습니다.
3. 대규모 학습 전략: 30 개 데이터셋, 600 만 쌍의 데이터를 활용한 포괄적인 다중 태스크 학습 전략을 수립했습니다.
4. ACM 벤치마크 (Audio-Centric Multimodal Benchmark): 기존 벤치마크에 없던 **구성된 오디오 검색 (Composed Audio Retrieval)**과 **오디오 - 비주얼 검색 (Audio-Visual Retrieval)**이라는 두 가지 새로운 태스크를 포함하는 새로운 평가 기준을 제안하고 공개했습니다.

4. 실험 결과 (Results)

• M-BEIR 및 MMEBv2 벤치마크: 13 개의 검색 태스크에서 OmniRet 은 구성 쿼리 (Composed Query), 오디오, 비디오 태스크에서 기존 최첨단 (SOTA) 모델들을 크게 능가했습니다. 특히 텍스트 - 비전 태스크에서도 경쟁력 있는 성능을 보였습니다.
• ACM 벤치마크: 제안된 새로운 벤치마크에서 OmniRet 은 구성된 오디오 검색 (A,T→A) 과 오디오 - 비주얼 검색 (A→V, V→A) 태스크에서 ImageBind, CLAP, OmniBind 등 강력한 베이스라인 모델들을 압도적으로 능가했습니다.
  • 특히, 오디오와 텍스트를 결합한 복잡한 쿼리를 이해하는 능력에서 다단계 파이프라인 (Text-to-Text) 보다 우수한 성능을 보여주었습니다.
• 효율성: ASWP 와 리샘플러를 통해 대규모 배치 학습이 가능해졌으며, 추론 속도는 기존 멀티모달 LLM 기반 모델 (VLM2VecV2 등) 대비 약 3.5 배 빠릅니다.

5. 의의 및 결론 (Significance)

이 논문은 멀티모달 검색의 지평을 '텍스트 - 이미지' 중심에서 '텍스트 - 이미지 - 오디오'를 아우르는 범용 (Omni-modal) 검색으로 확장했습니다.

• 기술적 혁신: 대규모 멀티모달 데이터를 효율적으로 처리하면서도 정보 손실을 최소화하는 아키텍처 (리샘플러 + ASWP) 를 설계하여, RAG(검색 증강 생성) 나 추천 시스템과 같은 실제 응용 분야에서 고도화된 멀티모달 이해가 가능해졌습니다.
• 데이터 및 평가: 오디오 중심의 새로운 벤치마크 (ACM) 를 통해 오디오와 비주얼의 상호작용을 평가할 수 있는 표준을 마련함으로써, 향후 연구의 방향성을 제시했습니다.

결론적으로, OmniRet 은 계산 효율성과 표현 충실도라는 상충되는 두 가지 목표를 동시에 달성하여 차세대 범용 멀티모달 검색 시스템의 새로운 표준을 제시한 연구입니다.