기술 요약: UniMoCo

문제 정의

현재의 비전 - 언어 모델 (VLM) 과 다중 모달 임베딩 방법은 쿼리와 대상이 다양하고 종종 불완전한 모달리티 조합을 포함하는 실제 시나리오에서 상당한 도전에 직면해 있습니다. CLIP, BLIP, 그리고 최근의 LVLM 기반 임베딩 (예: VLM2VEC) 과 같은 기존 접근법들은 통합된 표현을 학습하려는 목표를 가지고 있지만, 대부분 이중 인코더 아키텍처나 얕은 융합에 의존하여 훈련 중에 단일하고 일관된 임베딩 공간 내에서 가능한 모든 모달리티 조합을 정렬하지 못합니다.

이러한 한계는 주로 훈련 데이터 내의 불균형한 모달리티 조합에서 비롯됩니다. 예를 들어, 훈련 데이터셋은 종종 두 모달리티가 모두 존재하는 텍스트 - 이미지 쌍이나 특정 쿼리 - 대상 구성 (예: 텍스트 - 이미지 쿼리에 대한 텍스트 대상) 을 지나치게 선호합니다. 결과적으로 모델들은 모달리티 조합 편향을 보이며, 빈번한 패턴에서는 잘 수행되지만 추론 중에 드물거나 누락된 모달리티 (예: 텍스트만 있는 쿼리 또는 대상) 를 마주칠 때 견고성이 저하됩니다. 전통적인 방법들은 시각 모달리티가 부재할 때 일관된 임베딩을 생성하는 데 어려움을 겪어 잠재 공간에서의 정렬 불일치를 초래합니다.

방법론

이러한 근본적인 한계를 해결하기 위해 저자들은 입력 가용성에 관계없이 쿼리와 대상 모두에 대한 모달리티 완전성을 보장하도록 설계된 새로운 프레임워크인 UniMoCo(Unified Modality Completion, 통합 모달리티 완성) 를 제안합니다.

아키텍처

UniMoCo 는 대규모 비전 - 언어 모델 (LVLM) 백본 (예: Phi-3.5V 또는 Qwen2-VL-7B) 을 기반으로 구축되었으며, 세 가지 핵심 구성 요소를 통합합니다:

1. 모달리티 완성 모듈: 시각 모달리티가 부재할 때 (예: 텍스트만 입력), 이 모듈은 텍스트에서 직접 시각 임베딩을 합성합니다. 이를 위해 "가상 시각 토큰"을 생성하는 소형 텍스트 - 이미지 (T2I) 언어 모델을 활용합니다.
2. 보조 비전 인코더: 텍스트에서 생성된 가상 시각 임베딩과 이미지에서 추출된 실제 시각 임베딩 간의 분포적 격차를 해소하기 위해 전용 비전 인코더가 추가됩니다. 이는 가상 임베딩이 실제 이미지 토큰과 동일한 특징 공간에 매핑되도록 보장합니다.
3. 패딩 전략: 구조적 일관성을 유지하기 위해 모듈은 텍스트 토큰을 패딩 토큰과 연결합니다. 이는 완성 모듈의 입력 길이가 실제 이미지에 대한 주요 비전 인코더가 생성하는 고정된 수의 시각 토큰 (예: 576 개 토큰) 과 일치하도록 하여, 유사성 매칭을 방해하는 길이 불일치를 방지합니다.

훈련 전략

UniMoCo 는 임베딩 공간을 통합하기 위해 두 가지 상호 보완적인 손실 함수를 결합한 특수한 훈련 전략을 사용합니다:

1. 대조 손실 ($L_1$): 임베딩 공간에서 일치하는 쿼리 - 대상 쌍을 가까이 당리고 불일치하는 쌍을 멀리 밀어내는 표준 InfoNCE 손실입니다.
2. 보조 손실 ($L_2$): 모달리티가 완전한 입력과 모달리티가 누락된 입력 간의 격차를 메우도록 설계된 교차 엔트로피 손실입니다. 이미지와 텍스트를 모두 포함하는 입력의 경우, 모델은 이미지를 제거하고 가상 시각 토큰을 생성하여 "가상" 버전을 구성합니다. $L_2$는 원래 입력의 임베딩과 모달리티가 완성된 대응물 간의 교차 엔트로피를 최소화합니다. 이는 모델이 모달리티 불변 표현을 학습하도록 강제하여, 실제 이미지가 포함된 입력과 합성된 가상 이미지가 포함된 동일한 입력이 일관된 임베딩을 생성하도록 합니다.

최종 목적 함수는 $L = L_1 + \alpha L_2$이며, 여기서 $\alpha$는 대조 학습의 판별 능력과 보조 손실이 부여하는 일관성 사이의 균형을 맞춥니다.

주요 기여

1. 통합 모달리티 완성: 저자들은 누락된 시각 특징을 텍스트에서 합성하는 경량 아키텍처를 도입하여, 시각 입력이 부재할 때에도 다중 모달 표현이 완전하게 유지되도록 보장합니다.
2. 견고한 훈련 전략: 저자들은 모달리티 완성 모듈의 잠재력을 극대화하고 다양한 모달리티 조합 전반에 걸쳐 일관된 정렬을 보장하기 위해 대조 학습과 보조 손실을 결합한 훈련 프레임워크를 개발했습니다.
3. 편향 완화: 이 논문은 불균형한 훈련 데이터로 인해 기존 접근법에서 발생하는 내재적 편향을 식별하고 정량화합니다. UniMoCo 는 이러한 편향을 효과적으로 완화하여 지배적인 조합뿐만 아니라 모든 모달리티 조합에서 견고한 성능을 발휘하는 것으로 입증되었습니다.

실험 결과

저자들은 분류, 검색, 시각 질문 답변 (VQA), 그리고 분포 내 (IND) 및 분포 외 (OOD) 데이터셋에 걸친 시각적 그라운딩을 다루는 MMEB(Massive Multimodal Embedding Benchmark) 에서 UniMoCo 를 평가했습니다.

• 성능: UniMoCo 는 미세 조정된 CLIP, OpenCLIP, BLIP2, SigLIP, 그리고 강력한 LVLM 기반 VLM2VEC 을 포함한 기존 베이스라인을 능가합니다. UniCo 의 Qwen2-VL-7B 변형은 63.2의 최고 전체 점수를 달성했으며, VLM2VEC(52.0) 에 비해 OOD 설정에서 58.4 로 상당한 개선을 보였습니다.
• 모달리티 견고성: 누락된 모달리티가 포함된 작업 (예: $(T, T+I)$ 또는 $(T+I, T)$) 에서 UniMoCo 는 우수한 일관성을 입증합니다. VLM2VEC 은 지배적인 훈련 조합에서는 잘 수행되지만 드문 조합에서는 성능이 크게 저하되는 반면, UniMoCo 는 모든 조합에서 높은 성능을 유지하여 모달리티 편향을 효과적으로 중화합니다.
• Ablation 연구:
  • 패딩 메커니즘이나 보조 비전 인코더를 제거하면 성능이 저하되어 구조적 및 분포적 정렬을 위해 이들이 필수적임을 확인했습니다.
  • 더 큰 T2I 모델 규모 (예: 7B 대 0.5B) 는 임베딩 품질을 지속적으로 향상시켜 확장 법칙과 일치합니다.
  • 보조 손실 가중치 ($\alpha$) 0.2가 최적의 균형으로 확인되었으며, 이는 주요 훈련 목적을 판별적 임베딩 학습에서 벗어나게 하지 않으면서 성능을 향상시킵니다.
• 효율성: 보조 손실로 인해 훈련 시 약 35% 의 지연 시간 증가와 20% 높은 피크 메모리가 발생하지만, 추론 오버헤드는 미미합니다 (지연 시간 8%, 메모리 10%). 따라서 성능 향상과 비교할 때 이 트레이드오프는 수용 가능합니다.

중요성과 주장

이 논문은 UniMoCo 가 실제 세계 데이터의 결함에 대해 다중 모달 임베딩을 견고하게 만드는 데 있어 중요한 진전을 이루었다고 주장합니다. 훈련 데이터 분포에 내재된 모달리티 조합 편향을 체계적으로 해결함으로써, UniMoCo 는 모델이 과소 표현되거나 누락된 모달리티를 마주칠 때 성능이 저하되지 않도록 보장합니다.

저자들은 이미지 합성을 위해 계산 비용이 많이 들고 임베딩 작업과 정렬되지 않을 수 있는 복잡한 생성 확산 모델에 의존하지 않는다고 강조합니다. 대신, 그들은 임베딩을 직접 합성하여 기능적 일관성과 정렬을 보장하는 LVLM 프레임워크 내의 구조적 혁신을 제안합니다. 이 연구는 향후 다중 모달 시스템이 모달리티 완전성을 단순한 데이터 증강 기법이 아니라 견고성을 위한 핵심 아키텍처 요구사항으로 고려해야 함을 시사합니다.

이 논문은 UniMoCo 가 모달리티 편향을 효과적으로 해결하지만, 향후 연구는 이러한 구조적 혁신을 훈련 데이터 강화나 대조 학습 최적화와 같은 다른 접근법과 결합하여 다중 모달 표현 학습을 더욱 발전시킬 수 있다고 결론지었습니다.