기술 요약: 변분 어댑터를 이용한 교차 모달 유사도 표현 (VACSR)

1. 문제 정의

본 연구가 다루는 핵심 과제는 이미지-텍스트 매칭 데이터셋(예: MS-COCO)의 **이진 희소 주석(binary sparse annotations)**으로 인해 발생하는 현재 시각-언어 모델(VLM)의 한계입니다. CLIP 과 같은 모델들은 공유 공간에서 이미지와 텍스트를 정렬함으로써 인상적인 의미론적 이해를 달성하지만, 학습 데이터는 일반적으로 연속적인 유사도 스펙트럼을 이진 "매치(matched)" 또는 "미매치(mismatched)" 분류로 강제합니다.

이러한 이산화는 두 가지 주요 문제를 야기합니다:

1. 거짓 음성 (False Negatives, FNs): 실제 의미론적 유사성을 가짐에도 불구하고 특정 "매치" 주석이 없다는 이유로 미매치로 잘못 레이블링된 쌍들입니다. 이러한 FN 은 표현 공간의 의미론적 일관성을 저해합니다.
2. 최적화되지 않은 불확실성 할당: 기존의 확률적 임베딩 방법들은 모달 내 모호성을 모델링하려고 시도하지만, 종종 동일한 이진 주석에 의존하여 손실 계산을 수행합니다. 결과적으로, 이들은 단순히 주석이 이진형이라는 이유만으로 명확한 의미론적 정보를 가진 샘플에 높은 불확실성을 부여하거나, 실제 모호성과 주석 오류를 구분하지 못할 수 있습니다.

저자들은 표준 쌍별 손실 함수(contrastive 또는 sigmoid)가 광범위한 하이퍼파라미터 튜닝 없이 FN 에 의한 그래디언트 간섭을 완화하기 어렵다고 주장하며, 이는 다운스트림 작업인 검색 및 분류에서의 일반화 성능 저하로 이어진다고 설명합니다.

2. 방법론: VACSR

제안된 **변분 어댑터 기반 교차 모달 유사도 표현(Variational Adapter for Cross-modal Similarity Representation, VACSR)**은 이미지-텍스트 매칭을 잠재 확률 공간 내의 변분 추론 문제로 재정의합니다. VACSR 은 유사도를 결정론적인 스칼라로 취급하는 대신, 이를 분포로 모델링하여 연속적이고 매끄러운 매칭 관계를 복원합니다.

아키텍처 개요

1. 특징 상호작용 (Feature Interaction): 사전 학습된 CLIP 인코더에 의해 추출된 이미지 및 텍스트 특징은 이후 인코딩을 위한 차원을 보존하면서, **아다마르 곱(Hadamard product, 원소별 곱)**을 통해 결합되어 유사도 벡터 표현을 생성합니다.
2. 변분 어댑터 (Variational Adapter): 변분 오토인코더(VAE) 구조에 기반한 경량 어댑터는 이러한 유사도 벡터를 처리합니다. 이는 다음으로 구성됩니다:
   • 인코더 (Encoder): 입력 유사도 벡터를 잠재 공간으로 매핑합니다. 복잡한 의미론적 분포를 처리하기 위해, 사후 분포(posterior)는 단일 모드 가우시안이 아닌 **두 개의 성분을 가진 가우시안 혼합 모델(GMM)**로 근사됩니다.
   • 디코더 (Decoder): 잠재 변수로부터 유사도 점수를 재구성합니다.
3. 최적화 목적 함수: 모델은 다음을 포함하는 증거 하한(ELBO) 을 최적화합니다:
   • 재구성 손실 ($L_{recon}$): 재구성된 유사도와 이진 레이블 사이의 평균 제곱 오차(MSE) 를 최소화하되, 학습된 불확실성에 의해 가중치가 부여됩니다.
   • KL 발산 ($L_{KL}$): GMM 사후 분포를 표준 정규 사전 분포로 정규화합니다. 혼합 모델에 대한 KL 발산을 계산하기 위해 다룰 수 있는 상한(tractable upper bound) 이 사용됩니다.
   • 분포 최적화 손실 ($L_{\sigma}$): 잠재 표현의 불확실성(분산) 을 적응적으로 보정하기 위해 설계된 새로운 손실 항입니다.

핵심 메커니즘: 불확실성 보정

핵심 혁신은 $L_{\sigma}$가 불확실성을 관리하는 방식에 있습니다:

• 양성(Positive) 및 정보가 있는 어려운 음성(Informative Hard-Negative) 샘플에 대해: 모델은 낮은 불확실성(작은 분산)을 학습하도록 유도되어, 높은 신뢰도와 강력한 변별 능력을 확보합니다.
• 거짓 음성(False Negatives, FNs) 에 대해: 모델은 높은 불확실성(큰 분산)을 할당합니다. 이는 오류가 있는 이진 레이블의 그래디언트 기여도를 효과적으로 낮추어, 모델이 의미론적으로 유사한 샘플을 강제로 분리하도록 만드는 것을 방지합니다.
• 수학적 정식화: 분산 $\hat{\sigma}^2$은 모델의 출력과 레이블 사이의 제곱 거리에 근사하도록 최적화됩니다. 레이블에서 멀리 떨어진 샘플(잠재적 FN) 은 자연스럽게 더 높은 분산을 갖게 되어 최적화 방향에 미치는 영향력이 줄어듭니다.

3. 주요 기여

• 유사도의 재정의: 본 논문은 교차 모달 유사도를 결정론적 값이 아닌 잠재 확률 변수로 모델링할 것을 제안하며, 이를 통해 미세한 주석의 부족 문제를 명시적으로 해결합니다.
• 변분 어댑터 설계: 복잡한 의미론적 분포를 포착하기 위해 가우시안 혼합 모델을 활용하고, 진정한 모호성과 주석 오류를 구분하기 위한 특정 분산 최적화 손실을 사용하는 VAE 기반의 경량 어댑터를 도입했습니다.
• 불확실성 인지 학습: 거짓 음성 쌍에는 높은 불확실성을 할당하여 오류 섞인 그래디언트를 완화하는 한편, 신뢰할 수 있는 샘플에는 낮은 불확실성을 유지하여 검색 정밀도를 보존합니다.
• 효율성: 어댑터는 단순한 2 개 층의 MLP 구조를 사용하여, 기존 연구(예: PCME++) 의 트랜스포머 기반 불확실성 예측기에 비해 파라미터 수를 크게 줄였습니다.

4. 실험 결과

저자들은 이미지-텍스트 검색, 노이즈 대응(noisy correspondence), 도메인 일반화, 그리고 base-to-novel 일반화 작업에서 VACSR 을 평가했습니다.

• 이미지-텍스트 검색: VACSR 은 COCO, ECCV Caption, CxC 데이터셋에서 최첨단(SOTA) 성능을 달성했습니다. 특히 다양한 백본(ViT-B/32 및 ViT-B/16) 에서 강력한 베이스라인(PCME++ 등) 대비 R@1 을 3.2% 에서 7.1% 까지 향상시켰습니다.
• 노이즈에 대한 강건성: 노이즈 대응(20% 및 50% 노이즈 비율) 실험에서 VACSR 은 우수한 안정성을 보여주었습니다. 50% 노이즈 환경에서도 다른 방법들이 급격히 성능이 저하되는 것과 달리, VACSR 은 선두의 성능을 유지하며 특정 지표에서 차순위 방법보다 최대 20.7% 높은 개선을 보였습니다.
• 일반화:
  • 도메인 일반화: ImageNet 및 그 변형들(V2, S, A, R) 에서 VACSR 은 최고의 제로샷 분류 정확도를 달성하여 도메인 변화에 대한 강건성을 입증했습니다.
  • Base-to-Novel Generalization: VACSR 은 대부분의 베이스라인을 능가하며 경쟁력 있는 base-to-novel 일반화 성능을 보여주었습니다. 11 개 데이터셋에서 프롬프트 기반 및 어댑터 기반 방법들과 비교하여 평균 조화 평균 점수 80.37을 달성하였습니다. 이는 연속적인 의미론적 분포를 모델링함으로써 미학습 카테고리로 일반화하는 능력을 보여줍니다.
• 절제 연구(Ablation Studies): 실험을 통해 가우시안 혼합 모델 사전 분포와 불확실성 보정 손실($L_{\sigma}$) 이 핵심적인 구성 요소임을 확인했습니다. 이를 제거하면 특히 순위 품질(mAP@R, R-P) 에 민감한 지표에서 성능이 저하되었습니다.

5. 의의 및 주장

본 논문은 VACSR 이 이진 주석이 달린 멀티모달 데이터셋에 내재된 "거짓 음성" 문제에 대한 강력한 솔루션을 제공한다고 주장합니다. 결정론적 피팅에서 변분 추론으로 전환함으로써, 이 방법은 교차 모달 유사성의 연속적인 특성을 효과적으로 복원합니다.

저자들은 이 접근 방식이 단순히 데이터의 모호성을 모델링하는 것이 아니라, 특히 주석의 결함을 타겟팅한다고 강조합니다. 거짓 음성일 가능성이 높은 샘플에 더 높은 불확실성을 할당함으로써, 모델은 잘못된 레이블에 과적합되는 것을 피하고, 주석이 희소하거나 불완전한 실제 환경에서의 일반화 능력을 향상시킵니다. 이 연구는 확률적 유사도 표현이 다운스트림 작업에서 VLM 의 신뢰성과 적용 가능성을 높이는 데 있어 실행 가능하고 효과적인 방향임을 시사합니다.