SMA: Submodular Modality Aligner For Data Efficient Multimodal Learning

기술 요약: 데이터 효율적 멀티모달 학습을 위한 서브모듈러 모달리티 어라인러 (SMA)

문제 제기

CLIP 및 SigLIP와 같은 멀티모달 파운데이션 모델 (FMs) 의 성공에도 불구하고, 이러한 모델들이 대규모 쌍을 이룬 데이터셋 (수백만에서 수십억 개의 샘플) 에 의존한다는 점은 정렬된 데이터가 희소하고 비싼 저데이터 환경 및 드문 시나리오 (예: 의료 영상, 원격 탐사) 에서의 적용성을 제한합니다. 현재 최첨단 방법론들은 개별 이미지 - 텍스트 쌍 간의 상관관계를 최대화하는 **인스턴스 수준 공식화 (instance-level formulations, 쌍별 대비 학습)**에 의존합니다. 저자들은 이 접근법이 구조적으로 불충분하다고 주장합니다. 그 이유는 다음과 같습니다:

1. 모달리티 간의 기하학적 구조를 간과하여 지속적인 **모달리티 간극 (modality gap)**을 초래합니다 (공유 공간에서도 이미지 및 텍스트 임베딩이 선형적으로 분리 가능한 상태가 유지됨).
2. 동일한 개체에 대한 여러 뷰 또는 설명을 독립적인 쌍으로 취급하여 비효율적인 데이터 사용과 상충되는 최적화 신호를 초래합니다 (예: 동일한 객체의 서로 다른 뷰를 밀어내는 부정적 샘플링).
3. InfoNCE 와 같은 표준 목적 함수는 저데이터 환경에서 과적합되는 경향이 있으며, 정렬 (상관관계) 과 모달리티 간극 감소 (발산) 를 동시에 최적화하지 못합니다.

방법론: 서브모듈러 모달리티 어라인러 (SMA)

본 논문은 멀티모달 정렬을 위한 결합론적, 집합 기반 패러다임을 제안합니다. SMA 는 데이터를 고립된 쌍으로 취급하는 대신, 단일 개체에 대한 여러 증강 및 설명을 **집합 (set)**으로 취급합니다. 이 프레임워크는 동결된 사전 훈련된 단일 모달 인코더 (예: 이미지의 경우 DINOv2, 텍스트의 경우 GTE-1.5) 위에서 작동하며, 경량 정렬 레이어만 훈련합니다.

핵심 목적:
이 방법은 **서브모듈러 상호 정보 (Submodular Mutual Information, SMI)**에 기반한 손실 함수를 도입합니다. 목적 함수는 다음과 같이 동시에 수행됩니다:

1. 정렬된 이미지 및 텍스트 임베딩 집합 간의 모달리티 간 상호 정보 (inter-modality mutual information) 를 최대화합니다.
2. 불일치하는 집합 간의 교차 모달 발산 (cross-modal divergence) 을 최소화합니다.

손실 공식화:
저자들은 코사인 유사도 커널을 통한 연속 최적화에 적응된 두 가지 구체적인 SMI 함수를 사용하여 SMA 를 구체화합니다:

• FLVMIA (Facility Location Variant Mutual Information Alignment): 이미지 임베딩 집합이 텍스트 임베딩 집합을 대표하도록 강제하는 최소 - 최대 (min-max) 구조를 사용하여 모달리티 전반에 걸친 균형 잡힌 커버리지를 장려합니다.
• FLQMIA (Facility Location Mutual Information Alignment): 집합 내 가장 강력한 교차 모달 연관성에 초점을 맞추기 위해 최대 (max) 기반 공식을 사용합니다.

이론적 연결:

• 일반화: 저자들은 표준 쌍별 목적 함수 (CLIP 의 NT-Xent 및 SigLIP 의 시그모이드 기반 손실) 가 집합이 단일 원소 (singleton) 로 축소될 때 (즉, $|A^+_i| = 1$), 그들의 공식화의 특수한 경우임을 증명합니다.
• 모달리티 간극: 논문은 모달리티 간극을 최소화하는 것이 전체 집합에 대한 서브모듈러 상호 정보 함수를 최대화하는 것과 동등하다고 가정합니다. SMI 만으로는 균일성 제약과 균형을 이루어야 하므로 간극을 완전히 해결하지는 못하지만, 이 공식화는 정렬과 간극 감소를 동시에 명시적으로 다룹니다.

주요 기여

1. 집합 기반 공식화: 개체의 여러 뷰와 설명을 독립적으로가 아닌 결합적으로 모델링하는 멀티모달 학습을 위한 새로운 결합론적 관점 도입.
2. 원칙적 목적 함수: 정렬 (상관관계) 과 모달리티 간극 (발산) 의 결합적 모델링을 자연스럽게 가능하게 하는 서브모듈러 상호 정보에 기반한 SMA 개발.
3. 데이터 효율성: 집합 구조를 활용함으로써 표준 접근법보다 수백 배 적은 수만 개의 샘플만으로 강력한 멀티모달 일반화를 달성할 수 있음을 입증.

실험 결과

저자들은 MS-COCO(각각 5 개의 캡션이 있는 8 만 장의 이미지) 를 훈련 데이터로 사용하여 CLIP 벤치마크의 14 개 제로샷 분류 작업과 **1 개 제로샷 검색 작업 (Flickr30k)**에서 SMA 를 평가했습니다.

• 성능 향상:
  • 여러 긍정 쌍 설정에서 SMA(특히 FLQMIA 및 FLVMIA) 는 베이스라인 (SAIL w/ CLIP, SAIL w/ SigLIP, CSA) 일관된 개선을 달성했습니다.
  • 더 어려운 데이터셋에서 15% 에서 25% 의 상대적 개선이 있었으며, 제로샷 분류 작업 전반에 걸쳐 평균 비례 이득은 **7.7%**였으며 검색 작업의 경우 **약 5%**였습니다.
  • CIFAR-10 및 STL-10 과 같은 데이터셋에서는 정확도가 90% 에 근접했으며, SMA 는 미미하지만 일관된 개선을 제공했습니다.
• 단일 쌍 설정: 집합 구조를 축소하여 단일 긍정 쌍으로 훈련했을 때, SMA 는 매우 어려운 데이터셋 (예: Cars, FGVC) 에서 SAIL 과 비슷하거나 약간 낮은 성능을 보였으나 다른 데이터셋에서는 경쟁력을 유지했습니다. 이는 이 방법의 주요 이점이 여러 긍정 연관성을 활용하는 데 있음을 강조합니다.
• 모달리티 간극 감소: 모달리티 간 평균 $\ell_2$ 거리를 분석한 결과, SMA(특히 FLVMIA) 는 SAIL 및 InfoNCE 기반 방법보다 모달리티 간극을 더 효과적으로 감소시켰습니다. 예를 들어, FLVMIA 는 여러 쌍 설정에서 평균 거리 12.82 를 달성한 반면, SAIL w/ SigLIP 은 15.40 이었습니다.
• 효율성: 이 모델은 결합 손실의 메모리 제약으로 인해 약 1k~16k 의 배치 크기로 이러한 결과를 달성했으며, 최대 200 에포크가 필요한 베이스라인에 비해 더 적은 에포크 (FLVMIA 의 경우 11 에포크) 에서 수렴했습니다.

의의 및 주장

본 논문은 멀티모달 정렬이 근본적으로 고립된 쌍 공식화에서 집합 기반 공식화로 전환되어야 한다고 주장합니다. 이 연구의 의의는 다음과 같습니다:

• 데이터 효율성: 고품질 멀티모달 정렬에 수십억 개의 샘플이 필요한 것이 아니라, 개체당 여러 설명의 풍부한 구조를 활용하여 수만 개의 샘플로 달성할 수 있음을 증명.
• 이론적 통찰: "모달리티 간극"이 쌍별 공식화의 결과임을 강조하고, 서브모듈러 목적 함수가 정렬과 간극 감소를 동시에 해결하는 원칙적인 방법을 제공함을 밝힘.
• 실용적 영향: 대규모 쌍을 이룬 데이터셋 수집이 불가능한 데이터가 희소한 분야 (예: 의료, 과학, 보안 응용 분야) 에 멀티모달 파운데이션 모델을 적용할 수 있는 실현 가능한 경로를 제시.

저자들은 현재 SMA 가 저데이터, 다중 뷰 환경에서 가장 강력한 결과를 보여주고 있지만, 향후 연구는 이 프레임워크를 추가 모달리티 (오디오, 비디오) 로 확장하고 대규모 파운데이션 모델에 통합할 수 있다고 결론지었습니다.