Towards Multimodal Active Learning: Efficient Learning with Limited Paired Data

1. 문제 정의 (Problem Setting)

이 논문은 정렬되지 않은 멀티모달 데이터 (Unaligned Multimodal Data) 를 대상으로 한 능동 학습 (Active Learning, AL) 의 새로운 설정을 제시합니다.

• 배경: 기존 능동 학습은 주로 단일 모달리티 (Unimodal) 데이터나 이미 정렬된 (Pre-aligned) 멀티모달 데이터 (예: 이미지와 텍스트가 이미 짝지어진 CLIP 데이터) 에 초점을 맞추었습니다.
• 핵심 문제: 현대의 멀티모달 파이프라인에서는 단일 모달리티 특징 (이미지, 텍스트 등) 을 대규모로 저렴하게 수집할 수 있지만, 고품질의 교차 모달 정렬 (Cross-modal Alignment) 을 수행하는 것은 비용이 매우 높고 도메인 특화적입니다.
• 새로운 설정: 학습자는 정렬되지 않은 이미지 집합 ($D_v$) 과 텍스트 집합 ($D_l$) 을 초기에 제공받습니다. 학습자는 주어진 annotation 예산 내에서 어떤 모달리티에서 시작하여 (이미지→텍스트 또는 텍스트→이미지), 어떤 인스턴스를 페어링할지를 능동적으로 결정해야 합니다.
• 주요 도전 과제:
  1. 양방향 정렬 (Bidirectional Alignment): 정렬 방향 (이미지 기반 또는 텍스트 기반) 에 따라 학습 경로와 주석 데이터셋이 달라집니다.
  2. 거대한 교차 모달 후보 공간: 하나의 인스턴스 (예: 이미지) 를 선택할 때, 다른 모달리티 (수백만 개의 텍스트) 전체를 대상으로 잠재적인 매칭을 평가해야 하므로, 모든 쌍을 평가하는 것은 $O(|D|^2)$ 의 계산 복잡도로 인해 비현실적입니다.

2. 방법론 (Methodology)

저자들은 모달리티 인식 (Modality-aware) 설계를 통해 불확실성 (Uncertainty) 과 다양성 (Diversity) 원칙을 통합한 새로운 알고리즘 (Algorithm 1) 을 제안했습니다. 이 알고리즘은 풀 기반 (Pool-based) 과 스트리밍 기반 (Streaming-based) 설정 모두에 적용 가능합니다.

알고리즘의 3 단계 프로세스 (매 반복 iteration 마다 수행)

1. 모달리티 선택 (Step 1: Modality Selection):

   • 현재 주석된 데이터 ($S_{t-1}$) 가 어떤 모달리티를 덜 커버하는지 평가합니다.
   • 정렬되지 않은 데이터 ($D_t$) 와 주석 데이터 ($S_{t-1}$) 간의 최대 거리 (최소 거리 기반) 를 계산하여, 커버리지가 가장 낮은 모달리티를 선택합니다. 이는 데이터의 균형을 맞추기 위함입니다.

2. 코어셋 구축 (Step 2: Coreset Construction):

   • 선택된 모달리티에서 $B_C$ 크기의 코어셋 (Coreset) 을 구성합니다.
   • 목적: 기존 주석 데이터와 결합했을 때, 전체 정렬되지 않은 데이터를 최대한 다양하게 (Diversity) 커버하는 부분집합을 찾는 것입니다.
   • 이 문제는 NP-Hard 이므로, 그리디 (Greedy) 근사 알고리즘을 사용하여 효율적으로 해결합니다. 이는 계산 복잡도를 줄이는 핵심 단계입니다.

3. 불확실성 기반 선택 (Step 3: Uncertainty-based Selection):

   • 구축된 코어셋 내에서 가장 불확실한 $B$ 개의 데이터 포인트를 선택합니다.
   • 불확실성 척도 (Margin Score): 선택된 모달리티의 인스턴스와 다른 모달리티의 모든 정렬되지 않은 인스턴스 간의 유사도 점수 벡터를 계산합니다. 가장 높은 점수 (1 위) 와 두 번째로 높은 점수 (2 위) 의 차이 (Margin) 를 구합니다.
   • 선택 기준: Margin 이 가장 작은 (즉, 1 위와 2 위가 비슷하여 어떤 텍스트/이미지와 매칭될지 확신이 없는) 데이터 포인트를 선택하여 주석을 요청합니다.

계산 복잡도

• 전체 데이터에 대해 불확실성을 계산하는 naive 접근법은 $O(|D|^2)$ 의 복잡도를 가집니다.
• 제안된 알고리즘은 코어셋 내에서만 교차 모달 불확실성을 계산하므로, 매 라운드당 선형 시간 복잡도 $O(|D|)$ 를 달성합니다.

3. 주요 기여 (Key Contributions)

1. 새로운 문제 설정 제시: 정렬되지 않은 데이터를 대상으로 하는 멀티모달 능동 학습 문제를 최초로 정의하고, 기존 단일 모달리티 AL 및 사전 정렬된 멀티모달 AL 과의 근본적인 차이를 명확히 했습니다.
2. 효율적인 알고리즘 개발: 모달리티 선택, 코어셋 구축, 불확실성 기반 선택을 통합한 알고리즘을 제안했습니다. 이는 $O(|D|)$ 의 선형 시간 복잡도를 가지며, 풀 기반 및 스트리밍 기반 시나리오 모두에 적용 가능합니다.
3. 실험적 검증: 다양한 벤치마크 데이터셋 (ColorSwap, MS-COCO, DataComp) 에서 광범위한 실험을 통해 제안된 방법이 주석 비용을 최대 40% 절감하면서도 모델 성능을 유지하거나 향상시킴을 입증했습니다.

4. 실험 결과 (Results)

• 풀 기반 학습 (ColorSwap 데이터셋):
  • 제안된 방법은 기존 베이스라인 (무작위, 코어셋, 불확실성 기반) 보다 모든 지표 (텍스트 점수, 이미지 점수, 그룹 점수) 에서 우수한 성능을 보였습니다.
  • 특히, CLIP-B32 모델을 사용하여 데이터의 15% 만으로도 무작위 학습이 25% 데이터로 달성한 수준의 그룹 점수를 기록하여 주석 비용 40% 절감 효과를 입증했습니다.
• 스트리밍 기반 학습 (MS-COCO, DataComp 데이터셋):
  • 대규모 데이터셋 (DataComp, 1280 만 개) 에서도 제안된 방법은 모든 베이스라인을 능가했습니다.
  • DataComp 에서 250 만 개의 페어 (전체의 약 20%) 로 학습했을 때, 전체 1280 만 개 데이터로 학습한 모델 성능 (Skyline) 의 87.8% 를 달성했습니다 (Coreset 베이스라인은 85.68%).
• 강건성 (Robustness):
  • 다양한 모델 아키텍처 (CLIP, SigLIP, LiT) 및 모델 크기에서 일관된 성능 향상을 보였습니다.
  • 데이터가 누락되거나 정렬이 깨진 노이즈가 있는 환경에서도 우수한 성능을 유지했습니다.

5. 의의 및 결론 (Significance)

이 논문은 멀티모달 학습의 실제 병목 현상인 고비용의 정렬 작업을 해결하기 위한 효율적인 전략을 제시합니다.

• 실용적 가치: 대규모 멀티모달 데이터를 수집하는 것은 쉬워졌지만, 이를 정렬하는 비용이 여전히 높습니다. 이 연구는 적은 비용으로 고품질의 정렬 데이터를 확보하여 멀티모달 모델을 학습할 수 있는 길을 열었습니다.
• 이론적 기여: 불확실성과 다양성을 동시에 고려하면서도 계산적으로 효율적인 (선형 시간) 멀티모달 능동 학습 프레임워크를 최초로 제안했다는 점에서 의의가 큽니다.
• 미래 방향: 현재는 멀티모달 표현 학습 (Contrastive Learning) 에 초점을 맞추고 있으나, 생성형 멀티모달 학습 등 다른 패러다임으로의 확장을 위한 중요한 기초 작업이 되었습니다.

요약하자면, 이 논문은 "정렬되지 않은 이미지와 텍스트 데이터에서, 어떤 쌍을 주석으로 선택할지 능동적으로 결정하여 멀티모달 학습 비용을 획기적으로 줄이는 방법" 을 제안하고 그 유효성을 입증한 선구적인 연구입니다.