MultiMem: Measuring and Mitigating Memorization in Multi-Modal Contrastive Learninga

기술 요약: MultiMem: 다중 모달 대조 학습에서의 암기 측정 및 완화

1. 문제 정의

머신러닝 모델에서 암기(memorization)는 이례적인 패턴을 포착함으로써 분포 내 희귀 샘플에 대한 성능을 높이는 데 도움을 주기도 하지만, 노이즈와 이상치(outliers)를 해롭게 유지하여 일반화 성능을 저하시키기도 한다는 점이 알려져 있습니다. 기존 연구들은 비전 도메인 내의 지도 학습(SL) 및 자기 지도 학습(SSL)에서의 암기 현상을 광범위하게 규명해 왔습니다. 그러나 **다중 모달 대조 학습(multi-modal contrastive learning)**에서의 암기는 아직 탐구되지 않은 영역입니다.

기존의 암기 정의는 특정 모달리티에 국한되거나(예: SL에서의 레이블 예측 또는 SSL에서의 증강 매칭 기반), 이중 모달 설정(예: CLIP의 이미지-텍스트 쌍)에 한정되는 경우가 많습니다. 이러한 정의는 다중 모달 모델의 본질인 다양한 모달리티(오디오, 비디오, 이미지, 텍스트 등) 간의 복잡하고 전역적인 상호작용을 포착하지 못합니다. 또한, déjà vu나 CLIPMem과 같은 기존 방법들은 세 개 이상의 모달리티를 포함하는 모델에는 직접 적용할 수 없습니다. 따라서 모든 모달리티를 동시에 아우르는 방식으로 암기를 정량화하고, 교차 모달 불일치(cross-modal inconsistency)가 이 현상을 어떻게 유도하는지 이해할 수 있는 프레임워크가 절실히 필요합니다.

2. 방법론

MultiMem 지표
저자들은 임의의 개수와 유형의 모달리티를 가진 다중 모달 대조 학습에서 암기를 정량화하기 위해 설계된 최초의 지표인 MultiMem을 소개합니다.

• 프레임워크: 이는 leave-one-out 프레임워크를 기반으로 합니다. 두 모델이 훈련됩니다: 전체 데이터셋 $S$로 훈련된 모델 $f$, 그리고 특정 다중 모달 샘플 $x_i$를 제외한 데이터셋 $S \setminus i$로 훈련된 모델 $g$.
• 암기의 대리 지표: 레이블 예측이나 쌍별 정렬(pairwise alignment)에만 의존하는 대신, MultiMem은 **교차 모달 일관성(Cross-Modal Consistency, CMC)**을 대리 지표로 사용합니다. CMC는 특정 샘플에 대한 모든 모달리티의 표현(representation) 정렬 정도를 홀드아웃(held-out) 세트의 무관한 샘플들과의 정렬 정도와 비교하여 측정합니다.
• 계산 방식:
  1. $n$개의 모달리티에 대한 샘플 $x_i$의 표현들을 정규화하고 하나의 표현 공간 $\Phi$로 통합합니다.
  2. CMC는 샘플 내부의 모달리티 간 유사도(내부 샘플 일관성)와 샘플과 홀드아웃 샘플 간의 기대 유사도(샘플 간 분리도)의 차이로 계산됩니다.
  3. MultiMem은 모델 $f$와 모델 $g$ 사이의 CMC 점수 차이로 정의됩니다:
     $$\text{MultiMem}(i, H, f) = \text{CMC}_{f \sim S}(i, H) - \text{CMC}_{g \sim S \setminus i}(i, H)$$
     높은 MultiMem 점수는 샘플 $x_i$의 모달리티 정렬 능력이 훈련 세트에 $x_i$가 존재하는 여부에 크게 의존함을 의미하며, 이는 암기를 나타냅니다.

실험 설정
저자들은 다음과 같은 여러 모델에 대해 MultiMem을 평가했습니다:

• AudioCLIP: 오디오, 이미지, 텍스트.
• AVT-CLIP: 오디오, 비디오, 텍스트 (자체 구축).
• AVIT-CLIP: 오디오, 비디오, 이미지, 텍스트 (자체 구축).
• 베이스라인: OpenCLIP, VideoCLIP.
  데이터셋으로는 UrbanSound8K, MSR-VTT, COCO가 사용되었습니다.

완화 전략(Mitigation Strategies)
지표를 바탕으로 암기를 완화하기 위한 두 가지 전략이 제안되었습니다:

1. 훈련 중 완화(In-Training Mitigation): 훈련 중에 (주기적인 MultiMem 평가를 통해 식별된) 가장 많이 암기된 상위 5%의 샘들플을 새로운 배치로 재그룹화합니다. 오직 이 샘플들에 대해서만 표현 공간에 타겟팅된 노이즈 기반 증강(가우시안 노이즈)을 적용하며, 나머지 배치들은 변경 없이 유지됩니다.
2. 사후 훈련 완화(Post-Training Mitigation): 초기 훈련 후, 가장 많이 암기된 샘플들을 식별하여 훈련 세트에서 제거합니다. 그 후 남은 데이터로 모델을 미세 조정(fine-tuning)합니다.

3. 주요 결과 및 발견

암기의 특성 규명

• 전역적 vs 부분적(Global vs. Partial): 모든 모달리티에 걸쳐 측정된 암기(Global MultiMem)는 일부 모달리티 하위 집합(예: 이미지-텍스트만)에서 측정된 암기와 다르게 동작합니다. 정확한 평가를 위해서는 전역적 평가가 필수적입니다.
• 암기의 동인(Drivers): 가장 많이 암기된 샘플들은 단순히 캡션이 잘못된 것(이중 모달 모델에서 흔히 발견되는 현상)이 아니라, **모든 모달리티 간의 의미론적 불일치(semantic misalignment)**를 보입니다. 즉, 서로 다른 모달리티가 제공하는 정보가 서로 모순되거나 서로 관련이 없는 경우입니다.
• 모달리티의 영향: 교차 모달 의미론적 불일치는 암기에 가장 강력한 영향을 미칩니다. 텍스트가 암기를 유도하는 지배적인 모달리티이며, 그 뒤를 비디오, 이미지, 오디오가 잇고 있습니다.
• 행동 변화: 다중 모달 모델은 (레이블을 암기하는) 지도 학습보다는 (패턴을 암기하는) **자기 지도 학습(SSL)**의 암기 행동에 더 가깝게 나타납니다. 오디오와 비디오가 도입되면 비전 인코더의 행동이 순수하게 캡션 중심에서 벗어납니다.
• 일반화 상관관계: 전역적 암기와 일반화 성능(검색, 선형 프로빙, 제로샷 태스크로 측정) 사이에는 강한 음의 상관관계가 존재합니다. 높은 암기는 낮은 다운스트림 성능으로 이어집/집니다.

완화 효과

• 증강(Augmentation): 모든 모달리티에 증강을 적용했을 때 가장 낮은 암기율과 가장 높은 성능을 보였습니다. 단일 모달리티에만 증강을 적용하면 증강되지 않은 모달리티 쌍의 암기가 증가할 수 있습니다.
• 완화의 유효성: 두 가지 완화 전략 모두 암기를 유의미하게 감소시켰으며(최대 20%), 모델 성능을 향상시켰습니다:
  • 검색(Retrieval): 최대 8% 개선.
  • 제로샷 분류(Zero-shot Classification): 최대 10% 개선.
  • 다운스트림 분류(Downstream Classification): 최대 4% 개선.
• 메커니즘: 완화는 (노이즈로 인해 발생하는 과도한 정렬을 줄임으로써) 고도로 암기된 샘플들의 평균 모달리티 거리를 증가시키는 동시에, 데이터셋의 전체적인 모달리티 갭은 보존하는 방식으로 작동합니다. 훈련 중 완화가 사후 훈련 완화보다 약간 더 효과적인 것으로 나타났습니다.

4. 의의 및 주장

본 논문은 다중 모달 대조 학습을 위해 특화된 최초의 암기 측정 및 완화 프레임워크를 구축했다고 주장합니다. 이 연구의 의의는 다음과 같습니다:

1. 새로운 지표 정의: 이중 모달의 한계를 넘어 임의의 모달리티 구성에 걸친 전역적 상호작용을 포착하도록 일반화된 MultiMem을 제공합니다.
2. 새로운 패턴 발견: 다중 모달 암기가 단순한 레이블 노이즈나 단일 모달리티의 이상치가 아니라 교차 모달 의미론적 불일치에 의해 유도된다는 점을 밝혀냈으며, 이러한 모델들이 SL보다는 SSL과 유사하게 행동함을 입증했습니다.
3. 실용적 완화: 이 지표에 기반한 타겟팅된 개입(특히 암기된 샘플에 대한 노이즈 증강)이 대규모 데이터를 제거하지 않고도 해로운 데이터 보유를 효과적으로 방지하고, 더 견고하고 높은 성능을 가진 모델을 만들 수 있음을 보여주었습니다.

저자들은 본 연구가 해로운 데이터 보유를 방지하고, 더 나은 일반화 성능을 가진 다중 모달 모델 개발에 기여함으로써 기존의 단일 모달 또는 이중 모달 연구가 남긴 공백을 메운다고 강조합니다.