기술 요약: 플라톤의 동굴 탈출: 독립적으로 훈련된 비전 및 언어 모델 정렬을 위한 JAM

1. 문제 정의

본 논문은 독립적으로 훈련된 비전 모델과 언어 모델 간의 근본적인 단절을 다룹니다. **플라톤적 표현 가설 (Platonic Representation Hypothesis, PRH)**은 서로 다른 모달리티와 목적을 가진 모델들이 현실에 대한 공유된 통계적 모델로 수렴할 수 있음을 시사하지만, 현재까지의 증거는 주로 관찰적입니다. 기존 방법들은 거시적 정렬을 탐지하기 위해 사후 통계적 지표 (예: CKA, CCA) 에 의존합니다. 그러나 이러한 지표는 여러 설명이 전역적 의미는 공유하지만 미묘한 구성적 세부 사항에서 차이가 나는 미세 맥락 설정에서는 실패합니다 (예: "빨간 공을 쫓는 갈색 개"와 "파란 공을 쫓는 갈색 개"를 구분하는 경우).

저자들은 정렬의 진정한 과제는 전역적 상관관계를 탐지하는 것이 아니라, 이러한 미세한 구별을 보존하도록 명시적으로 최적화하는 데 있다고 주장합니다. 현재 멀티모달 모델 (예: CLIP, BLIP) 은 종종 방대한 쌍을 이루는 말뭉치를 이용한 엔드 - 투 - 엔드 훈련에 의존하거나, 처음부터 멀티모달 편향을 계승하며, 진정으로 단일 모달리티인 동결된 기반 모델들 사이에서 정렬이 사후적으로 유도될 수 있는지 조사하지는 않습니다.

2. 방법론: 공동 오토인코더 변조기 (JAM)

저자들은 단일 모달리티 오토인코더를 공동으로 훈련함으로써 동결된 단일 모달리티 모델을 정렬하기 위해 설계된 JAM을 제안합니다. 아키텍처는 다음과 같습니다:

• 모달리티별 오토인코더: 비전과 언어를 위한 별도의 인코더와 디코더로, 고차원 임베딩 ($d_{input}$) 을 공유 잠재 병목 ($d_{latent}$) 에 매핑하고 입력을 재구성합니다. 이 재구성 목적은 통계적 정규화제 (PCA 와 유사) 로 작용하여 모달리티별 정보와 필수적인 분산을 보존하면서 노이즈는 제거합니다.
• 공유 병목: 거시적 및 미세 의미론을 모두 해결할 수 있는 일관된 개념 공간을 강제하는 잠재 공간입니다.
• 공동 훈련: 오토인코더는 재구성 (노이즈 제거) 과 교차 모달 정렬이라는 조정된 목적 함수와 동시에 훈련됩니다.

손실 함수

본 논문은 정렬을 최적화하기 위해 손실 함수의 계층 구조를 도입합니다:

1. 대조 손실 (Contrastive Loss, Con): CLIP 에서 영감을 받은 표준 대칭 손실로, 일치하는 이미지 - 텍스트 쌍을 가깝게 끌어당기고 관련 없는 쌍을 밀어냅니다.
2. 부정적 대조 손실 (Negative Contrastive Loss, NegCon): 비전 - 언어 방향으로 **어려운 부정 샘플 (hard negatives, 의미는 유사하지만 잘못된 캡션)**을 명시적으로 포함하도록 확장된 것으로, 미묘한 차이를 구분하지 못하는 모델에 대해 패널티를 부과합니다.
3. 확산 손실 (Spread Loss, 제안됨): 의미론적 유사성의 구조와 미세한 대조를 포착하도록 설계된 새로운 손실 함수입니다. 두 단계로 작동합니다:
   • 맥락 대조 ($L_{ConCon}$): 모든 의미론적으로 유사한 캡션 (정답 + 어려운 부정 샘플) 을 "유사 맥락 집합"으로 묶어 이 집합을 다른 맥락과 멀어지게 합니다. 이는 전역적 정렬을 학습합니다.
   • 맥락 InfoNCE ($L_{contextNCE}$): 유사 맥락 집합 내에서 정답을 유일한 올바른 양수로, 어려운 부정 샘플을 잘못된 것으로 명시적으로 취급하여 모델이 미세한 세부 사항을 구별하도록 강제합니다.
   • 수식: $L_{spread-VL} = (1-\alpha)L_{ConCon} + \alpha L_{contextNCE}$, 여기서 $\alpha$는 전역 맥락 정렬과 맥락 내 구별 사이의 균형을 맞춥니다.

3. 실험 설정

• 데이터셋: 주요 평가는 제어된 교란 (Replace, Swap, Add) 을 가진 미세 비전 - 언어 구성성을 위한 SugarCrepe 데이터셋을 사용합니다. Winoground는 비전 - 언어 구성성을 위한 추가 벤치마크로 사용됩니다.
• 베이스라인: 저자들은 JAM 을 통계적 정렬 지표 (CCA, CKA, SVCCA, CKNNA), 표준 대조 베이스라인 (Con, NegCon), 단순 투영 방법 (선형/비선형), 그리고 사전 훈련/미세 조정된 CLIP 변형들과 비교합니다.
• 백본: 실험에는 언어 모델 (Gemma2, Llama3.2, OLMo2) 과 비전 모델 (DINOv2, ResNet50, MAE, Swin, ViT) 을 포함한 다양한 범위의 동결된 단일 모달리티 모델이 활용됩니다.
• 지표: 성능은 이미지 - 텍스트 검색 Recall@1 (이진 및 5-way) 과 Winoground 텍스트 점수로 측정됩니다.

4. 주요 결과

• 통계적 한계: 통계적 지표 (CKA, CCA) 는 일치하는 쌍을 쉬운 비일치 쌍과 성공적으로 구분하지만, 어려운 부정 샘플과 실제 일치 쌍을 구분하지는 못합니다. 이는 거시적 통계적 정렬이 미세 의미론적 정렬을 보장하지 않음을 확인시켜 줍니다.
• 확산 손실의 우월성: 확산 손실을 사용하는 JAM 은 모든 작업 (Replace, Add, Swap) 과 백본 조합에서 일관되게 대조 및 NegCon 베이스라인을 능가합니다. 이는 여러 강력한 사전 훈련 및 미세 조정된 CLIP 변형들과 비교해 동등하거나 더 나은 성능을 달성합니다.
• 효율성: JAM 은 CLIP 을 미세 조정하는 것에 비해 계산 비용 (FLOPs) 이 현저히 낮으면서도 높은 성능을 달성합니다. 제거 실험 (Ablation studies) 은 재구성 구성 요소를 제거하면 급격한 과적합과 성능 붕괴가 발생함을 보여주며, 정규화제로서의 오토인코더 구조의 필요성을 강조합니다.
• 레이어 깊이와 감독: 커리큘럼 학습 접근법을 사용하여 저자들은 사전 훈련된 모델의 초기 레이어는 정렬을 위해 더 강력한 미세 감독 (확산 손실에서 더 높은 $\alpha$) 이 필요하지만, 더 깊고 추상적인 레이어는 더 약한 감독으로도 효과적으로 정렬된다는 것을 발견했습니다.
• 모델 규모: 언어 백본을 확장 (예: 2B 에서 13B 파라미터로) 하는 것은 이러한 저데이터, 미세 설정에서 성능을 일관되게 향상시키지 못했습니다. 이는 이러한 작업에서 모델 규모보다 목적 함수 설계 (확산 손실) 가 더 중요함을 시사합니다.

5. 중요성과 주장

본 논문은 독립적으로 훈련된 모델 간의 공유 의미론적 구조를 명시적으로 최적화함으로써 "플라톤의 동굴을 탈출"하는 실용적인 메커니즘을 제공한다고 주장합니다. 주요 기여점은 다음과 같습니다:

1. 사후 정렬 입증: 엔드 - 투 - 엔드 사전 훈련이나 방대한 쌍을 이루는 데이터셋 없이도 단일 모달리티 기반을 전문 멀티모달 모델로 정렬할 수 있음을 증명합니다.
2. 확산 손실 도입: 전역 맥락과 지역적 미세 구별 사이의 긴장을 명시적으로 모델링함으로써 표준 대조 목적 함수를 능가하는 구조화된 감독 방법을 제시합니다.
3. 이론적 통찰: "플라톤적 표현"은 존재하지만, 특히 통계적 지표가 실패하는 미세 맥락에서 이를 해제하기 위해서는 구체적이고 구조화된 훈련 목적 함수가 필요하다는 실증적 증거를 제공합니다.
4. 실용적 프레임워크: 동결된 전문 단일 모달리티 백본 위에 멀티모달 시스템을 구축하기 위한 파레토 효율적인 레시피로 JAM 을 제안하며, 작고 전문화된 데이터셋에서 일반화 모델을 미세 조정할 때 종종 발생하는 "표현 붕괴"를 피합니다.

저자들은 이 작업을 향후 멀티모달 시스템을 위한 설계 렌즈로 위치시키며, 특히 전문 도메인의 경우 처음부터 거대한 멀티모달 모델을 훈련하는 대신 동결된 단일 모달리티 구성 요소를 정렬하는 것이 실현 가능한 대안이 될 수 있음을 시사합니다.