기술 요약: 손실만으로는 부족하다: 대조적 표현 학습에서의 샘플링 조건과 귀납적 편향

문제 정의

대조 학습(Contrastive Learning, CL)은 자기지도 표현 학습의 지배적인 패러다임으로 부상했으나, 유의미한 잠재 기하학(latent geometry)을 성공적으로 복구하는 이론적 조건에 대해서는 여전히 완전히 이해되지 않은 부분이 많다. 경험적 성공은 광범위하게 나타나지만, CL을 구동하는 정확한 메커니ism은 종종 휴리스틱에 의존하며, 이는 자원의 비효율적인 사용과 방법론의 잠재력을 충분히 활용하지 못하는 설계 선택으로 이어진다.

기존의 이론적 설명은 일반적으로 두 가지 범주로 나뉜다:

1. 불변성 설명(The Invariance Explanation): CL이 불변하는 노이즈 요인(nuisance factors)을 유도한다고 가정한다. 그러나 이 프레임워크는 어떤 요인이 노이즈인지, 또한 데이터 증강(augmentation)이 어떻게 암묵적으로 이 분할을 결정하는지 명시하지 않는다. 더 나아가, CL 목적 함수에 의해 "노이즈"로 간주된 요인이 특정 다운스트림 태스크에 필요한 변별적 정보를 담고 있을 수도 있다.
2. 복구 설명(The Recovery Explanation): 데이터가 고차원 매니폴드 상에 존재하며 저차원의 잠재 구조를 가진다고 가정하고, CL이 이 잠재 구조를 복구한다고 본다. 유망한 접근법이지만, 기존의 식별성(identifiability) 결과들(예: Zimmermann et al., 2021)은 양의 쌍(positive pair) 샘플링이 full-support von Mises-Fisher (vMF) 분포를 따른다는 강력한 가정을 전제로 한다.

본 논문이 다루는 핵심 문제는 실제 세계의 샘플링 메커니즘(증강)이 full-support 가정을 충족하는 경우가 드물다는 점이다. 이들은 종종 양의 쌍의 서포트(support)를 제한한다(예: 특정 의미적 특징은 고정하고 다른 특징은 섭동함). 본 논문은 이 "다양성 조건(diversity condition)"이 위반될 때, 대조적 목적 함수 단독으로 잠재 기하학을 복구하기에 충분한지, 그리고 아키텍처의 귀납적 편향(inductive bias)이 샘플링 다양성과 어떻게 상호작용하는지를 조사한다.

방법론

이론적 프레임워크

저자들은 대조 학습을 분석하기 위해, 데이터 생성 과정을 잠재 공간 $\mathcal{Z}$에서 관측 공간 $\mathcal{X}$로의 단사 사상(injective mapping) $g: \mathcal{Z} \to \mathcal{X}$로 모델링하는 측도론적 프레임워크를 개발한다. 인코더 $f: \mathcal{X} \to \mathcal{Z}$는 복구 맵 $h = f \circ g$를 학습하는 것을 목표로 한다.

주요 정의:

• 다양성 조건(Diversity Condition): 양의 쌍의 조건부 법칙 $P_{\tilde{Z}|Z}$에 대한 서포트 요구사항이다. 이는 거의 모든 앵커 $z$에 대해, 주변 측도 $P_Z$가 조건부 측도 $P_{\tilde{Z}|z}$에 대해 절대 연속일 때($P_Z \ll P_{\tilde{Z}|z}$) 성립한다. 직관적으로, 뷰 생성 과정은 모든 잠재 특징을 섭동시켜야 한다. 만약 어떤 잠재 차원이 고정되어 있다면, 인코더는 해당 차원을 따르는 변화를 구분할 수 없다.
• InfoNCE 손실: 실제 샘플링 조건인 $P_{\tilde{Z}|z}$와 모델 조건인 $Q_{h,z}$ 사이의 교차 엔트로피 최소화 문제로 분석된다.

이론적 분석

논문은 세 단계의 분석 과정을 거친다:

1. Full-Support 케이스: 표준적인 full-support vMF 설정이 다양성 조건을 함의함을 증명한다. 확률적 Mazur-Ulam 논증을 사용하여, 저자들은 점근적 대조 손실의 모든 전역 최솟값이 잠재 공간을 직교 변환(isometry, 등거리 변환)까지 복구함을 보여준다.
2. 다양성 위반 케이스: 조건부 서포트가 더 낮은 차원의 부분 매니폴드로 제한되는 시나리오(예: 잠재 좌표 $u$는 고정하고 $v$는 변화시킴)를 모델링한다. 다양성이 위반된 경우, 비직교 맵(non-orthogonal maps)이 직교 맵보다 엄격하게 더 낮은 점근적 대조 손실을 달성할 수 있음을 증명한다. 즉, 손실 함수가 기하학을 보존하는 솔루션을 능동적으로 저해하며, 이는 구조적으로 취약한 잠재 공간을 초래한다.
3. 수정된 모델(Corrected Model): 서포트 불일치를 해결하기 위해, 부정적 샘플(negative samples)을 양의 쌍과 동일한 제약된 부분 매니폴로에서 추출하는 "서포트 교정형(support-corrected)" InfoNCE 변형을 도입한다. 저자들은 이 교정이 등거리(isometric/orthogonal) 솔루션을 달성 가능하게(즉, 전역 최솟값이 되게) 만들지만, 결정적으로 이들이 유일한 최솟값임을 보장하지는 않는다는 것을 증명한다.

실험적 검증

이론적 예측은 두 가지 실험 세트를 통해 검증된다:

1. 합성 벤치마크: 구형 잠재 공간($S^2$)과 다섯 가지 생성 프로세스(Identity, Linear, Spiral, Patches, Invertible MLP)를 사용하여, 저-귀납적 편향 인코더(MLP)와 고-귀납적 편향 인코더(생성 프로세스의 역모델을 모방하도록 설계됨)를 비교한다.
   • 지표: 선형 식별성($R^2$), 평균 상관 계수(MCC), 각도 보존 오차(APE).
   • 조건: 다양성이 유지되는 샘플링(full support) vs 다양성이 위반된 샘플링(fixed dimensions).
2. CIFAR-10 실험: 세 가지 아키텍처(MLP, ViT, ResNet-18)와 세 가지 증강 레짐(All, Crop Only, All w/o crop)을 사용하는 SimCLR을 사용한다.
   • 목표: 실제 데이터(ground-truth latents를 알 수 없는 경우)에서 아키텍처의 귀납적 편향이 제한된 샘플링 다양성을 어떻게 보완하는지 질적으로 조사한다.

주요 결과

이론적 발견

• 다양성의 필요성: 다양성 조건은 등거리 잠재 복구를 위한 필수 조건이다. 이것이 위반되면, 대료적 목적 함수는 무한한 데이터와 표현력이 풍부한 인코더가 있더라도 잠재 기하학을 복구하는 데 실패한다.
• 표준 InfoNCE의 실패: 다양성이 위반된 상황에서, 표준 InfoNCE 손실은 직교 맵보다 기하학을 왜곡하는 맵을 선호한다.
• 서포트 교정의 역할: 서포트 불일치를 교정한 InfoNCE 목적 함수는 등거리 솔루션을 달성 가능하게 만들지만, 그것이 반드시 선택되도록 보장하지는 않는다. 추가적인 제약 없이는 솔루션 공간이 비유일하게 남는다.
• 귀납적 편향의 보완적 역할: 샘플링 다양성이 불충분할 때, 아키텍처의 귀납적 편향이 결정적인 역할을 한다. 고-귀납적 편향 인코더(생성 프로세스의 역을 근사하는 모델)는 다양성 조건이 위반되었을 때도 잠재 구조를 복구할 수 있는 반면, 저-귀납적 편향 인코더는 실패한다.

경험적 발견

• 합성 결과:
  • 다양성 유지 시: MLP 인코더는 거의 완벽한 선형 식별성($R^2 \ge 0.99$)을 달성하며, 이는 표현력이 풍부한 인코더가 다양성 조건이 충족될 때 잠재 기하학을 복구할 수 있음을 확인해 준다.
  • 다양성 위반 시: MLP 성능이 붕괴된다($R^2 \in [0.05, 0.13]$). 반면, 역모델 인코더(고-귀납적 편향)는 높은 복구 성능($R^2 \ge 0.88$)을 유지한다.
  • 적응형 InfoNCE: 서포트 교정형 손실을 적용하면 MLP 성능이 부분적으로 회복되지만($R^2 \approx 0.60\text{--}0.65$), 고-귀납적 편향 인코더의 성능에는 도달하지 못한다. 이는 손실 교정만으로는 유일한 선택을 보장하기에 불충분함을 확인시켜 준다.
• CIFAR-10 결과:
  • 더 넓은 샘플링 서포트("All" 증강)가 모든 아키텍처에서 가장 높은 다운스트림 정확도를 보인다.
  • 높은 귀납적 편향(ResNet-18 > ViT > MLP)이 일관되게 성능을 향상시킨다.
  • 상호작용 효과: 다양성 조건이 점점 더 위반될수록(예: "All w/o crop") 아키텍처 간의 성능 격차가 벌어진다. 제한된 샘플링 하에서 고-귀납적 편향을 가진 ResNet-18이 저-귀납적 편향의 MLP를 크게 앞지르며, 이는 아키텍처의 사전 지식(prior)이 매우 중요하다는 것을 입증한다.

의의 및 주장

본 논문은 대조 학습의 성공과 실패의 경계를 이해하기 위한 엄밀한 프레임워크를 제공한다고 주장한다. 주요 기여는 다음과 같다:

1. 다양성 조건의 공식화: 기존 연구에서 사용된 full-support vMF 가정을 넘어 다양성 조건을 구체화하고, 이것의 위반이 최적화 지형을 근본적으로 변화시켜 기하학 보존 솔루션을 차선책으로 만든다는 것을 보여준다.
2. 귀납적 편향의 역할 규명: 샘플링 다양성이 제한될 때, 아키텍처의 귀납적 편형이 단순한 휴리스틱적 개선이 아니라 의미 있는 잠재 구조를 복구하기 위한 필수적인 메커니즘임을 확립한다.
3. 손실 수정의 한계 제시: 손실 함수에서 서포트 불일치를 교정하는 것이 등거리 솔루션을 달성 가능하게 만들기는 하지만, 그것이 선택됨을 보장하지는 않는다는 것을 보여줌으로써 귀납적 편향의 필요성을 재확인한다.

저자들은 샘플링 메커니즘과 인코더의 귀납적 편향 사이의 상호작용이 표현 품질을 공동으로 결정한다고 결론짓는다. 이들은 증강 파이프라인과 인코더 아키텍처에 대한 설계 선택이 이러한 이론적 정렬에 의해 유도되어야 하며, 이를 통해 시행착오 실험으로부터 발생하는 계산적 낭비를 줄일 수 있다고 제안한다. 본 연구는 모든 식별성 문제를 해결하려는 것이 아니라, 대조 학습이 잠재 기하학을 복구하는 데 성공하거나 실패하는 구체적인 조건을 명확히 하는 데 목적이 있다.