기술 요약: 가중 대비 학습을 위한 통합 기하학적 프레임워크

문제 제기

대비 학습 (CL) 은 지도 및 자기지도 표현 학습의 초석이 되었으나, 그것이 생성하는 임베딩의 기하학적 구조는 여전히 잘 이해되지 않고 있습니다. 실증적 성공 (예: SimCLR, SupCon, CLIP) 이 존재함에도 불구하고, 이러한 목적 함수들이 임베딩 공간에서 암묵적으로 실현하려는 구체적인 관계 구조가 무엇인지, 그러한 구조가 항상 달성 가능한지, 그리고 가중치 체계가 해의 기하학에 어떤 영향을 미치는지는 명확하지 않습니다. 특히 클래스 불균형이나 연속 레이블의 존재 하에서 다양한 가중치 체계 하의 최적 표현에 대한 존재성, 유일성, 거리 구조에 대한 엄밀한 특성 규명이 부족합니다.

방법론

저자들은 가중 대비 학습을 **거리 기하학 문제 (DGP)**로 해석할 것을 제안합니다. 가중 InfoNCE(w-InfoNCE) 손실 함수를 분석함으로써, 손실을 최소화하는 것은 가중치 행렬 $W$로 정의된 목표 쌍별 기하학의 기하학적 실현을 찾는 것과 동등함을 확립했습니다.

핵심 프레임워크

1. 통합 공식화: 이 논문은 사전 지식 (레이블 또는 메타데이터) 을 인코딩하는 유사성 행렬 $W$와 잠재 유사성 행렬 $S$를 사용하여 w-InfoNCE 손실을 정의합니다.
2. 엔트로피 하한: 엄격히 양수인 가중치라는 가정 하에, 저자들은 손실에 대한 엔트로피 하한을 유도합니다. 잠재 유사성 $s_{ij}$가 $s^*_{ij} = \log(w_{ij}) + c$를 만족할 때 전역 최소값에 도달함을 증명합니다.
3. DGP 와의 연결: 이 조건은 최적화 문제를 DGP 로 변환합니다. 사용된 유사성 척도 (유클리드 거리 대 코사인 유사성) 에 따라, 문제는 각각 지정된 유클리드 거리나 코사인 유사성을 만족하는 임베딩을 찾는 문제로 귀결됩니다.
4. 존재성과 유일성: 저자들은 최적 임베딩이 존재하고 유일한 조건을 결정하기 위해 계산 기하학 개념 (유클리드 거리 행렬 및 구면 EDM) 을 적용합니다. 이들은 해가 존재하는 "실현 가능한" 기하학, 손실을 최소화하는 질적으로 다른 여러 구성이 존재하는 "퇴화" 해, 그리고 목표 기하학이 임베딩 공간에서 실현될 수 없는 "불일치" 목적 함수를 구분합니다.

주요 기여

1. 지도 분류의 기하학적 특성 규명

이 논문은 SupCon(하드 가중치) 과 Soft SupCon(부정 쌍에 대해 작은 0 이 아닌 유사성을 가진 밀집 가중치) 을 분석합니다:

• 클래스 붕괴: 두 목적 함수 모두 동일한 클래스 내의 샘플들을 단일 프로토타입으로 붕괴시킵니다.
• 클래스 불균형 효과:
  • SupCon: 클래스 불균형이 존재할 때, SupCon 은 비균일한 클래스 간 유사성을 유도합니다. 클래스 프로토타입의 기하학은 클래스 크기에 의존하여 정규 심플렉스의 대칭성을 깨뜨립니다. 소수 클래스는 더 밀집하게 그룹화됩니다.
  • Soft SupCon: 클래스 간 쌍에 작은 0 이 아닌 유사성을 할당함으로써, Soft SupCon 은 온도 매개변수가 올바르게 조정된다면 클래스 불균형과 관계없이 정규 심플렉스 기하학을 유지합니다.

2. 연속 레이블 설정 분석

저자들은 회귀 및 약한 지도 학습을 위한 목적 함수를 검토합니다:

• y-Aware CL: 이 방법은 레이블 공간 ($W$) 에서는 유클리드 거리를 사용하지만 잠재 공간 ($S$) 에서는 코사인 유사성을 사용합니다. 논문은 이 조합이 기하학적으로 불일치함을 증명합니다. 레이블이 초구 위에 있지 않는 한, 유클리드 레이블 거리를 구면 잠재 유사성에 완벽하게 매핑할 수 없으므로 목적 함수는 엔트로피 하한에 도달할 수 없습니다.
• 기하학적으로 일관된 대안:
  • 유클리드–유클리드: 두 공간 모두에서 유클리드 거리를 사용하면 유일하고 실현 가능한 최적해를 허용합니다.
  • X-CLR: 레이블과 잠재 공간 모두에서 코사인 유사성을 사용하는 것 (구면–구면) 은 레이블 차원과 온도 제약 조건이 충족된다면 유일한 최적 임베딩을 허용합니다.

3. 새로운 평가 지표

이론적 주장을 실증적으로 검증하기 위해, 저자들은 세 가지 기하학적 지표를 도입합니다:

• 엔트로피 손실 갭: 달성된 손실이 이론적 하한에 얼마나 가까운지를 측정합니다.
• 유사성 계수 ($r^2_{s-sim}$): 학습된 임베딩의 쌍별 유사성과 이론적 최적값 사이의 상관관계를 측정합니다.
• 프로크루스테스 유사성 ($r^2_{Proc}$): 최적의 강체 변환 (회전/이동) 후 학습된 임베딩과 이론적 최적값 사이의 정렬 정도를 측정합니다.

실험 결과

저자들은 MNIST 데이터셋과 CIFAR-100 에서 프레임워크를 검증합니다:

• 이산 분류: 균형 잡힌 설정에서 학습된 임베딩은 정규 심플렉스로 수렴합니다. 불균형 설정에서는 SupCon 임베딩이 클래스 크기에 따라 왜곡되는 반면, Soft SupCon 은 정규 심플렉스 구조를 유지합니다.
• 연속 회귀: 유클리드 가중치와 유클리드 잠재 유사성을 사용할 때, 학습된 임베딩은 레이블 기하학을 밀접하게 근사합니다 ($r^2_{Proc} \approx 0.96$). 반면, 불일치하는 y-Aware 설정 (유클리드 레이블, 구면 잠재) 은 올바른 기하학을 복원하지 못하지만, 수정된 유클리드 - 유클리드 설정은 성공합니다.
• X-CLR: CIFAR-100 에 대한 실험은 일관된 레이블 - 임베딩 기하학 (예: 잠재 공간 기하학과 일치하는 텍스트 임베딩) 으로 훈련된 모델이 불일치하는 기하학에 비해 더 나은 일반화 성능과 더 높은 프로크루스테스 유사성 점수를 달성함을 보여줍니다.

중요성과 주장

이 논문은 가중치 체계가 유도하는 기하학과 임베딩 공간의 기하학을 명시적으로 일치시킴으로써 대비 목적 함수를 설계하기 위한 원칙적 프레임워크를 제공한다고 주장합니다.

• 실현 가능성: 가중치 체계의 선택은 대비 목적 함수가 기하학적으로 실현 가능한지, 퇴화되었는지, 아니면 불일치하는지 결정합니다.
• 설계 지침: 저자들은 고유하고 최적의 해의 존재를 보장하기 위해 $W$와 $S$에 대해 일관된 (예: 유클리드 - 유클리드 또는 구면 - 구면) 유사성 함수를 선택해야 한다고 주장합니다.
• 이론적 통찰: 이 작업은 CL 에 대한 기존 정보 이론적 및 확률론적 관점에 보완적인 관점을 제공하며, 해 공간의 구조적 속성에 초점을 맞춥니다. 이는 특정 목적 함수 (예: 불균형 설정의 표준 SupCon 이나 불일치 척도를 가진 y-Aware 보다) 가 기하학적 실현 가능성 덕분에 다른 목적 함수 (예: Soft SupCon 또는 X-CLR) 보다 더 우수한 성능을 발휘할 수 있는 이유를 설명합니다.

저자들은 분석이 레이블 또는 메타데이터에서 파생된 명시적 비유사성 행렬을 가정하지만, 자기지도 설정 (SimCLR 등) 은 이론적으로 특성화하기 어려운 암묵적이고 데이터 주도적인 비유사성 행렬에 의존한다는 한계를 인정합니다. 이 작업을 암묵적 대비 목적 함수의 기하학적 속성에 대한 향후 연구의 기초로 위치시킵니다.