기술 요약: 대조 학습(Contrastive Learning)을 위한 하드 네거티브 샘플링(Hard-Negative Sampling)

문제 정의

대조 학습(CL)은 유사한 데이터 포인트는 가깝게, 서로 다른 데이터 포인트는 멀게 배치하는 표현(representation)을 학습하는 것을 목표로 한다. 하드 네거티브 샘플링(앵커와 구별하기 어려운 부정적 샘플을 선택하는 것)이 다운스트림 성능을 향상시킨다는 점은 경험적으로 알려져 있으나, 이것이 전역 최솟값(global minima)의 기하학적 구조에 미치는 이론적 영향은 충분히 연구되지 않았다. 구체적으로 다음과 같은 사항에 대한 엄밀한 이해가 부족하다:

1. 하드 네거티브 샘플링이 표준 CL과 비교하여 최적의 표현 기하학을 변화시키는가?
2. 지도 학습(SCL) 및 비지도 학습(UCL) 설정 모두에서 뉴럴 콜랩스(Neural Collapse, NC)—클래스 평균이 등각 촘촘 프레임(Equiangular Tight Frame, ETF)을 형성하고 클래스 내 분산이 사라지는 기하학적 상태—가 발생하는 조건은 무엇인가?
3. 표현이 더 낮은 차원의 부분 공간으로 붕괴되는 차원 붕와(Dimensional Collapse, DC) 현상과, 하드 네거티브 샘플링 및 특징 정규화(feature normalization)가 이에 미치는 영향은 무엇인가?

기존의 이론적 연구들은 증강된 양의 뷰(positive views)가 레이블에 대해 조건부 독립이라는 강력한 가정에 의존하거나, InfoNCE와 같은 특정 손실 함수에 집중하는 경향이 있다.

방법론

저자들은 일반적인 잠재 데이터 모델(latent data model) 하에서 CL 손실을 분석하기 위한 통합된 이론적 프레框架를 제안한다.

1. 일반화된 손실 및 하드닝 함수(Hardening Functions)

본 논문은 볼록하고 인자별로 단조 증가하는 함수 $\psi_k$를 사용하여 일반적인 대조 손실 함수 $\ell_k$를 정의한다. 이는 InfoNCE 및 Triplet Loss와 같은 인기 있는 손실 함수들을 포괄한다.
하드 네거티브 샘플링을 모델링하기 위해, 저자들은 비음수이며 인자별로 단조 증가하는 하드닝 함수 $\eta: \mathbb{R}^k \to \mathbb{R}$를 도입한다. 이 함수는 부정적 샘플의 샘플링 분포를 재가중치화하여, 표현 공간에서 앵커와 더 정렬된 부정적 샘플을 선택할 확률을 높인다.

2. 이론적 프레임워크

분석은 다음 네 가지 설정을 다룬다:

• SCL: 지도 대조 학습 (레이블 존재).
• HSCL: 하드 네거티브 SCL.
• UCL: 비지도 대조 학습 (잠재 레이블).
• HUCL: 하드 네거티브 UCL.

저자들은 이 설정들에 대한 기대 손실(expected loss)의 하한(lower bounds)을 도출한다. 핵심적인 이론적 도구는 **해리스 비교 부등식(Harris comparison inequality)**으로, 이를 통해 하드 네거티브 샘플링을 적용한 기대 손실이 표준 CL에 의해 하한이 결정됨을 증명한다.

3. 최적화 및 기하학

본 논문은 이러한 손실의 전역 최솟값을 조사한다. 저자들은 **뉴럴 콜랩스(NC)**를 다음과 같이 정의한다:

• 클래스 평균이 정규화된 등각 촘촘 프레임(ETF)을 형성함.
• 클래스 내 분산이 0임 (모든 클래스 샘플이 동일한 지점으로 매핑됨).
• 표현 차원 $d_Z \ge C-1$ (여기서 $C$는 클래스의 수).

또한 저자들은 클래스 평균의 경험적 공분산 행렬의 특이값(singular values)이 0이거나 가장 큰 값보다 몇 자릿수 작아, 표현 능력이 상실되는 현상인 **차원 붕괴(Dimensional Collapse, DC)**를 분석한다.

주요 기여

1. 이론적 하한 및 우위 (정리 1)

저자들은 임의의 표현 매핑 $f$에 대하여, Hard-SCL(HSCL)과 Hard-UCL(HUCL)의 손실이 각각 표준 SCL 및 UCL에 의해 하한이 됨을 증명한다. 이는 해리스 부등식을 통해 입증되었으며, 손실 함수가 인자별로 단조 증가하는 경우 하드 네거티브 샘플링이 손실을 더 낮추기 위해 샘플링 분포를 효과적으로 "기울임(tilt)"을 보여준다.

2. 뉴럴 콜랩스의 최적성 (정리 2 & 3)

• SCL/HSCL: 본 논문은 SCL과 HSCL 모두의 전역 최솟값이 뉴럴 콜랩스 기하학에 대응함을 증명한다. 결정적으로, 이 결과는 기존 문헌의 흔한 제약인 "양의 샘플이 레이블에 대해 조건부 독립이어야 한다"는 가정을 필요로 하지 않는다. NC가 달성되었을 때 SCL과 HSCL의 최적 손실 값은 동일하다.
• UCL/HUCL: 저자들은 임베딩 차원이 잠재 클래스 수에 비해 충분히 클 경우, UCL의 최적 기하학이 NC임을 확립한다. HUCL의 경우, 최적의 기하학은 하드니스(hardness) 수준과 "클래스 충돌(class collision, 부정적 샘플이 앵커와 동일한 잠재 클래스를 공유하는 현상)" 가능성에 따라 달라진다.

3. 최적화 역학의 경험적 검증

본 논문은 다음과 같은 사실을 최초로 경험적으로 입증한다:

• Adam 최적화와 하드 네거티브: 적절한 하드니스 수준과 함께 무작위 초기화를 사용한 Adam을 사용할 때, 특징 정규화(단위 구 또는 단위 구체)가 적용된다면 HSCL 및 HUCL은 NC 기하학으로 수렴할 수 있다.
• 차원 붕괴: 하드 네거티브 샘플링이나 특징 정규화 없이 Adam을 통해 학습된 표현은 차원 붕괴(DC)를 겪으며, NC 기하학을 달성하지 못한다.
• 정규화: 특징 정규화는 DC를 완화하는 데 매우 중요하다. 정규화가 없으면 하드 네거티브 방식과 무작위 방식 모두 NC를 달성하는 데 실패한다.

실험 결과

합성 데이터 (Synthetic Data)

• SCL/HSCL: 하드니스 수준($\beta$)에 관계없이 NC로 수렴했다.
• UCL: 레이블 정보를 사용하여 양의 쌍을 구성했을 때(이론적 가정을 충족할 때) NC로 수렴했다. 반면, 가법 가우시안 노이즈(additive Gaussian noise)를 사용했을 때(조건부 독립을 위반할 때)는 NC가 관찰되지 않았다.
• HUCL: NC로 수렴하지 않았다. 클래스 평균이 ETF 기하학에서 크게 벗어났으며, 하드니스가 증가함에 따라 그 편차가 커졌다.

실제 데이터셋 (CIFAR100, CIFAR10, TinyImageNet)

• 다운스트림 성능: 중간 정도의 하드니스 수준($\beta=5, 10$)에서의 하드 네거티브 샘플링은 표준 SCL 및 UCL에 비해 다운스트림 분류 정확도를 40% 포인트 이상 향상시켰다.
• NC 지표: 지도 학습 환경에서는 하드니스가 증가할수록 모델이 NC에 더 가까워졌다. 비지도 학습 환경에서는 최적의 하드니스 수준($\beta=5$)이 존재했으며, 하드니스가 너무 높아지면 NC 지표가 악화되고 DC가 증가했다.
• 초기화 민감도: "근사 NC(near-NC)" 초기값에서 시작할 경우, 지도 학습(SCL/HSCL)은 NC 속성을 유지했다. 그러나 높은 하드니스($\beta=10, 30$)를 가진 비지도 학습(HUCL)은 NC 속성에서 벗어나 상당한 DC를 보였다.
• 배치 크기: NC는 64~512 사이의 배치 크기에서 달성 가능했다. 그러나 매우 작은 배치 크기(32)는 높은 카디널리티를 가진 데이터셋에서 부정적 쌍의 다양성을 감소시켜 NC 달성을 방해했다.

의의 및 주장

본 논문은 지도 학습 설정에서 양의 샘플에 대한 조건부 독립 가정을 제거함으로써, 뉴럴 콜랩스의 최적성에 대한 더 단순하고, 압축적이며, 투명한 이론적 증명을 제공한다고 주장한다.

저자들은 하드 네거티브 샘플링이 이론적으로 손실 하한을 낮추지만, 그 실용적 유용성은 미묘한 차이가 있음을 강조한다:

1. 이는 Adam으로 최적화되는 과정에서 발생하는 **차원 붕괴(Dimensional Collapse)**를 방지하는 데 필수적이다(표준 CL은 정규화 없이는 이 현상을 겪기 쉽다).
2. 이는 다운스트림 분류 성능을 크게 향상시킨다.
3. 그러나 비지도 학습 설정에서는 과도한 하드니스가 클래스 충돌을 유발하여 최적의 NC 기하학 달성을 방해하는 등 해로울 수 있다.

결론적으로, 본 연구는 클래스 충돌을 고려한 HUCL의 타이트한 하한 도출과, 반드시 완전한 뉴럴 콜랩스를 달성하지 않고도 DC를 피할 수 있는 조건에 대한 이해를 포함한 향후 과제들을 제시하며 마무리된다.