기술적 요약: 불균형 데이터셋을 위한 일반화된 대비 학습의 최적 표현

문제 정의

대비 학습 (CL) 은 "유사한" (양성) 샘플을 가까이 당리고 "다른" (음성) 샘플을 멀리 밀어내는 표현 매핑을 학습하는 것을 목표로 합니다. 균형 잡힌 데이터셋의 경우 최적 표현의 기하학은 잘 알려져 있습니다. 즉, 클래스 평균들이 등각 조밀 프레임 (ETF) 을 형성하는 **신경 붕괴 (Neural Collapse, NC)**를 보입니다. 그러나 불균형 클래스 분포 하에서의 CL 동작은 여전히 대부분 규명되지 않았습니다. 기존 이론적 연구들은 주로 다음에 초점을 맞추어 왔습니다:

1. 특정이며 거의 최대인 음성 샘플 수 ($k \approx$ 배치 크기) 를 가진 InfoNCE 손실의 경험적 버전.
2. 모든 클래스가 동일한 확률을 가지는 균형 잡힌 클래스 설정.
3. 일반 CL 위험이 아닌 명시적 레이블 의존 손실 (예: MSE, 교차 엔트로피) 을 사용하는 분류기 네트워크.

본 논문은 임의의 클래스 불균형 하에서 일반화된 CL 손실에 대한 최적 표현 기하학에 대한 이해의 공백을 해소하며, 특히 ETF 구조가 유지되는지 여부를 조사하고 **소수 클래스 붕괴 (Minority Collapse, MC)**와 같은 새로운 현상을 규명합니다.

방법론

저자들은 제약 없는 특징 모델 (Unconstrained Features Model, UFM) 프레임워크를 채택하여 최종 레이어 특징 벡터를 네트워크 가중치가 아닌 자유 최적화 변수로 취급합니다. 이를 통해 전역 최적점에 대한 분석 가능한 분석이 가능해집니다.

주요 가정 및 설정

• 일반화된 손실 함수: 본 연구는 $\ell_k = \psi(\dots)$로 정의된 광범위한 CL 손실 계열을 고려합니다. 여기서 $\psi: \mathbb{R}^k \to \mathbb{R}$은 엄격하게 볼록하고 인자별로 엄격하게 증가하는 함수입니다. 이는 InfoNCE와 같은 인기 있는 손실들을 포함합니다.
• 샘플링 분포: 분석은 전체 데이터셋에서 음성을 추출하여 "클래스 충돌"을 허용하는 **비지도 CL (UCL)**과 앵커와 다른 클래스에서 음성을 추출하는 지도 CL (SCL) 모두를 다룹니다.
• 클래스 불균형: 본 논문은 클래스 확률 $\lambda_i$가 반드시 같지 않은 데이터셋을 모델링하며, 극단적인 불균형 (하나의 다수 클래스와 여러 등확률 소수 클래스) 시나리오를 포함합니다.
• 최적화 전략:
  1. 하한 구성: 클래스 평균 벡터 $M = [\mu_1, \dots, \mu_C]$만으로 표현되는 CL 위험에 대한 엄격한 하한 $G(M)$이 유도됩니다.
  2. 볼록 완화: 위험을 최소화하는 문제는 그람 행렬 $A = M^\top M$에 대한 함수 $S(A)$를 최소화하는 문제로 변환됩니다. 저자들은 $S(A)$가 유효한 상관 행렬 집합 위에서 엄격하게 볼록함을 증명합니다.
  3. 분석적 특성화: 최적 클래스 평균의 기하학적 구조를 결정하기 위해 유일한 최소화자 $A^*$의 특성이 분석됩니다.

주요 기여

1. 일반화된 하한 및 분산 붕괴

본 논문은 인자별로 증가하는 임의의 엄격하게 볼록한 손실 함수와 임의의 음성 샘플 수 $k$에 대해 성립하는 CL 위험에 대한 새로운 하한 (Lemma 1) 을 확립합니다.

• 클래스 내 분산 붕괴: 저자들은 이 하한을 달성하기 위해 표현 매핑이 클래스 내의 모든 샘플을 해당 클래스 평균으로 붕괴시켜야 함을 증명합니다 (즉, $f(x) = \mu_{y(x)}$).
• 단위 노름: 최적 클래스 평균은 유클리드 노름이 1 이어야 합니다.

2. 최적 클래스 평균의 기하학

표현 차원 $d \ge C-1$인 경우:

• 랭크 결손: 명시적인 랭크 제약이 없더라도 유일한 최적 그람 행렬 $A^*$는 랭크가 최대 $C-1$인 랭크 결손 상태임이 증명됩니다.
• 볼록 계산: 최적 클래스 평균은 그람 행렬에 대한 볼록 최적화 문제를 풀고 스펙트럼 분해를 수행함으로써 계산될 수 있습니다.
• 대칭 구조: 균형 잡힌 경우에서 평균들이 ETF 를 형성하는 것과 달리, 불균형 클래스에 대한 최적 기하학은 상대적 클래스 비율에 의해 결정되는 등각 대칭 구조를 보입니다. 구체적으로, 두 클래스가 동일한 확률을 가지면, 그들의 평균은 모든 다른 클래스 평균과 동일한 내적을 유지합니다 (Theorem 3).

3. 소수 클래스 붕괴 (MC) 현상

본 논문은 CL 에서의 소수 클래스 붕괴에 대한 엄격한 이론적 증명을 제공합니다.

• 정의: 클래스 불균형이 극단적일 때 (구체적으로 다수 클래스 확률 $\lambda_1$이 비점근적 임계값 $\tau$를 초과할 때), 모든 소수 클래스 샘플의 최적 표현은 단일 벡터로 붕괴됩니다.
• 임계값 유도: MC 에 대한 충분 조건은 클래스 수 $C$, 음성 수 $k$, 그리고 손실 함수 $\psi$의 리프시츠 속성에 대해 유도됩니다.
• InfoNCE 특정 사항: InfoNCE 손실에 대해 본 논문은 매개변수 없는 임계값을 유도합니다:
  • UCL 설정의 경우 $\tau \approx 0.9292$.
  • SCL 설정의 경우 $\tau \approx 0.9438$.
    이러한 임계값은 $C$나 $k$에 관계없이 MC 를 보장합니다.

4. 설정의 통합

결과는 확률 분포에 약간의 조정이 필요할 뿐 UCL 및 SCL 설정 모두에서 성립함이 보여지며, 이를 통해 다양한 샘플링 메커니즘 전반에 걸친 대비 학습에 대한 이론적 이해가 통합됩니다.

결과 및 검증

• 이론적 일관성: 유도된 하한과 기하학적 속성은 UFM 하에서 최적성에 필요충분조건임이 수학적으로 증명되었습니다.
• 수치 실험:
  • 클래스 내 붕괴: ResNet-50 을 사용하여 불균형 CIFAR-10 하위 집합 (3 클래스) 에 대한 실험은 훈련된 네트워크가 클래스 내 분산을 클래스 평균으로 붕괴시킴을 확인했습니다. 결과적으로 생성된 그람 행렬은 볼록 최적화 (CVX) 를 통해 계산된 것과 일치했습니다.
  • 소수 클래스 붕괴: 극단적인 불균형 ($\lambda_1 = 0.9$) 을 가진 실험은 소수 클래스 평균이 다수 클래스 평균과 정반대 방향인 단일 벡터로 붕괴됨을 보여주어 이론적 MC 현상을 검증했습니다.
  • 기하학: 실험은 불균형 클래스가 정삼각형 (ETF) 을 형성하지 않고 오히려 이등변 삼각형을 형성함을 확인했으며, 이는 유도된 대칭 속성과 일치합니다.

중요성 및 주장

본 논문은 일반적 클래스 불균형 하에서 계산 가능한 최적 CL 표현의 특성을 최초로 제공한다고 주장합니다. 그 중요성은 다음과 같습니다:

1. 신경 붕괴의 일반화: 균형 잡힌 설정에서 불균형 설정으로 NC 현상을 확장하여, 클래스 내 붕괴는 지속되지만 클래스 간 기하학 (ETF) 은 그렇지 않음을 보여줍니다.
2. 소수 클래스 붕괴 설명: CL 에서 경험적으로 관찰된 "소수 클래스 붕괴"에 대한 이론적 기반을 제공하며, 이를 극단적 불균형 하에서 위험 최소화 문제의 최적 (그러나 잠재적으로 바람직하지 않을 수 있는) 해결책으로 규명합니다.
3. 계산 효율성: 최적 클래스 평균을 볼록 최적화를 통해 찾을 수 있음을 보여줌으로써, 고차원 표현 공간이 CL 에서 최적 특징을 학습하는 데 비효율적일 수 있음을 시사합니다.
4. 이론의 견고성: 이러한 현상이 특정 네트워크 아키텍처나 훈련 역학의 산물이 아니라 손실 함수와 샘플링 분포의 기하학에 내재된 것임을 확립합니다.

저자들은 $d < C-1$일 때의 최적 기하학 특성화 (대규모 언어 모델과 관련됨) 및 하드 음성 샘플링 효과 분석을 포함한 미해결 문제들을 식별하며 논문을 마무리합니다.