The role of class encoding in neural collapse

기술 요약: 뉴럴 콜랩스(Neural Collapse)에서 클래스 인코딩의 역할

문제 정의
뉴럴 콜랩스(Neural Collapse, NC)는 훈련 오차가 0에 도달했을 때 마지막 은닉층 활성화(last-hidden-layer activations)에서 관찰되는 특정한 기하학적 구조로 특징지어지는, 딥 뉴럴 네트워크 분류기의 훈련 종단 단계에서 나타나는 현상이다. NC는 크로스 엔트로피(Cross-Entropy) 손실을 사용하는 무제한 특징 모델(Unconstrained Features Model, UFM) 하에서 광범하게 연구되어 왔으나, 평균 제곱 오차(MSE) 손실 하에서의 동작은 여전히 연구 대상이다. 구체적으로, 선행 연구들은 UFM과 원-핫 인코딩(one-hot encoding)을 사용할 때, 분류기 편향(classifier bias)이 부재하거나 강하게 정규화될 경우 직교 프레임(Orthogonal Frame, OF)을, 편향이 정규화되지 않을 경우 심플렉스 에퀴앵귤러 타이트 프레임(Simplex Equiangular Tight Frame, ETF)을 형성하는 두 가지 뚜렷한 구조적 결과를 확인하였다. 이러한 구조들과 임의의 레이블 인코딩이 NC 특성에 미치는 영향 사이의 관계는 아직 완전히 이해되지 않았다. 본 논문은 레이블 인코딩과 편향 항(bias term)이 이러한 기하학적 구조의 출현에 미치는 역할을 다룬다.

연구 방법론
저자들은 MSE 훈련 손실을 사용하는 무제한 특징 모델(UFM)을 통해 문제를 분석한다. 최적화 문제는 모든 파라미터에 대한 $\ell_2$ 정규화를 조건으로, 무제한 특징($H$), 선형 분류기($W$), 그리고 편향 항($b$)에 대해 손실을 공동으로 최소화하는 문제를 포함한다. 연구에서는 다음을 고려한다:

1. 레이블 인코딩: 표준 원-ốt 인코딩부터 임의의 인코딩 행렬 $\bar{Y} \in \mathbb{R}^{K \times K}$ (레이블 스무딩 포함)까지.
2. 편향 정규화: 분류기 편향과 관련된 정규화 계수 $\lambda_b$의 변화에 따른 영향.
3. 데이터 균형: 균형 잡힌(balanced) 시나리오와 불균형한(imbalanced) 데이터 시나리오 모두를 포함하는 분석.

이론적 도출은 전역 최솟값(global minimizers)을 규명하기 위해 1차 최적 조건(first-order optimality conditions)에 의존한다. 저자들은 관찰된 기하학적 구조를 통합하기 위해 "시프트된 심플렉스 에퀴앵귤러 타이트 프레임(Shifted Simplex Equiangular Tight Frame, SSETF)"이라는 개념을 도입한다.

주요 기여 및 결과

1. OF 및 Simplex ETF 구조의 통합:
   본 논문은 OF와 Simplex ETF 사이의 전이가 편향 항에 의해 제어됨을 입증한다. 원-핫 인코딩된 레이블과 균형 잡힌 데이터의 경우, 편향 정규화 계수 $\lambda_b$가 감소함에 따라 비중심화된 평균 특징(uncentered mean features)은 OF에서 Simplex ETF로 연속적으로 전이된다.

   • 메커니즘: 최적의 편향 $b^*$는 레이블의 비중심성을 보상하는 역할을 한다. 편향이 정규화되지 않는 극한($\lambda_b = 0$)에서, 편향은 레이블의 평균과 같아지며, 이는 문제를 중심화하여 Simplex ETF 구조를 생성한다.
   • SSETF 정의: 저자들은 OF(시프트 파라미터 $\beta=0$)와 Simplex ETF(시프트 파라미터 $\beta=1$)를 모두 포괄하는 일반화된 형태로서 SSETF를 정의한다. 또한, 어떤 SSETF라도 중심화(centering)하면 Simplex ETF가 됨을 증명한다.

2. 임의의 인코딩에서 편향의 역할:
   원-핫 인코딩을 넘어, 저자들은 임의의 레이블 인코딩과 불균형한 데이터에 대해서도 UFM의 최적 편향이 레이블을 중심화하는 것을 목표로 함을 보여준다. 구체적으로, 레이블이 중심화되어 있다면($Y \mathbf{1}_N = 0$), 최적의 편향은 $\lambda_b$에 관계없이 0이다. 레이블이 중심화되어 있지 않은 경우, 편향 항은 레이블의 전역 평균과 원점 사이의 불일치를 보상하기 위해 솔루션을 이동시킨다.

3. 변동성 붕괴(NC1)의 견고성:
   본 논문은 데이터가 균형 잡힌 경우, 어떠한 레이블 인코딩과 어떠한 편향 정규화 강도 $\lambda_b \geq 0$에 대해서도 뉴럴 콜랩스의 첫 번째 성질인 NC1(특징이 클래스 평균으로 붕합되는 현상)이 성립함을 증명한다. 이는 변동성 붕괴가 특정 인코딩 방식에 독립적임을 나타낸다.

4. 자기 쌍대성(NC3) 및 NC3'에 대한 영향:
   본 연구는 분류기 가중치가 클래스 평균과 일치하는 표준 자기 쌍대성(NC3)이 임의의 인코딩에 대해 견고하지 않음을 밝혀낸다. 레이블에 직교 변환을 적용하면 $W^*$와 클래스 평균 $\bar{H}^*$ 사이의 직접적인 정렬이 깨진다.

   • 제안된 해결책: 저자들은 더 약한 변형인 **NC3'**를 제안하며, 이는 분류기 가중치가 재스케일링(rescaling) 및 직교 회전/반사(orthogonal rotation/reflection)를 제외하고 클래스 평균으로 수렴한다는 것을 명시한다. 저자들은 UFM-MSE 환경에서 균형 잡힌 인코딩에 대해 NC3'가 성립함을 증명한다.

5. Simplex ETF(NC2) 및 SSETF로의 수렴:
   본 논문은 최적의 평균 특징이 SSETF를 형성한다면, 그 중심화된 대응물(centered counterparts)은 Simplex ETF를 형성함을 입증한다(NC2 만족). 저자들은 균형 잡힌 시나리오에서 평균 특징이 SSETF를 형성할 필요충분조건이 레이블 인코딩 자체가 SSETF인 것임을 추측한다. 이 가족에는 원-핫 인코딩과 레이블 스무딩이 모두 포함된다.

의의 및 주장
본 논문은 MSE로 훈련된 분류기에서 관찰되는 기존의 구별된 OF 및 Simplex ETF 구조 사이의 이론적 가교를 제공하며, 이 차이를 전적으로 레이블을 중심화하는 편향의 역할로 돌린다. SSETF 프레임워크를 도입함으로써, 본 연구는 뉴럴 콜랩스의 이해를 임의의 레이블 인코딩으로 일반화한다.

저자들은 NC2를 위한 충분 조건을 식별(SSETF 인코딩을 통해)하고 NC1 및 NC3'의 견고성을 증명했으나, 불균형한 설정에서 어떤 인코딩이 NC2를 유도하는지에 대한 완전한 규명은 여전히 미해결 과제로 남아 있다고 겸허히 언급한다. 본 연구는 새로운 알고리즘이나 실험적 응용을 제안하기보다는, 레이블 인코딩과 편향 정규화가 뉴럴 콜랩스의 기하학적 지형을 형성하는 데 어떻게 상호작용하는지에 대한 이론적 명료화를 제공한다.