기술 요약: 딥 리니어 네트워크에서의 뉴럴 콜랩스(Neural Collapse)에 대한 폐쇄형 깊이-너비 법칙

문제 정의

신경망 구조(특히 깊이와 너비)와 학습된 표현의 기하학적 구조 사이의 관계는 일반적으로 훈련 후 경험적으로 분석됩니다. 기존 연구들은 유한한 너비에서의 커널 변동(kernel fluctuations)과 유효 깊이(effective depth)를 조절하는 매개변수로 깊이-너비 비율($L/N$)을 식별해 왔으나, 특징 학습(feature learning) 과정 중에 건축적 선택이 표현 기하학을 어떻게 형성하는지에 대한 예측 가능한 폐쇄형(closed-form) 이해는 여전히 미지의 영역으로 남아 있습니다. 구체적으로, 레이어 전반에 걸친 뉴럴 콜랩스(Neural Collapse, NC)—클래스 내 변동성 최소화(NC1), 심플렉스 구조의 클래스 평균 형성(NC2), 그리고 분류기와 클래스 평균 간의 정렬(NC3)로 특징지어지는 현상—의 진화는 트랙터블한 특징 학습 환경에서 제1원리로부터 분석적으로 도출되지 않았습니다.

방법론

저자들은 **뉴럴 콜랩스 관측치(observables)**와 딥 리니어 네트워크를 위한 **자기 일관적 특징 학습 이론(self-consistent feature-learning theory)**을 결합한 이론적 프레임워크를 개발합니다.

1. NC 관측치의 커널 공식화:
   본 논문은 뉴럴 콜랩스의 커널 공식을 확장합니다. Kothapalli와 Tirer [2025]가 NC1이 특징 커널(feature kernel)을 통해 표현될 수 있음을 입증했다면, 본 연구는 NC2(심플렉스 등각 타이트 프레임(ETF)으로부터의 각도 편차)와 NC3(리지 리드아웃(ridge readout)과 중심화된 클래스 평균 간의 미정렬)에 대한 폐쇄형 커널 표현식을 도출합니다. 이 표현식들은 명시적인 특징 좌표를 필요로 하지 않고 오직 특징 커널 $K$와 레이블 $Y$에만 의존합니다.

2. 특징 학습 이론:
   저자들은 Fischer 등 [2024]의 베이지안 특징 학습 프레임워크를 채택합니다. 이 이론은 샘플 수 $P$와 네트워크 너비 $N$이 함께 스케일링되는 비율 $P/N = \alpha$인 비례 한계(proportional limit)에서 정확한 최대 사후 확률(MAP) 레이어별 커널 방정식을 도출합니다.

3. 교환 가능한 클래스 기하학(Exchangeable Class Geometry):
   분석적인 해를 얻기 위해, 저자들은 입력 커널이 클래스 내 샘플의 순열과 클래스 간의 순열에 대해 불변인 교환 가능한 클래스 기하학을 가정합니다. 이 대칭성 하에서, 행렬 값 커널 방정식은 세 가지 스칼라 채널로 분리됩니다:

   • 전역 평균 ($E$)
   • 중심화된 클래스 간 평균 ($P_B$)
   • 클래스 내 변동 ($P_W$)

   이러한 축소를 통해 레이어 전반에 걸친 클래스 내 변동 대 클래스 간 분산 비율의 진화를 규명하는 스칼라 기하학적 법칙을 도출할 수 있습니다.

주요 기여

1. NC2 및 NC3를 위한 커널 항등식

본 논문은 NC2와 NC3를 특징 커널 $K$와 레이블 $Y$로 직접 표현하는 새로운 항등식을 제공합니다.

• NC2는 중심화된 클래스 평균의 코사인 정규화된 그람 행렬(Gram matrix)과 단위 노름 심플렉스 ETF의 그람 행렬 사이의 프로베니우스 노름 거리로 공식화됩니다.
• NC3는 편향이 없는 리지 리드아웃 방향과 중심화된 클래스 평균 사이의 평균 코사인 미정렬로 공식화됩니다.
  이러한 항등식들을 통해 특징 행렬 $Z$를 생성하지 않고도 세 가지 훈련 세트 NC 관측치를 모두 계산할 수 있습니다.

2. 정확한 기하학적 깊이 법칙

교환 가능한 클래스 구조를 가진 딥 리니어 네트워크에 대해, 저자들은 NC1의 레이어별 진화에 대한 정확한 법칙을 도출합니다:
$$NC^{(l)}_1 = NC^{(0)}_1 \left( \frac{t_W}{t_B} \right)^l$$
여기서 $t_W$와 $t_B$는 데이터, 사전 분포(prior), 그리고 아키텍처에 의해 결정되는 레이어 독립적인 전이 계수(transfer factors)입니다. 이는 클래스 내 채널과 클래스 간 채널에 대한 전이 계수의 비율에 의해 구동되어, 클래스 내 압축이 깊이에 따라 기하학적으로 발생함을 보여줍니다.

3. 깊이-너비 스케일링 법칙

작은 규제($\kappa$)를 가진 대규모 너비 극한에서, 누적된 압축은 $L/N$에 의해 제어됨이 밝혀졌습니다. 최종 NC1은 다음과 같이 스케일링됩니다:
$$NC^{(L)}_1 \approx NC^{(0)}_1 \exp\left( -\frac{rL}{N} \right)$$
여기서 $r$은 신호 대 잡음비(SNR), 사전 분산, 그리고 아키텍처에 의해 자기 일관적으로 결정되는 속도 매개변수입니다. 이는 $L/N$이 표현 압축을 제어하는 주요 아키텍처 변수이며, 속도 $r$은 외부 하이퍼파라미터가 아닌 데이터와 모델의 특성으로부터 도출되는 것임을 확립합니다.

결과

• 분석적 검증: 정확하게 교환 가능한 팝퓰레이션 커널에 대한 수치 실험을 통해, 폐쇄형 기하학적 법칙이 다양한 깊이와 너비에 대해 수치적 고정점 해(fixed-point solution)와 일치함을 확인했습니다.
• 데이터 의존성: 수축률 $\log(t_W/t_B)$가 입력 SNR에 명시적으로 의존함을 보여줌으로써, 속도의 자기 일관적 결정 과정을 검증했습니다.
• 스케일링 동작: $L/N$을 일정하게 유지하면서 $L$과 $N$을 변화시키는 실험을 통해, 최종 NC1이 예측된 지수적 감소를 따름을 입증하여 $L/N$ 스케일링 법칙을 확인했습니다.
• 유한 너비 훈련 네트워크: 샘플링된 가우시안 데이터에 대해 SGLD로 훈련된 유한 너비 선형 네트워크에 적용했을 때, 측정된 입력 고윳값을 사용한 폐쇄형 예측은 이상적인 팝퓰레이션 설정과의 차이에도 불구하고 관찰된 NC1의 기하학적 감소와 밀접하게 일치했습니다.
• 비선형 확장: 4-클래스 XOR 태스크의 비선형 모델에서, 자기 일관적 이론으로부터 도출된 커널 관측치(NC1, NC2, NC3)는 훈련된 유한 너비 네트워크의 것과 동일한 질적 방향으로 진화하며, 이는 커널 프레임워크가 해결 가능한 선형 영역을 넘어 표현 진화의 기하학을 포착하고 있음을 시사합니다.

의의 및 주장

본 논문은 훈련 후 피팅된 것이 아니라 특징 학습 이론으로부터 도출된 **다루기 쉬운 표현 수준의 스케일링 법칙(tractable representation-level scaling law)**을 제공한다고 주장합니다. 주요 의의는 다음과 같습니다:

1. 예측력: 후보 네트워크를 훈련시키지 않고도 데이터, 사전 분포, 아키텍처로부터 직접 표현 기하학(구체적으로 뉴럴 콜랩스의 정도)을 예측할 수 있게 합니다.
2. 아키텍처적 통찰: 딥 리니어 네트워크에서 표현 압축을 제어하는 핵심 매개변수로 깊이-너비 비율 $L/N$을 식별하였으며, 압축률은 문제 구조에 의해 자기 일관적으로 결정됩니다.
3. 이론적 통합: 뉴럴 콜랩스 연구를 유한 너비 커널 이론과 통합하여, 알려진 NC1 항등식을 NC2 및 NC3로 확장하고 이들의 레이어별 진화에 대한 폐쇄형 설명을 제공합니다.

저자들은 정확한 기하학적 법칙이 교환 가능한 딥 리니어 네트워크를 위해 도출되었지만, 커널 관측치는 비선형 네트워크에서도 유효하며 표현 기하학의 질적인 진화를 포착한다고 언급했습니다. 이러한 예측 법칙을 일반적인 비선형 네트워크 및 임의의 데이터 기하학으로 확장하는 것이 향후 연구 과제로 제시되었습니다.