기술적 요약: 깊이의 암시적 편향: 신경 붕괴에서 소프트맥스 코드로

문제 제기

보간을 넘어 훈련된 심층 신경망 분류기는 종종 **신경 붕괴 (Neural Collapse, NC)**라고 알려진 구조화된 기하학적 배열로 수렴합니다. 여기서 클래스 평균은 심플렉스 등각 조밀 프레임 (ETF) 을 형성하고 특징은 이 프레임과 정렬됩니다. NC 는 얕은 모델과 정규화된 심층 설정에서 잘 이해되고 있지만, 정규화가 없는 심층 아키텍처에서의 등장은 이론적으로 모호한 상태입니다.

이전 이론적 연구인 **제약 없는 특징 모델 (Unconstrained Features Model, UFM)**은 주로 NC 를 유도하기 위해 명시적인 $L_2$ 정규화에 의존해 왔습니다. 그러나 최근 발견에 따르면, 심층 UFM 에서 $L_2$ 정규화는 실제로 NC 를 억제하는 저랭크 편향을 유도하여 NC 를 비최적으로 만듭니다. 정규화되지 않은 심층 훈련의 암시적 편향을 이해하는 데에는 중요한 격차가 존재합니다: 경사 하강법 역학을 통해 깊이 자체가 NC 를 선호하는지, 아니면 시스템이 대체 기하학적 구조로 이끌리는지? 구체적으로, 명시적 정규화가 없는 상태에서 깊이, 최적화 역학, 초기화가 어떻게 상호작용하여 최종 기하학적 구성을 결정하는가?

방법론

저자들은 명시적 정규화 없이 교차 엔트로피 (Cross-Entropy, CE) 손실로 훈련된 **심층 제약 없는 특징 모델 (Deep Unconstrained Features Model, UFM)**을 분석합니다. 이 모델은 최종 층의 특징을 자유 최적화 변수로 취급하여 직교 입력을 가진 심층 선형 네트워크를 효과적으로 추상화합니다. 본 연구는 두 가지 상호 보완적인 분석 관점을 사용합니다:

1. 점근적 분석: 저자들은 $t \to \infty$일 때 경사 흐름 (Gradient Flow, GF) 의 극한을 검토합니다. Lyu & Li(2019) 의 프레임워크를 활용하여 CE 손실에서의 GF 가 암시적으로 비볼록 마진 최대화를 수행함을 보입니다. 그리고 대응하는 제약 최적화 문제의 지형을 분석하여 전역 및 국소 최소점을 식별합니다.
2. 동역학적 분석: 유한 시간 거동을 이해하기 위해 저자들은 하드마드 초기화 (Hadamard initialization) (특히 실베스터 하드마드 행렬) 를 사용합니다. 이 초기화는 훈련 내내 매개변수 행렬의 특이 벡터를 보존하여 복잡한 행렬 역학을 오직 특이값을 지배하는 다루기 쉬운 미분 방정식 체계로 축소합니다. 이를 통해 원점 근처의 안정성과 큰 노름 영역으로의 전환 중 궤적 진화를 정밀하게 특성화할 수 있습니다.

주요 기여 및 결과

1. 깊이가 온전한 지형을 깨뜨림

이 논문은 NC 가 유일한 전역 최소점인 얕은 UFM 의 "온전한 (benign)" 지형이 심층 설정 ($L > 1$) 에서는 유지되지 않음을 보여줍니다.

• 정리 3.1: $K \ge 6$개의 클래스를 가진 $L=2$ (또는 $K \ge 4$개의 클래스를 가진 $L \ge 3$) 의 경우, NC 는 전역적으로 최적이지 않습니다. NC 는 여전히 국소 최적점이지만, 지형은 여러 개의 서로 다른 안정적인 국소 최소점을 허용합니다.
• 메커니즘: NC 의 비최적성은 저랭크 구조가 연속적인 행렬 곱을 통해 노름을 더 효율적으로 전파하기 때문에 발생합니다. 심층 네트워크에서 저랭크 행렬은 고정된 매개변수 노름에 대해 NC 구성보다 더 큰 로그트 노름 (그리고 따라서 더 큰 유클리드 마진) 을 허용합니다. 이는 명시적 정규화와 무관한 깊이의 순수한 기하학적 효과입니다.

2. 최적 저랭크 구조의 특성화: 소프트맥스 코드

저자들은 심층 극한에서 NC 를 대체하는 구체적인 기하학적 구조를 식별합니다.

• 정리 3.2: 무한한 깊이 ($L \to \infty$) 의 극한에서 전역 최적점은 원 위에 정 $K$-각형의 꼭짓점으로 배열된 클래스 평균을 갖는 랭크-2 해에 해당합니다.
• 소프트맥스 코드와의 연결: 이 구조는 극단적인 폭 병목 ($d=2$) 하의 단일 층 UFM 의 최적 해인 소프트맥스 코드 (softmax code) (Jiang et al., 2023) 와 일치합니다. 논문은 깊이가 명시적 아키텍처 병목이 필요하지 않은 해를 선택하는 암시적 랭크 제약으로 작용한다고 주장합니다. 실험적 결과는 이 연결이 유한한 깊이에서도 확장되어 네트워크가 랭크-$r$ 소프트맥스 코드로 수렴함을 시사합니다.

3. 동역학적 불안정성과 "부자가 더 부자가 되는" 효과

이 논문은 시스템이 NC 를 어떻게 피하는지 설명하기 위해 경사 흐름의 궤적을 분석합니다.

• NC 의 불안정성: 얕은 경우와 달리 NC 가 궤적 전체에서 안정적인 반면, 정리 4.3은 $L > 1$인 경우 NC 방향이 원점 근처 (작은 매개변수 노름) 에서 불안정함을 증명합니다. 불안정 영역은 층의 수에 따라 증가합니다.
• 메커니즘: 이 불안정성은 "부자가 더 부자가 되는 (rich-get-richer)" 효과 (정리 4.4) 에 의해 주도됩니다. 초기화 근처의 선형화된 영역에서 더 큰 특이값은 더 작은 값보다 빠르게 성장하여 ($L > 1$) 초기 불균형을 증폭시키고 시스템이 선형화된 영역을 벗어나기 전에 저랭크 구조로 이끕니다.
• KL 발산의 발산: 얕은 모델에서 리아푸노프 함수로 작용하는 NC 에 대한 KL 발산이 심층 모델에서 발산할 수 있음을 보여줌으로써 궤적이 완전히 NC 에서 멀어질 수 있음을 확인합니다.

4. 초기화와 폭의 역할

이론적으로 저랭크 구조를 선호함에도 불구하고 NC 는 종종 관찰됩니다. 저자들은 이를 초기화 효과를 통해 설명합니다.

• 정리 4.5: 충분히 큰 네트워크 폭 ($d$) 을 가진 무작위 초기화 하에서, 로그트의 초기 속도는 심플렉스 ETF(NC 의 서명) 와의 정렬을 향해 편향됩니다.
• 측도의 집중: 큰 폭은 초기 고유값에서 측도의 집중을 유도하여 특이값을 거의 동일하게 유지합니다. 이는 "부자가 더 부자가 되는" 효과를 상쇄하여 시스템이 NC 가 국소적으로 안정적인 높은 유효 랭크를 가진 큰 노름 영역으로 진입할 수 있게 합니다. 이는 심층의 암시적 저랭크 편향에도 불구하고 넓고 무작위로 초기화된 네트워크에서 NC 가 유지되는 이유에 대한 동역학적 근거를 제공합니다.

5. 실험적 검증

저자들은 MNIST 와 CIFAR-10 에서 훈련된 심층 UFM 과 ResNet-20 아키텍처에서 이론을 검증합니다.

• 깊이 vs 랭크: 네트워크 헤드의 깊이를 증가시키면 평균 로그트 행렬의 유효 랭크가 체계적으로 감소하여 깊이에 의해 유도된 저랭크 편향을 확인합니다.
• 폭 vs 랭크: 폭을 증가시키면 일반적으로 유효 랭크가 증가하여 폭이 훈련을 더 높은 랭크 (NC 유사) 해로 편향시킨다는 이론적 주장을 지지합니다.
• 일반화: NC 해에 비해 낮은 유효 랭크 (저랭크 대안과 관련됨) 는 일반적으로 더 나쁜 일반화와 상관관계가 있어, 깊이의 저랭크 구조에 대한 암시적 편향이 마진과 일반화 성능의 감소라는 대가를 치를 수 있음을 시사합니다.

중요성 및 주장

이 논문은 정규화되지 않은 심층 네트워크에서 신경 붕괴의 등장을 결정하는 깊이, 최적화 역학, 초기화의 암시적 편향이 어떻게 상호작용하는지에 대한 첫 번째 포괄적 특성화를 제공한다고 주장합니다.

• 이론적 신규성: 깊이 자체만으로 NC 를 비최적으로 만드는 저랭크 편향을 유도할 수 있음을 확립하여, NC 가 심층 학습의 불가피한 결과이거나 등장을 위해 명시적 정규화가 필요하다는 관점에 도전합니다.
• 메커니즘 식별: 선형화된 영역에서의 "부자가 더 부자가 되는" 역학을 저랭크 등장의 원동력으로 식별하고, 결과적인 최적점을 소프트맥스 코드로 특성화합니다.
• 실용적 통찰: 이 연구는 실제에서 NC 의 보편성에 대한 동역학적 설명을 제공합니다: 깊이는 이론적으로 저랭크 구조를 선호하지만, 큰 폭과 무작위 초기화는 최적화를 다시 NC 로 이끌 수 있습니다.
• 한계: 저자들은 분석이 다루기 쉬운 역학을 위해 UFM 추상화와 특정 초기화 체계 (하드마드) 에 의존함을 인정하지만, 이러한 현상이 작은 무작위 초기화 하에서도 지속됨을 입증합니다. 또한 이론은 점근적이며 유한 시간 속도는 여전히 열린 방향임을 지적합니다.

요약하자면, 이 논문은 심층 학습 기하학에 대한 이해를 재정의하여, 깊이가 신경 붕괴의 고랭크 구조와 경쟁하는 암시적 저랭크 편향을 도입하며, 최종 결과는 네트워크 깊이, 폭, 초기화 간의 상호작용에 의해 결정된다고 주장합니다.