기술적 요약: 딥러닝의 저차원 스펙트럼 통합

문제 제기

과매개변수화 영역에서 훈련된 딥러닝 분류 네트워크는 헤시안, 기울기, 가중치와 같은 행렬의 고유 스펙트럼에서 일관되게 저차원 구조를 나타냅니다. Papyan(2020) 에 의해 특히 두드러진 실증적 관찰들은 "벌크 - 아웃라이어(bulk-outlier)" 구조를 드러내는데, 여기서 대부분의 고유값은 0 에 가깝게 군집화되고(벌크), 소수의 아웃라이어가 나타납니다. 구체적으로, 헤시안은 종종 $K$개의 큰 아웃라이어와 $K(K-1)$개의 더 작은 아웃라이어로 구성된 "미니 벌크"를 보여주며, 여기서 $K$는 클래스 수입니다. 또한 기울기는 헤시안의 상위-$K$ 아웃라이어 고유공간과 정렬되는 것으로 관찰되었습니다.

일반화, 최적화, 강건성에 있어 헤시안의 중심적 중요성에도 불구하고, 이러한 특정 스펙트럼 구조에 대한 이론적 설명은 분열되어 있었습니다. 랜덤 행렬 이론, 스핀 글래스 비유, 또는 신경 탄젠트 커널을 사용하는 기존 접근법들은 종종 행동의 일부만 포착하거나 실제 상황에서는 성립하지 않는 가정에 의존합니다. 더 나아가, 이러한 스펙트럼 현상과 딥 뉴럴 콜랩스 (DNC) 사이의 연결은 수학적으로 거의 탐구되지 않았습니다. DNC 는 penultimate(마지막 전) 층의 특징들이 클래스 평균 주변으로 집중하여 심플렉스 등각 Tight Frame(ETF) 을 형성하는 현상입니다.

방법론

저자들은 특징 벡터를 고정된 특징 맵의 출력으로 취급하는 대신 자유롭게 최적화되는 변수로 간주하는 이론적 프레임워크인 **Deep Unconstrained Feature Model(UFM)**을 사용합니다. 이 모델은 과매개변수화 네트워크에서 DNC 의 출현을 연구하는 데 널리 사용됩니다.

본 논문은 두 가지 주요 분석 단계를 거칩니다:

1. 층별 분석: 저자들은 심층 선형 UFM 내에서 층별 헤시안, 기울기, 가중치 행렬의 고유값과 고유벡터에 대한 해석적 표현식을 유도합니다. 그들은 네트워크가 특징의 클래스 평균으로의 붕괴, 직교하는 클래스 평균, 그리고 평균의 선형 조합으로서의 가중치와 같은 DNC 조건을 만족하는 전역 최적점에 도달했다고 가정합니다.
2. 전체 네트워크 확장: 그들은 이러한 결과를 전체 네트워크 헤시안으로 확장하여, 최소한의 가정(특히 특징 맵이 충분히 표현력이 있고 네트워크가 충분히 깊다는 것) 하에서 전체 헤시안이 층별 헤시안의 스펙트럼 구조를 계승함을 보여줍니다.
3. ReLU 확장: 분석은 ReLU 활성화 함수를 가진 네트워크로 확장됩니다. 저자들은 일반적으로 ReLU 경우 DNC 가 전역 최적점은 아니지만, 장기간 훈련 시간 척도에서 나타나는 최상위 성능의 DNC 해법들이 음이 아닌 특징 제약이 있는 선형 모델과 효과적으로 유사하게 행동함을 보여줍니다. 이를 통해 선형 이론이 적용될 수 있음을 입증합니다.

주요 기여

1. 벌크 - 아웃라이어 구조에 대한 통합 해석적 설명

본 논문은 헤시안, 기울기, 가중치 전반에 걸쳐 실증적으로 관찰된 벌크 - 아웃라이어 구조의 모든 세부 사항을 동시에 회복하는 최초의 수학적 유도를 제공합니다.

• 헤시안 스펙트럼: 저자들은 층별 헤시안의 랭크가 $K^2$임을 증명합니다. 0 이 아닌 고유값은 완전히 특징 평균으로부터 구성됩니다. 구체적으로, 스펙트럼은 다음과 같이 분해됩니다:
  • 클래스 평균 ($G_{class}$) 과 관련된 $K$개의 지배적인 아웃라이어.
  • 교차 클래스 차이 ($G_{cross}$) 와 관련된 "미니 벌크"를 형성하는 $K(K-1)$개의 더 작은 아웃라이어.
  • DNC 하에서 소멸하는 클래스 내 분산 ($G_{within}$) 과 관련된 0 고유값의 벌크.
• 기울기 정렬: 이 이론은 기울기가 헤시안의 $K$개 지배적인 고유벡터가 spanning 하는 $K$차원 부분공간 내에 완전히 위치함을 증명합니다. 이는 헤시안이 $K^2$개의 0 이 아닌 고유벡터를 갖음에도 불구하고 기울기가 상위-$K$ 아웃라이어 공간과 정렬된다는 실증적 관찰을 설명합니다.
• 가중치 스펙트럼: 가중치 행렬은 특징 평균에 의해 결정되는 특이벡터를 가지며 랭크가 $K$임이 보입니다.

2. 딥 뉴럴 콜랩스 (DNC) 의 인과적 역할

핵심 주장은 DNC 가 이러한 저차원 스펙트럼의 근원이라는 것입니다. 이러한 행렬들의 고유값과 고유벡터는 DNC 의 정의적 대상인 특징 평균 ($\mu_c$) 에서 명시적으로 구성됩니다.

• 헤시안의 고유벡터는 정규화된 특징 평균의 크로네커 곱입니다: $\hat{\mu}_{c}^{(l+1)} \otimes \hat{\mu}_{c'}^{(l)}$.
• 이는 직접적인 인과적 연결을 확립합니다: 특징의 기하학적 조직화 (DNC) 가 네트워크의 곡률 (헤시안) 과 최적화 역학 (기울기) 을 결정합니다.

3. ReLU 및 전체 네트워크로의 확장

• ReLU 네트워크: 저자들은 중간 표현이 음이 아닌 ReLU 네트워크에 대한 DNC 해법의 특정 클래스를 정의합니다. 그들은 이러한 해법이 해당 선형 모델의 전역 최소점이며 선형 UFM 과 동일한 스펙트럼 속성을 만족함을 증명합니다.
• 전체 헤시안: 논문은 특징 맵이 충분히 표현력 있다면 큰 깊이의 극한에서 네트워크의 전체 헤시안이 층별 헤시안의 $K^2$ 아웃라이어 구조를 계승함을 증명합니다.

결과

이론적 결과

• 정리 3.1 및 3.2: 전역 최적점에서의 심층 선형 UFM 에서 층별 헤시안의 랭크는 $K^2$입니다. 0 이 아닌 고유값은 (MSE 경우) 같으며, 고유벡터는 클래스 평균의 텐서 곱으로 형성됩니다. $G_{class}$와 $G_{cross}$ 구성 요소로의 분해는 각각 정확히 $K$개와 $K(K-1)$개의 0 이 아닌 고유값을 산출합니다.
• 정리 3.3: 정규화를 제외한 기울기 벡터 $\tilde{g}^{(l)}$는 헤시안 고유벡터의 기저로 전개될 때 정확히 $K$개의 동일한 0 이 아닌 계수를 가지며, 이는 그것이 상위-$K$ 부분공간에 위치함을 확인시켜 줍니다.
• 정리 3.4: 가중치 행렬 $W_l$은 클래스 평균에 의해 주어지는 특이벡터를 가지며 랭크가 $K$입니다.
• 정리 4.3: 이러한 결과는 중간 특징이 음이 아닌 DNC 정의 하에서 ReLU 네트워크에 대해 성립합니다.

실증적 검증

저자들은 MNIST 와 CIFAR-10 에서 훈련된 완전 연결 헤드를 가진 표준 아키텍처 (ResNet-20) 에서 이론을 검증했습니다.

• 스펙트럼 수렴: 헤시안 고유값의 히스토그램은 훈련 중 벌크에서 $K^2$개의 아웃라이어가 출현하여 예측된 값으로 수렴하는 것을 보여줍니다.
• 정렬: 특징 평균에 기반한 예측된 고유벡터와 실제 헤시안 고유벡터 사이의 제곱 코사인 유사도는 1 에 접근합니다.
• 기울기 분해: 기울기 분해 계수는 기울기가 $c=c'$ 부분공간 (크기 $K$) 에 집중하고 $c \neq c'$ 부분공간에서 소멸함을 확인시켜 줍니다.
• ReLU 동작: ReLU 네트워크를 사용한 실험은 특징 행렬이 음이 아닌 항목을 갖도록 진화하며, 스펙트럼 구조가 선형 이론 예측과 일치함을 보여줍니다.

중요성과 주장

이 논문은 이전에는 별도의 실증적 관찰로 취급되었던 딥러닝의 광범위한 스펙트럼 현상에 대한 통합 해석적 설명을 제공한다고 주장합니다. DNC 를 통합 메커니즘으로 식별함으로써, 이 연구는 다음과 같은 점을 달성합니다:

• 평탄성과 DNC 간의 관계 명확화: 손실 지형의 국소적 평탄성 (헤시안에 의해 지배됨) 이 특징의 기하학적 붕괴의 직접적인 결과임을 시사합니다.
• 고유값을 넘어선 접근: 주로 고유값에 초점을 맞춘 이전의 실증적 특성화와 달리, 이 작업은 고유벡터에 대한 상세한 해석적 표현식을 제공하여 스펙트럼을 주도하는 특정 기하학적 구조 (특징 평균) 를 드러냅니다.
• 진단을 위한 새로운 렌즈 제공: 저자들은 DNC 가 헤시안을 형성하므로, DNC 의 출현을 제어하는 것이 일반화, 최적화, 네트워크 설계를 개선하기 위한 실용적인 도구가 될 수 있으며, 헤시안 자체보다 더 해석 가능한 목표가 될 수 있다고 제안합니다.

저자들은 UFM 가정 (과매개변수화, 전역 최적점) 에 결과가 의존하며, 실제 세계의 네트워크는 유한 데이터와 비이상적 최적화로 인해 노이즈를 보인다는 점을 지적하며 제한 사항에 대해 겸손한 태도를 유지합니다. 그러나 강력한 실증적 일치는 UFM 이 심층 네트워크의 스펙트럼 행동을 주도하는 필수적인 기하학적 메커니즘을 포착함을 시사합니다.