On the Stable Euclidean Distance Degree of Algebraic Layers

기술 요약: 대수적 레이어의 안정적인 유클리드 거리 차수(Stable Euclidean Distance Degree)에 관하여

문제 정의
본 논문은 다항식 활성화 함수에 의해 유도되는 사상(map)들의 가문(families)인 대수적 신경망 레이어의 사영 기하학을 조사한다. 연구의 핵심 대상은 연관된 "뉴로배리어티(neurovarieties)"의 **일반 유클리드 거리 차수(generic Euclidean Distance degree, gED)**이다. gED는 일반적인 공간 내의 일반적인 점에 대하여 일반적인 메트릭(metric)에 따른 최적 근사치의 수를 측정하는 사영 불변량이다. 유클리드 거리(ED) 차수는 메트릭에 의존하는 불변량인 반면, 충분히 일반적인 스칼라 곱에 대해서는 그 값이 안정화되어 폴라 클래스(polar classes)의 합과 같은 사영 불변량이 된다.

본 논문이 다루는 구체적인 문제는, 아키텍처의 너비(width)와 활성화 다항식의 차수가 고정되어 있을 때, 입력 및 출력 차원이 변화함에 따라 얕은 신경망(단일 은닉층)의 gED가 어떻게 변화하는가 하는 것이다. 이전 연구 [9]는 출력 차원이 변할 때의 gED에 대한 폐쇄형 공식(closed formulas)을 제공하였으나, 일반적인 다항식 활성화에 대해 입력 및 출력 차수 모두에 대한 안정적인 함수적 성질은 미해결 상태로 남아 있었다.

방법론
저자들은 대수 기하학에 기반한 균일한 교차 이론적 접근법(uniform intersection-theoretic approach)을 채택한다. 방법론은 다음과 같은 단계로 진행된다:

1. 기하학적 실현: 대수적 신경망 레이어 내의 함수 집합은 특정 세그레 유사 곱(Segre-like product)의 $k$번째 시컨트 배리어티(secant variety)로 실현된다. 본 논문은 활성화의 서포트(support)가 고정되어 있다면, 서포트가 동일하다는 전제하에 해당 배리어티는 구체적인 계수와 관계없이 사영적으로 동등함을 입증한다.
2. 내쉬 블로업(Nash Blow-up) 및 해소: 이러한 배리어티들의 특이점(singularities)을 처리하기 위해, 저자들은 내쉬 블로업을 활용한다. 저자들은 뉴로배리어티 $X_S$를 Grassmannian의 곱 위에서의 사영 번들(projective bundle)인 $B_S = \text{Gr}_{N_S-k}(V_S) \times \text{Gr}_k(W)$로 하는 특이점 해소 공간 $Z_S$를 구축한다. 이 공간은 레이어를 정의하는 랭크-$k$ 선형 사상과 그 커널(kernel) 및 이미지(image)를 매개변수화한다.
3. Chern-Mather 클래스 및 Polar Degree: gED는 배리어티의 Chern-Mather 클래스를 통해 표현된다 (정리 2.18). 내쉬 블로업을 사용하여, 저자들은 이러한 클래스들을 Grassmannian 곱 $B_S$ 위의 타우톨로지컬 번들(tautological bundles)과 연결시킨다. 이는 gED 계산을 $B_S$ 상의 교차 수(intersection number, 즉 적분) 문제로 환원시킨다.
4. 공변 국소화(Equivariant Localization): 이러한 적분을 평가하고 다항성을 증명하기 위해, 저자들은 공변 국로화 기법을 적용한다. Grassmannian 상의 대수적 토러스(algebraic torus) 작용을 고려하며, 적분은 이 작용의 고정점(fixed points)들에 대한 유한한 합으로 표현된다.
5. 슈베르트 계산법(Schubert Calculus) 및 안정화: 저자들은 슈베르트 계산법을 사용하여 적분식의 구조를 분석한다. 교차 수에 기여하는 슈베르트 클래스의 차수에 대한 균일한 상한을 설정함으로써, 충분히 큰 차수에서는 활성화 다항식의 구체적인 서포트가 무의미해지며 오직 그 차수만이 중요하다는 것을 입증한다.

주요 기여 및 결과

• 안정적 다항성 (정리 4.5): 주요 결과는 고정된 레이어 너비 $k$와 고정된 활성화 차수 $r$에 대해, 일반 유클리드 거리 차수 $gED(m, n, S, k)$가 결국 입력 차원$n$과 출력 차원$m$에 대한 다항 함수로 주어진다는 것을 확립한다. 이는$\max(S) = r$인 활성화 다항식의 임의의 유한한 서포트$S$에 대해 성립한다. 이 증명은 로컬라이제이션 공식이 변수의 개수가 많아질 때 변수들에 대한 가중치의 대칭 합을 산출한다는 사실(명제 A.1)에 기초한다.
• 단항식 케이스로의 환원 (정리 5.4): 두 번째 주요 결과는 gED가 활성화 다항식의 구체적인 단항식 서포트가 아닌, 오직 차수에만 의존함을 증명한다. 구체적으로, 충분히 큰 차수에서 일반적인 다항식 활성화 $P$를 가진 레이어의 gED는 단항식 활성화 $z^{\deg(P)}$를 가진 레이어의 gED와 동일하다.
  • 이는 서로 다른 서포트 간의 교차 적분 차이가 안정 범위 내에서 소멸하는 높은 코디멘션(codimension)의 슈베르트 클래스를 포함한다는 것을 보여줌으로써 달성된다 (보조정리 5.1 및 5.2).
  • 이는 계산 목적으로 매우 유용한 단순화를 시사한다: 복잡한 다항식 활성화를 단순한 단항식으로 대체하더라도 (점근적) 대수적 복잡성(gED)을 변경하지 않고도 연구할 수 있다.
• 명시적 교차 공식: 본 논문은 타우톨로지컬 번들의 Chern 클래스를 포함하는 Grassmannian 곱에 대한 적분으로 gED를 표현하는 프레임워크를 제공한다 (주석 4.2). 이 정식화는 활성화 함수의 구체적인 계수에 의존하지 않으며, 관련 대칭 거듭제곱 공간의 차원에만 의존한다.

의의 및 주장
본 논문은 뉴로배리어티의 사영 기하학에 대한 이해를 특정 사례를 넘어 일반적인 안정적 영역(stable regime)으로 확장한다고 주장한다. 안정적 다항성을 증명함으로써, 본 연구는 구조적 파라미터는 고정된 채 주변 차원이 증가하는 상황에서 신경망 레이어의 대수적 복잡성을 더 넓은 패러다임 안에 위치시키며, 이는 완전 쿼드릭(complete quadrics) 상의 배리어티를 통한 슈베르트 계산법[11]을 이용한 가우시안 모델 및 준정부호 프로그래밍(semidefinite programming)의 결과들과 평행을 이룬다.

단항식 케이스로의 환원은 중요한 이론적 단순화로 강조된다. 이는 거리 함수의 임계점(critical points)의 수를 측정하는 척도인 generic ED-degree를 계산하는 목적에 있어, 활성화 함수의 구체적인 대수적 구조(차수 제외)가 안정적 한계 내에서는 영향을 미치지 않는다는 것을 시사한다. 이를 통해 연구자들은 얕은 신경망의 점근적 대수적 복잡성을 연구할 때 단항식 모델에 집중할 수 있게 된다.

이 작업은 내쉬 블로업, Chern-Mather 클래스, 공변 국소화와 같은 표준적인 교차 이론 도구들을 대수적 신경망 레이어의 특정한 기하학에 체계적으로 적용하여 수행되었다. 본 논문은 새로운 실험적 응용이나 미래의 알고리즘 구현을 제안하기보다는, 이러한 모델들의 표현력과 기하학적 복잡성을 분석하기 위한 이론적 토대를 공고히 하는 데 목적이 있다.