Singular Learning and Occam's Razor in Deep Monomial Networks

기술 요약: 단일 학습(Singular Learning)과 오컴의 면도날을 갖는 심층 단항식 네트워크(Deep Monomial Networks)

문제 정의
본 논문은 심층 신경망의 최적화 지형(optimization landscape)에 존재하는 임계점(critical points)의 본질을 조사한다. 구체적으로, 이 연구는 임계점이 데이터나 손실 함수로부터 발생하는 것이 아니라 모델의 구조 자체로부터 발생하는 현상을 다룬다. 이러한 점들은 모델 파라미터화의 야코비안(Jacobian)이 계수 부족(rank-deficient) 상태가 되어 파라미터 공간에 특이점(singularities)을 생성하는 지점에서 발생한다. 단일 학습 이론(Singular Learning Theory, SLT) 내에서, 이러한 특이점들은 암묵적 편향(implicit biases)으로 작용하며, 이는 왜 심층 신경망이 '더 단순한' 함수(오컴의 면도날의 한 형태)로 수렴하는 경향이 있는지를 설명할 수 있는 잠재적 근거가 된다. 저자들은 단항식 활성화 함수($\sigma(z) = z^r$)를 사용하는 심층 완전 연결 네트워크(deep fully-connected networks)에 초점을 맞추며, 여기서 엔드 투 엔드(end-to-end) 함수는 동차 다변수 다항식(homogeneous multivariate polynomial)이 된다. 핵심 질문은 다음과 같다: 활성화 차수가 충분히 클 때, 파라미터화 사상(parametrization map)의 임계점은 무엇이 특징인가?

방법론
저자들은 "신경 대수 기하학(Neuroalgebraic Geometry)"이라는 프레임워크 내에서 작동하는 다항식 대수 및 대수 기하학 도구를 활용한다. 그들의 접근 방식은 다음과 같다:

1. 환경의 공식화: 단항식 네트워크의 파라미터화 사상 $\phi$의 상(image)인 "뉴마니폴드(neuromanifold)"를 정의한다. 이들은 파라미터 공간, 함수 공간, 그리고 $\phi$의 파이버(fibers) 사이의 관계를 분석한다.
2. 서브네트워크의 특징 규명: 저자들은 "서브네트워크"를 비활성 뉴런(가중치가 0인 경우) 또는 중복 뉴런(입력 가중치가 서로 비례하는 경우)을 포함하는 파라미터 구성을 통해 정의한다. 이러한 뉴런들을 제거해도 동일한 함수를 구현하는 더 작은 네트워크가 생성됨을 입증함으로써, 파라미터 공간에서의 파이버가 더 크다는 것을 시사한다.
3. 대수적 도구: 단항식 네트워크의 식별성(identifiability)에 관한 이전 연구(예: [FRWY24])가 뉴먼-슬레이터(Newman-Slater)와 같은 다항식 버전의 페르마의 마지막 정리(Fermat's Last Theorem)에 의존했던 것과 달리, 본 연구는 메이슨 정리(Mason'-s Theorem)(abc 추측의 다항식 아날로그)를 활용한다. 이 도구는 네트워크 레이어들에 의해 정의된 다항식의 가분성(divisibility)과 차수를 엄밀하게 분석할 수 있게 해준다.
4. 커널 분석: 저자들은 야코비안 $J_W\phi$의 커널(kernel)을 분석한다. 이들은 비서브네트워크(non-subnetwork) 파라미터의 경우, 커널이 제너릭 파이버 차원(generic fiber dimension)에 대응하는 특정 대칭성(가중치의 대각 스케일링)에 의해서만 생성됨을 증명한다. 반면 서브네트워크는 더 큰 커널을 가진다.

주요 기여 및 결과
주요 기여는 **정리 5.1(Theorem 5.1)**이며, 이는 활성화 차수 $r$이 충분히 큰 심층 완전 연결 단항식 네트워크에 대해 다음과 같은 정밀한 등가성을 확립한다:

파라미터 구성 $W$가 파라미터화 사상 $\phi$의 임계점인 것은 $W$가 서브네트워크(즉, 적어도 하나의 비활성 또는 중복 뉴런을 포함하는 것)인 것과 동치이다.

증명 전략은 다음과 같이 진행된다:

• 순방향 방향: $W$가 서브네트워크인 경우, 파이버 $\phi^{-1}(f_W)$의 차원이 제너릭 파이버보다 크다는 것을 보여준다. 파이버 차원 정리에 의해, 이는 $W$가 임계점임을 의미한다.
• 역방향 방향: 저자들은 $W$가 서브네트워크가 아니라면 정규점(regular point)임을 증명한다. 이는 비서브네트워크의 야코비안 커널이 정확히 제너릭 파이버의 차원임을 보여줌으로써 달성된다.
  • **보조정리 5.3(Lemma 5.3)**은 메이슨 정리를 사용하여 다항식 몫(quotients)의 차수를 제한함으로써, 네트워크 레이어들로부터 나오는 비비례적 출력들이 $r$이 작지 않은 한 특정 선형 종속성을 만족할 수 없음을 보여준다.
  • **보조정리 5.4(Lemma 5.4)**와 **명제 5.5(Proposition 5.5)**는 이를 확장하여, $r > 9(D(D-1))^{L-1}$ (여기서 $D$는 최대 너비, $L$은 깊이)인 경우, 야코비안 커널에서의 모든 선형 종속성은 중복되거나 비활성된 뉴런의 존재를 함의함을 보여준다.

의의 및 주장
본 논문은 딥러닝에서 관찰되는 암묵적 단순성 편향(implicit simplicity bias)에 대한 수학적 정당성을 제공한다고 주장한다. 임계점이 서브네트워크(함수를 변화시키지 않고도 뉴런을 가지치기할 수 있는 구성)와 정확히 일치한다는 것을 증명함으로써, 저자들은 모델의 기하학적 특이점을 솔루션의 구조적 단순성과 연결시킨다.

국소 학습 계수(Local Learning Coefficient, LLC)가 낮을수록 베이지안 사후 확률(Bayesian posterior probability)이 높아지는 단일 학습 이론의 맥락에서, 이 결과는 학습 역학이 암묵적으로 "가지치기된" 또는 더 단순한 네트워크 구조를 향하도록 편향되어 있음을 시사한다. 저자들은 이를 딥 뉴럴 네트워크가 오컴의 면도날의 한 형태를 구현하려는 경향에 대한 수학적 설명으로 프레임화한다.

한계 및 범위
저자들은 결과의 범위를 명시적으로 밝힌다:

• 이 등가성은 단항식 활성화 함수를 가진 심층 완전 연결 네트워크에 대해서만 엄격하게 적용된다.
• 증명은 복소수($\mathbb{C}$)를 기반으로 하지만, 정의의 호환성 덕 인해 실수($\mathbb{R}$)로도 확장 가능하다.
• 본 논문은 합성곱 신경망(convolutional networks), ResNet, 어텐션 메커니즘 또는 비단항식 활성화 함수(예: ReLU)와 같은 다른 구조에 대해서는 임계성과 서브네트워크 간의 관계가 다를 수 있거나 미해결 과제로 남아 있을 수 있음을 인정한다. 예를 들어, 단항식 활성화 함수를 사용하는 합성곱 네트워크는 영 함수(zero function)를 생성하는 경우 외에는 임계점이 없을 수 있다고 언급한다.