On the Geometry and Optimization of Polynomial Convolutional Networks

기술 요약: 다항식 합성곱 신경망의 기하학 및 최적화에 관하여

문제 정의
심층 신경망은 파라미터가 변화함에 따라 "뉴로매니폴드(neuromanifold)"라고 알려진 함수 공간을 정의한다. 이 매니폴드의 기하학적 구조를 이해하는 것은 학습 과정을 분석하는 데 있어 근본적인데, 이는 학습이 이 매니폴드 상에서 함수적 거리(functional distance)를 최소화하는 과정이기 때문이다. 대수 기하학이 완전 연결 다항식 네트워크(fully-connected polynomial networks)와 선형 CNN(linear CNNs)에 적용되어 왔으나, **단항식(monomial/polynomial) 활성화 함수를 사용하는 합성곱 신경망(CNN)**의 기하학적 특성은 여전히 미개척 분야로 남아 있다. 구체적으로, 파라미터화의 정규성(parametrization regularity), 생성되는 뉴로매니폴드의 차원과 차수(degree), 특이점(singularities)의 성질, 그리고 최적화 과정에서 발생하는 임계점(critical points)의 개수에 대한 포괄적인 이해가 부족한 실정이다.

방법론
저자들은 다항식 CNN의 뉴로매니폴드를 분석하기 위해, 특히 사영 기하학(projective geometry)과 유리 사영 기하학(birational geometry)에 초점을 맞춘 대수 기하학 도구들을 활용한다.

• 파라미터화 분석: 연구는 스케일링 대칭성을 제거하기 위해 필터 파라미터를 스케일링(rescaling) 관점에서 다루며, 사영 공간(projective spaces) 내에서 작업한다.
• 인수분해: 다항식 CNN의 파라미터화 맵은 선형 투영(linear projection)과 **세그레-베로네 임베딩(Segre–Veronese embedding)**으로 인수분해된다. 이는 컨볼루션이 다항식 곱셈으로 재해살 수 있다는 점과, 단항식 활성화 함수를 가진 레이어들의 합성이 대칭 거듭제곱(symmetric powers)의 텐서 곱에 대응한다는 사실을 활용한 것이다.
• 불변량(Invariants): 저자들은 표현력(expressivity)을 측정하기 위해 뉴로매니폴드의 **차원(dimension)**과 **차수(degree)**를 계산한다. 또한, 외부 점으로부터 다양체까지의 거리 함수에 대한 임계점의 개수를 세는 대수적 불변량인 **유클리드 거리 차수(Euclidean Distance Degree, EDD)**를 사용하여 최적화 지형의 임계점 개수를 제한한다.
• 복소수화(Complexification): 대수 기하학의 역량을 최대한 활용하기 위해 결과는 주로 복소수 계수($\mathbb{C}$)에 대해 도출되었으나, 저자들은 대부분의 결과가 실수 범위($\mathbb{R}$)에서도 확장 가능함을 입증한다.

주요 기여 및 결과

1. 파라미터화의 정규성 및 동형성:
   본 논문은 필터를 재스케일링할 경우, 다항식 CNN의 파라미터화 맵이 정규적(regular)(미분이 최대 랭크를 가짐)이며, 거의 모든 곳에서 **동형(isomorphism almost everywhere, 즉 birational)**임을 증 proves한다.

   • 의의: 이는 중복성(redundancy)으로 인해 큰 파이버(fiber)와 임계점을 흔히 보이는 완전 연결 네트워크와 대조된다. 다항식 CNN의 경우, 파라미터는 거의 모든 곳에서 연관된 함수와 일대일의 정규적인 대응 관계를 갖는다.
   • 특이점: 단일 원소가 아닌 파이버(singularities)는 특정 가중치가 0이 되는 "서브 네트워크"에서 발생하며, 이러한 특이점들은 기하학적으로 단순한 노달(nodal) 유형(자기 교차)이다.

2. 뉴로매니폴드의 차원 및 차수:
   저자들은 뉴로매니폴드의 차원과 차수에 대한 명시적인 공식을 도출한다.

   • 차원: 레이어 수($L$)에 따라 선형적으로 증가한다. 구체적으로, $\dim = |k| - L + 1$이며, 여기서 $|k|$는 필터 크기의 합이다.
   • 차수: 깊이에 따라 (초)지수적으로 증가한다.
   • 시사점: 이는 깊은 네트워크가 왜 효과적인지에 대한 기하학적 설명을 제공한다. 즉, 깊은 네트워크는 낮은 차원을 유지하면서도(낮은 샘플 복잡도 암시) 주변 함수 공간을 효율적으로 채운다(높은 표현력 암시).

3. 자리스키 위상에서의 닫힘성(Closedness in Zariski Topology):
   다항식 CNN의 뉴로매니폴드는 자리스키 위상(및 유클리드 위상)에서 **닫힌 대수 다양체(closed algebraic variety)**임이 증명되었다. 이는 선형 CNN에서는 반드시 성립하지 않을 수 있는 성질로, 매니폴드가 그 점근적 극한(asymptotic limits)을 포함하고 있음을 보장한다.

4. 최적화 및 임계점:
   일반적인 대규모 데이터셋에 대해, 제곱 오차 회귀 손실(square-error regression loss)은 뉴로매니폴드 상의 거리 최소화 문제로 재구성된다.

   • 세그레-베로네 다양체의 유클리드 거리 차수 이론을 사용하여, 저자들은 손실 함수의 (복소수) 임계점 개수의 상한을 나타내는 명시적인 공식을 도출한다.
   • 파라미터화가 정규적이기 때문에, 이 상한은 (스케일링을 고려한) 파라미터 공간의 임계점에도 적용된다.
   • 분석 결과, 뉴로매니폴드의 특이점(0 함수 제외)은 일반적인 설정에서 거리 함수의 임계점이 아님을 보여준다. 이는 특이점이 전형적인 시나리오에서 경사 하강법의 안정적인 평형점으로 작래하지 않을 것임을 시사한다.

의의 및 주장
본 논문은 다항식 CNN 모델의 파라미터화와 뉴로매니폴드 모두에 대해 포괄적인 기술을 제공하는 첫 번째 연구라고 주장한다. 파라미터화가 정규적이고 유리(birational)임을 입증함으로써, 본 연구는 다항식 CNN이 다른 구조들에서 발견되는 중복성을 피하며 "최적의 방식으로 파라미터화되어 있음"을 시사한다.

도출된 차원 및 차수 공식은 왜 심층 네트워크가 효과적인지에 대한 기하학적 해석을 제공한다. 즉, 이들은 낮은 차원(낮은 샘플 복잡도)과 높은 차수(높은 표현력) 사이의 균형을 맞춘다. 또한, 유클리드 거리 차수를 통한 명시적인 임계점 상한은 이러한 특정 아키텍처의 최적화 지형의 복잡성을 정량화할 수 있는 이론적 도구를 제공한다.

저자들은 자신의 결과가 다항식 활성화 함수에 특화되어 있지만, 대수 기하학을 사용하는 방법론이 다항식 근사를 통해 비다항식 네트워크(예: ReLU)로 확장될 가능성이 있다고 언급하였으나, 이는 현재의 결과라기보다 향후 연구 방향으로 남겨두었다.