기술 요약: 심층 신경 변이 공간 (Deep Neural Variation Spaces)

문제 정의

심층 신경망에서 깊이(depth)가 갖는 의미에 대한 이론적 이해는 여전히 불완전하다. 경험적 증거는 깊이가 표현 능력(representational capacity)을 향상시킨다는 것을 시사하지만, 기존의 이론적 프레임워크는 주로 파라미터 기반의 복잡도 척도(예: 너비, 총 파라미터 수, 또는 제곱합 가중치)에 크게 의존한다. 이러한 척도들은 특히 파라미터 수가 데이터 크기를 초과하는 과잉 매개변수화(overparameterized) 영역에서 학습된 예측기의 유효 복잡도를 포착하는 데 실패하는 경우가 많다. 또한, 심층 네트워크를 위한 기존의 함수 공간 이론은 파편화되어 있으며, 주로 동차 활성화 함수(homogeneous activations, 예: ReLU)에 특화되어 있고, 서로 비교하기 어려운 이질적인 복지 개념들을 사용한다. 비선형성의 반복적인 합성으로부터 발생하는 기능적 복잡성과 단순히 층간 선형 재스케일링(linear rescaling)의 누적으로 인해 발생하는 복잡성을 구분하기 위한 통일된 관점이 필요하다.

방법론

저자들은 심층 신경 변이 공간($V_L$)이라 명명된 심층 완전 연결 신경망을 위한 통일된 함수 공간 이론을 개발한다. 핵심 방법론은 다음 단계들을 포함한다:

1. 정규화된 활성화 함수 (Normalized Activation Functions): 동차 함수(예: ReLU)와 비동차 함수(예: GELU, SiLU)를 모두 균일하게 다루기 위해, 저자들은 정규화된 활성화 함수 가족 $\sigma_s(t) = \sigma(st)/s$ (또는 차수가 $m$인 동차 함수의 경우 $\sigma(st)/s^m$)를 도입한다. 이는 특징의 "형태(shape)"와 "크기(size)"를 분리하여, 서로 다른 스케일을 가진 특징들이 그 리프시츠 상수(Lipschitz constant)에 비례하는 노름 비용을 부담하도록 보장한다.
2. 재귀적 구축 (Recursive Construction): 함수 공간은 재귀적으로 정의된다. 기저 층 $B_1$은 아핀 함수(affine functions)의 딕셔너리로 구성된다. 후속 층 $B_L$은 $f \in B_{L-1}$에 대하여 $\sigma_s \circ f$의 폐쇄된 절대 볼록 헐(closed absolutely convex hull)로 정의된다.
3. 변이 노름 (Variational Norms): 함수 공간 $V_L$은 원자적(atomic) 또는 게이지(gauge) 노름 $\|f\|_{V_L}$을 갖는다. 이는 $f \in cB_L$을 만족하는 $c > 0$의 하한(infimum)으로 정의된다. 이 노름은 함수를 이전 층의 활성화된 함수들과 스케일링 파라미터들의 볼록 결합으로 표현하는 데 드는 "비용"을 측정한다.
4. 적분 표현 (Integral Representations): 저자들은 $V_L$의 함수들이 이전 층 함수들과 스케일링 파라미터들의 공간에 대한 유한 측도(finite measures)를 사용하여 적분 표현을 가질 수 있음을 입증한다. 이는 심층 공간을 일반화된 배런 공간(Barron spaces) 및 신경 트리 공간(neural tree spaces)과 연결한다.
5. 기존 비용과의 비교: 제안된 노름은 제곱합 가중치(SOSW) 및 다양한 그룹 노름($\ell_{2,1}$, $\ell_{1,1}$)을 포함한 다른 표현 비용들과 비교된다. 저자들은 자신들의 노름이 함수 공간에 대한 진정한 바나흐 노름(Banach norm)인 반면, 기존의 많은 비용들은 층별 재스케일링에 의한 함수 출력의 지수적 증폭을 적절히 고려하지 못하는 준노름(quasi-norms)이나 가산 페널티(additive penalties)로 작와한다는 점을 입증한다.

주요 기여

1. 일반 활성화 함수를 위한 통합 프레임워크: 본 논문은 비동차 함수를 포함한 광범위한 연속 활성화 함수 가족에 적용 가능한 단일 함수 공간 프레임워크를 제공한다. 저자들은 많은 "ReLU 유사(ReLU-like)" 활성화 함수(Leaky ReLU, GELU, SiLU 등)에 대해, 유도된 함수 공간이 ReLU 공간과 노름 동치(norm-equivalent)임을 보이며, 이때 동치 상수에 대한 층 의존적 경계값을 명시한다.
2. 새로운 표현 정리 (Representer Theorem): 저자들은 $V_L$ 상에서의 노름 페널티 데이터 피팅 문제의 해가 너비가 제한된 신경망에 의해 실현된다는 표현 정리를 증명한다. 구체적으로, 동차 활성화 함수의 경우 해는 유한 너비의 네트워크이며, 비동차 활성화 함수의 경우 제한적 원자($\sigma_0, \sigma_\infty$)를 포함할 수 있으나 여전히 너비가 제한된다.
3. 함수 공간 복잡도 경계: 최악의 경우 경험적 라데마허 복잡도(empirical Rademacher complexity)와 단위 볼 $B_L$의 $L_p(\mu)$ 메트릭 엔트로피(metric entropy)에 대한 새로운 경계가 도출되었다. 이러한 경계는 층수 $L$에 따라 완만하게 증가하며(종종 $L$에 대해 다항식 또는 선형적으로 증가하며, 1-리프시츠 활성화 함수의 경우 $L$과 무관함), 이는 파라미터 수 기반 분석에서 흔히 나타나는 지수적 증가와 대조된다.
4. 깊이 포화 결과 (Depth Saturation Result): 일변량 ReLU의 경우, 저자들은 "깊이 포화" 정리를 증명한다: 즉, 심층 단위 볼은 모든 $L \ge 2$에 대해 $B_2 \subset B_L \subset 2B_2$를 만족한다. 이는 깊이가 얕은 클래스의 상수 재스케일링을 넘어 새로운 기능적 다양성을 추가하지 않음을 의미한다.
5. 주파수 제어 (Frequency Control): 일변량 포화 결과의 결과로서, 저자들은 다변량 함수가 입력 도메인의 임의의 개별 방향을 따라 고주파를 나타낼 수 없음을 보여준다.

주요 결과

• 노름 동치성: 광범위한 활성화 함수(Leaky ReLU, GELU, SiLU, Mish 등)에 대해, 심층 변이 공간 $V_L^\sigma$는 ReLU 공간 $V_{L}^{\text{ReLU}}$와 노름 동치이다. 그러나 비동차 활성화 함수의 경우 동치 상수가 깊이에 따라 증가할 수 있다.
• 복잡도 경계:
  • 라데마허 복잡도: 복잡도는 로그 항을 제외하면 최대 $\sqrt{L}$ (또는 1-리프시츠가 아닌 활성화 함수의 경우 $L$)만큼 증가하며, 네트워크 너비와는 무관하다.
  • 메트릭 엔트로피: 단위 볼 $B_L$의 메트릭 엔트로피는 이와 유사하게 제한되며, 깊이에 따라 완만하게 증가한다. 얕은 클래스($B_2$)로부터 도출된 하한은 높은 입력 차원에서 상한과 하한 사이의 간격이 작음을 보여준다.
• 깊이 포화 (일변량 ReLU): 본 논문은 일변량 ReLU 네트워크에 대해, 깊이를 증가시키는 것이 얕은 클래스 $B_2$의 상수 배(구체적으로 2배)를 넘어 표현 가능한 함수의 집합을 확장시키지 못함을 증명한다. 깊이의 힘을 보여주는 근거로 자주 인용되는 텔가스키 톱니 함수(Telgarsky sawtooth function) 같은 함수들은, 함수 공간 노름 관점에서 매우 큰 가중치를 요구하며, 이는 결과적으로 노름이 아닌 뉴런 수로 복잡도를 제어할 때 발생하는 깊이의 이점을 상쇄시킨다.
• 주파수 제약: 다변량 심층 ReLU 클래스의 함수는 입력 도메인의 임의의 직선을 따라 저주파를 나타내야 한다. 만약 어떤 함수의 직선에 대한 제한이 특정 상수 이상의 2계 도함수 총 변동(second-derivative total variation)을 가진다면, 그 함수는 어떤 심층 노름 제한 ReLU 클래스에서도 표현될 수 없다.

의의 및 주장

본 논문은 함수 공간 관점이 깊이와 복잡도 사이의 관계에 대한 새로운 구조적 통찰을 제공한다고 주장한다. 주요 의의는 "깊이 분리(depth separation)" 결과들—즉, 심층 네트워크가 얕은 네트워크보다 고주파 또는 복형 함수를 더 효율적으로 표현한다고 주장되는 결과들—이 층간 가중치의 복합적인 재스케일링을 제대로 페널티를 부여하지 못하는 표현 비용(예: 파라미터 수 또는 SOSW)에 의존하고 있음을 보여준 데 있다.

복잡도가 함수의 크기를 적절히 제어하는 진정한 함수 공간 노름에 의해 통제될 때, 저자들은 깊이의 구조적 이점이 이전에 생각했던 것보다 훨씬 제한적이라고 주장한다. 구체적으로:

• 깊이는 일변량 ReLU의 경우 본질적으로 새로운 함수의 형태를 생성하지 않으며, 오직 재스케일링만을 허용한다.
• 심층 네트워크가 고주파 함수를 표현할 수 있는 능력은 가중치가 깊이에 따라 지수적으로 성장하는 것을 허용할 때만 유효하며, 이는 제안된 노름에 의해 페널티를 받는다.
• 노름으로 제어되는 심층 네트워크의 귀납적 편향(inductive bias)은 임의의 고주파 진동을 생성하는 능력이 아니라, 모든 방향에 대한 주파수 제어이다.

저자들은 함수 공간 관점이 깊이의 효용성에 대한 새로운 시각을 제공한다고 결론짓는다. 즉, 깊이의 "표현력"은 종종 무제한적인 파라미터 스케일링의 산물이지, 비선형성의 반복적인 적용에서 오는 것이 아님을 시사하며, 함수 크기를 적절히 제어하는 노름을 사용할 때 깊이의 구조적 이점은 매우 제한적이라는 점을 강조한다.