Function approximation and nonparametric regression with binary and ternary ReLU networks

기술 요약: 이진 및 삼진 ReLU 네트워크를 이용한 함수 근사와 비모수 회귀

문제 정의
심층 신경망(DNN)은 분류, 패턴 인식 및 예측을 위한 표준적인 도구가 되었습니다. 그러나 높은 정확도를 달una하기 위해서는 종종 상당한 파라미터 수가 필요하며, 이는 높은 계산 비용과 메모리 요구 사항으로 이어집니다. 이는 저용량 장치에 모델을 배포하는 데 있어 어려움을 초래합니다. 이를 해결하기 위해 연구자들은 가중치를 이산 집합, 구체적으로는 이진 가중치 $\{ \pm 1 \}$ 및 삼진 가중치 $\{ 0, \pm 1 \}$로 제한하는 방안을 탐구해 왔습니다. 이러한 네트워크는 메모리 감소와 에너지 효율성 측면에서 이점을 제공하지만, 그 표현 능력에 대해서는 이론적 간극이 남아 있습니다. 즉, 심층 이진 및 삼진 ReLU 네트워크가 복잡하고 매끄러운 함수를 근사할 수 있는지, 그리고 실숫값 네트워크와 비교하여 비모수 회귀에서 최적의 통계적 비율을 달성할 수 있는지 여부입니다.

방법론
본 논문은 제한된 가중치 집합을 가진 심층 희소(sparse) ReLU 네트워크의 근사 능력을 조사합니다. 저자는 가중치가 $[-1, 1]$ 범위에 있고 특정 집합 $\{0, \pm 1/2, \pm 1, 2\}$를 갖는 심층 희소 ReLU 네트워크에 의한 $\beta$-Hölder 함수의 근사에 관한 기존 결과들을 바탕으로 연구를 수행합니다.

핵-되는 방법론적 기여는 엄격하게 이진 $\{ \pm 1 \}$ 또는 삼진 $\{ 0, \pm 1 \}$ 가중치를 사용하는 네트워크를 사용하여 가중치가 $\{0, \pm 1/2, \pm 1, 2\}$인 네트워크를 시뮬레이션하는 명시적인 매핑을 구축하는 것입니다. 이는 다음과 같은 과정을 통해 이루어집니다:

1. 가중치 스케일링 및 동차성(Homogeneity): ReLU 활성화 함수의 양의 동차성($\sigma(ax) = a\sigma(x)$ for $a > 0$)을 활용하여 스케일링 인자를 네트워크 아키텍처 내부로 흡수합니다.
2. 계층 확장(Layer Expansion): 특정 선형 결합 및 스케일링 연산을 재현하기 위해 추가적인 은닉층을 도입합니다.
   • 가중치 $\{0, \pm 1/2, \pm 1, 2\}$를 시뮬레이션하기 위해, 저자는 2개의 추가 은닉층을 사용하여 삼진 가중치 $\{0, \pm 1\}$ (스케일링 인자 $1/2^{L+3}$ 적용)을 갖는 네트워크를 구축합니다. 이는 입력 좌표를 복제하고 $\{0, \pm 1/2\}$의 선형 결합을 사용하여 대상 가중치를 나타내는 과정을 포함합니다.
   • 삼진 가중치 $\{0, \pm 1/2\}$를 시뮬레이션하기 위해, 저자는 3개의 추가 은닉층을 사용하여 이진 가중치 $\{ \pm 1 \}$ (스케일링 인자 $1/4^{L+6}$ 적용)을 갖는 네트워크를 구축합니다. 이는 필요한 값을 재구성하기 위해 가중치 $\pm 1/4$를 사용하여 입력의 특정 선형 결합을 계산하는 과정을 포함합니다.
3. 비모수 회귀 분석: 이러한 근사 결과를 비모수 회귀를 위한 경험적 위험 최소화(empirical risk minimization) 문제에 적용합니다. 저자는 가중치가 $\{0, \pm 1\}$인 희소 삼진 ReLU 네트워크의 클래스를 정의하고, 이 클래스에 대한 경험적 위험 최소화 도구의 예측 오차를 분석합니다.

주요 기여 및 결과

1. 함수 근사 (정리 2.2):
   본 논문은 $[0, 1]^d$ 상의 Hölder 볼 $C^\beta_d(K)$에 속하는 임의의 함수 $f_0$가 다음의 네트워크들에 의해 $\epsilon$-근사될 수 있음을 증명합니다:

   • 심층 희소 삼진 ReLU 네트워크: 가중치가 $\{0, \pm 1\}$인 네트워크 (스케일링 인자 $1/2^{L+3}$ 적용).
   • 심층 이진 ReLU 네트워크: 가중치가 $\{ \pm 1 \}$인 네트워크 (스케일링 인자 $1/4^{L+6}$ 적용).

   이들 네트워크의 깊이와 너비는 가중치가 $\{0, \pm 1/2, \pm 1, 2\}$인 네트워크에 필요한 수준과 비교했을 때, 너비는 상수 배 증가하고 깊이는 작은 가산적 증가만을 보이는 수준임을 보여줍니다. 근사 오차 경계는 $O(N^{-\beta/d} + N^{-m})$의 차수를 유지하며, 여기서 $N$은 네트워크 크기 및 샘플 복잡도와 관련된 파라미터입니다.

2. 비모수 회귀 (정리 3.1):
   저자는 노이즈가 포함된 관측치 $Y_i = f_0(X_i) + \epsilon_i$로부터 미지의 회귀 함수 $f_0$를 복구하는 문제에 위 근사 결과를 적용합니다. 저자는 가중치가 $\{0, \pm 1\}$인 심층 희소 삼진 ReLU 네트워크로 구성된 가설 공간 $\mathcal{F}_n$을 정의합니다.

   주요 결과는 $\mathcal{F}_n$ 상의 경험적 위험 최소화 도 $\hat{f}_n$의 예측 오차(평균 제곱 오차)가 다음을 만족함을 확립합니다:
   $$R(\hat{f}_n, f_0) \leq C n^{-\frac{2\beta}{2\beta+d}} \log^2 n$$
   여기서 $n$은 샘플 크기, $\beta$는 매끄러움(smoothness) 파라미터, $d$는 차원입니다.

의의 및 주장
본 논문은 가중치가 $\{0, \pm 1\}$인 심층 희소 삼진 ReLU 네트워크가 로그 인자를 제외하고 $\beta$-매끄러운 회귀 함수에 대해 **예측의 미니맥스 비율(minimax rate of prediction)**을 달성하기에 이론적으로 충분하다는 점을 주장합니다. 이는 네트워크의 깊이와 희소성이 적절히 조정된다면, 가중치를 이진 또는 삼진 집합으로 극단적으로 양자화하는 것이 모델의 통계적 효율성을 근본적으로 저해하지 않는다는 것을 입증합니다.

저자는 자신의 연구가 가중치가 $\{0, \pm 1/2, \pm 1, 2\}$인 네트워크에 관한 기존 연구(참조 [3])를 확장하여, 이러한 근사가 엄격한 이진 및 삼진 가중치로 구현될 수 있음을 보여준다는 점을 강조합니다. 이 결과는 고정밀 회귀 작업에서 이진 및 삼진 네트워크를 사용하는 것에 대한 이론적 정당성을 제공하며, 이러한 네트워크의 계산 및 메모리 이점을 최적의 수렴 비율을 희생하지 않고도 실현할 수 있음을 시사합니다.