Optimal Neural Network Approximation via Empirical Least Squares with Deterministic Samples

기술 요약: 결정론적 샘플을 이용한 경험적 최소제곱법을 통한 최적 신경망 근사

문제 정의
본 연구는 단위 구면 $S^d$ 상의 타원형 스펙트럼 방정식 $L_\beta u = f$에 대한 이산 잔차 최소제곱 근사의 이론적 분석을 다룬다. 본 연구는 선형화된 ReLU$^k$ 신경망(활성화 함수 $\sigma_k(x) = (\max\{0, x\})^k, k \in \mathbb{N}$)에 초점을 맞춘다. 주요 과제는 연속 함수 근사 이론과 이산 경험적 위험 최소화 사이의 간극을 메우는 것이다. 구체적으로, 저자들은 수치 적분(quadrature) 없이 유한한 수의 결정론적 또는 무작위 콜로케이션 포인트(collocation points)를 사용하여, 일반적으로 연속 함수 공간에서 도출되는 최적의 근사율을 회복할 수 있는지 조사한다. 본 연구는 은닉층 파라미터(가중치 및 편향)가 구면 상에 고정된 경우를 고려하며, 이는 출력 계수에 대한 선형 최소제곱 최적화 문제로 축소된다.

방법론
저자들은 파라미터 공간의 기하학적 구조와 네트워크 함수의 스펙트럼 특성에 기반한 엄밀한 프레임워크를 개발한다. 주요 방법론적 구성 요소는 다음과 같다:

1. 구면 정규화(Spherical Normalization): $\sigma_k$의 양의 동차성(positive homogeneity)을 활용하여, 파라미터 공간을 구면 $S^d \subset \mathbb{R}^{d+1}$로 정규화한다. 네트워크 함수는 릿지 함수(ridge functions) $\sigma_k(\theta \cdot \eta)$ 형태($\theta, \eta \in S^d$)를 취한다.
2. 베른슈타인 부등식(Bernstein Inequalities): 선형화된 ReLU$^k$ 네트워크 공간을 위한 베른슈타인 부등식의 도출은 핵심적인 분석 도구이다. 이 부등식은 네트워크 파라미터의 반대편 분리 거리(antipodal separation distance) $h$에 의해 스케일링된 하위 차수 노름에 의해 상위 차수 소볼레프(Sobolev) 노름을 제한한다. 구체적으로, $0 \le s < r < k + 1/2$에 대하여 $\|v_n\|_{H^r(S^d)} \lesssim h^{-(r-s)} \|v_n\|_{H^s(S^d)}$ 부등식이 확립된다.
3. 잔차 공간 분석(Residual Space Analysis): 저자들은 이러한 부등식을 잔차 공간 $V_{n,\beta} = L_\beta L^k_n(\Theta_n)$으로 확장한다. 여기서 $L_\beta$는 차수 $\beta$를 갖는 양의 타원형 스펙트럼 승수(multiplier)이다. 이를 통해 PDE를 푸는 맥락에서의 안정성 추정이 가능해진다.
4. 샘플링 부등식(Sampling Inequalities): 이산 최소제곱 문제는 마르친키에비츠-지그문트(Marcinkiewicz–Zygmund) 부등식과 샘플링 추정치를 사용하여 경험적 노름(콜로케이션 포인트에서 계산됨)을 연속 소볼레프 노름과 비교함으로써 분석된다.
5. 유계 영역으로의 확장: 차수가 0인 경우($\beta=0$)를 위해, 대상 함수를 구면으로 리프팅(lifting)하고 구면 이론을 적용한 뒤 결과를 다시 영역으로 제한함으로써 유계 립시츠 영역(bounded Lipschitz domains)에 대한 아핀 네트워크 해석을 구축한다. 이는 구성적인 소볼레프 확장 연산자와 동차 변환에 의존한다.

주요 기여 및 결과

• 최적의 결정론적 비율: 본 논문은 반대편 퀴지-유니폼(antipodally quasi-uniform) 네트워크 파라미터 집합과 $m \gtrsim n$인 퀴지-유니폼 콜로케이션 포인트를 사용할 때, 이산 잔차 최소제곱 해 $u_{n,m}$이 최적의 근사율을 달성함을 증명한다. 구체적으로, $k > \beta + \frac{d-1}{2}$이고 대상 함수 $f$가 충분한 매끄러움(smoothness)을 가질 때, 오차는 다음을 만족한다:
  $$\|u - u_{n,m}\|_{H^{s+\beta}(S^d)} \lesssim n^{-\frac{r-s}{d}} \|f\|_{H^r(S^d)}$$
  이 비율은 연속 근사를 위한 최선의 비율과 일치하며, 이는 결정론적 샘플을 사용할 때 이산화 오차가 수렴 차도를 저하시키지 않음을 입증한다.
• 고확률 무작위 추정: 독립 항등 분포(i.i.d.)를 따르는 균등 분포 콜로케이션 포인트에 대해, 저자들은 높은 확률의 잔차 추정치를 확립한다. 이 비율은 로그 인자(logarithmic factor)와 임의의 작은 매끄러움 손실($\epsilon$)만을 수반하는 근사 최적(near-optimal) 수준이다.
• 역 근사 정리(Inverse Approximation Theorem): 베른슈타인 부등식의 결과로서, 본 논문은 역 근사 정리를 확립한다. 즉, 어떤 함수가 특정 비율로 선형화된 ReLU$^k$ 네트워크에 의해 근사될 수 있다면, 그 함수는 그에 상응하는 소볼레프 매끄러움을 가진다.
• 아핀 네트워크 해석: $\beta=0$인 경우, 구면 결과는 유계 영역 $\Omega \subset \mathbb{R}^d$로 번역된다. 저자들은 구면 선형화된 네트워크를 구면 캡(spherical cap)으로 제한하면 일반적인 아핀 ReLU$^k$ 네트워크가 유도됨을 보여준다. 이는 구면 이론을 사용하여 $\Omega$ 상의 함수를 근사하는 구성적인 경로를 제공하지만, 저자들은 이것이 $\Omega$ 내의 샘플들만으로 형성된 최소제곱법의 직접적인 안정성 증명은 아니라고 명시한다.

의의 및 주장
본 논문은 동일 가중치 샘플링(equal-weight sampling) 상황에서도 이산 최소제곱 이산화를 사용하는 선형화된 신경망 공간에 대해 식 (1.7) 형태의 첫 번째 엄밀한 근사 결과를 제공한다고 주장한다. 저자들은 자신들의 접근 방식이 신경망 기반 PDE 솔버(예: 물리 정보 신경망, PINNs)에서 흔히 발생하는 편향과 불안정성의 원인인 수치 적분 단계를 우회한다는 점을 강조한다.

그 의의는 다음과 같다:

1. 안정성 메커니즘: 구면 상의 ReLU$^k$ 공간에 대한 베른슈한 부등식의 도출은 근본적인 안정성 메커니즘 역할을 하며, 잔차 공간을 제어하고 이산 문제가 잘 정의되고 수렴하도록 보장한다.
2. 샘플 복잡도: 결과는 최적의 수렴을 위해 필요한 샘플 크기가 훈련 가능한 출력 계수의 수($m \asymp n$)에 비례함을 보여주며, 이는 quadrature 오차를 극복하기 위해 훨씬 더 조밀한 샘플링이 필요한 방법론들에 비해 유리한 샘플 복잡도를 가진다.
3. 이론적 토대: 본 연구는 확률적 일반화 경계를 넘어, 파라미터 집합의 기하학적 구조에 기반한 결정론적 오차 추정을 통해 이산 최소제곱 학습의 수학적으로 엄밀한 기초를 제공한다.

한계 및 범위
저자들은 유계 영역 결과가 차수-제로($\beta=0$) 케이스로 제한됨을 명시적으로 밝힌다. 이들은 일반적인 타원형 PDE($\beta > 0$) 및 경계 조건을 가진 유계 영역에 대한 최소제곱 공식의 안정성을 해결했다고 주장하지 않으며, 그러한 이론은 경계 잔차와 변수 계수 연산자를 다루어야 한다는 점을 언급하며 이를 향후 연구 과제로 남겨두었다. 수치 실험은 점근적 행동에 대한 경험적 증명이 아니라 이론적 예측을 뒷받침하는 유한 범위의 증거로 제시되었다.