Limitations of Learning Tanh Neural Networks with Finite Precision

기술 요약: 유한 정밀도 환경에서 $\tanh$ 신경망 학습의 한계

문제 정의
본 논문은 유한 정밀도 산술(finite-precision arithmetic) 하에서 하이퍼볼릭 탄젠트($\tanh$) 활성화 함수를 사용하는 신경망 클래스를 학습하는 데 따르는 근본적인 한계를 조사한다. 이론적 결과들은 신경망이 보편적 근사 능력(universal approximation capabilities)을 갖추고 있음을 입증하지만, 실제 학습은 가용한 샘플 값의 유한성과 계산 장치의 유한한 정밀도에 의해 제약을 받는다. 저자들은 다음과 같은 질문을 다룬다: 알고리즘이 특정 정확도 $\epsilon$ 내로 $\tanh$ 네트워크의 모든 함수를 근사할 수 있도록 보장하기 위해 필요한 샘플 수 $m$은 얼마인가?

본 연구는 $\tanh$ 활성화 함수의 매끄럽고 비동차적인(non-homogeneous) 특성과 유한 정밀도(양자화)에 의한 제약 사이의 상호작용에 초점을 맞춘다. ReLU 네트워크의 경우, 동차성 성질($\rho(\lambda x) = \lambda \rho(x)$) 덕분에 국소적인 "범프(bump)" 함수를 정확하게 구축할 수 있는 것과 달리, $\tanh$ 네트워크는 실해석적(real-analytic)이며 일반적으로 양의 측도(positive measure)를 가진 집합 위에서 정확히 0이 되는 함수(컴팩트 서포트를 가진 함수)를 생성할 수 없다. 이는 학습 복잡도에 대한 하한(lower bounds)을 증명하는 데 있어 상당한 분석적 장애물을 생성한다. 왜냐하면 정확한 국소화(exact localization)에 의존하는 표준 기법들이 실패하기 때문이다.

방법론
저자들은 $\tanh$ 네트워크의 컴팩트 서포트 결여를 극복하기 위해 유한 정밀도 산술을 활용하는 새로운 프레임워크를 개발한다. 이들의 접근 방식은 세 가지 주요 기술적 구성 요소로 이루어진다:

1. 유한 정밀도 국소화(Finite-Precision Localization): 저자들은 $|x| \le \epsilon_p$인 모든 값을 0으로 반올림하는 양자화 맵 $Q_{\epsilon_p}$를 가정한다. 이들은 "날카롭게 국소화된 범프(sharply localized bumps)"를 생성하는 신경망을 구축한다. 즉, 작은 큐브 영역 내에서는 비자명(non-trivial)하지만, 해당 영역 밖으로는 지수적으로 빠르게 감쇠하는 함수를 만든다. 네트워크의 깊이와 파라미터를 조정함으로써, 이러한 함수들의 "꼬리(tails)" 부분이 계산 장치의 머신 정밀도 임계값 $\epsilon_p$ 아래로 떨어지도록 강제하여, $L_p$ 노름(norm)이 양수임에도 불구하고 계산 장치에는 0과 구별할 수 없게 만든다.

2. 고정점 반복 메커니즘(Fixed-Point Iteration Mechanism): 핵심 혁신은 $\tanh$ 활성화의 고정점 구조를 이용하는 것이다. 스케일링된 활성화 함수 $\sigma_a(x) = \tanh(ax)$ ($a > 1$)에 대해, $\tanh(ax_\star) = x_\star$를 만족하는 비자명한 고정점 $\pm x_\star$가 존재한다. 저자들은 거친 범프 함수(coarse bump function)에 $\sigma_a$를 반복적으로 적용하는 신경 네트워크 층을 설계한다. 이 반복 과정은 신호를 증폭시켜 출력을 스텝 함수 프로파일(서포트 내부에서는 $\pm x_\star$로 수렴하고 외부에서는 급격히 감쇠함)로 몰아넣는다. 이 메커니즘은 ReLU 분석에서 사용되었던 동차성 기반의 구축 방식을 대체한다.

3. 적응형 무작위 알고리즘 프레임워크(Adaptive Randomized Algorithm Framework): 하한은 이전 관측값에 기초하여 샘플링 지점을 선택하고 내부 무작위성을 사용할 수 있는 적응형 무작위 알고리즘에 대해 도출된다. 증명에는 "비둘기집(pigeonhole)" 논리가 사용된다. 격자 위에 중심을 둔 대규모의 서로 소인(disjoint) 범프 함수 군을 구축하고, 이들의 서포트가 샘플링 밀도보다 작음을 보여줌으로써, 알고리즘이 모든 샘플 지점에서 양자화된 0 값을 산출하는 함수들이 상당수 존재함을 입증한다. 결과적으로, 알고리즘은 이 함수들을 영함수(zero function)와 구별할 수 없게 된다.

주요 기여 및 결과
본 논문은 $\tanh$ 신경망 학습을 위한 샘플링 복잡도의 하한을 설정한다. 주요 결과(정리 6)는 입력 차원 $d$, 깊이 $L$, 너비 $B$, 그리고 유계 계수를 가진 네트워크 클래스에 대해, $m$개의 샘플을 사용하는 임의의 알고리즘의 근사 오차 $\epsilon$이 다음을 만족함을 증명한다:
$$\epsilon \gtrsim C \cdot m^{-1/p}$$
여기서 상수 $C$는 네트워크 아키텍처 파라미터에 따라 달라진다.

주요 결과는 다음과 같다:

• 아키텍처에 대한 지수적 의존성: 고정된 정확도를 달ify하기 위해 필요한 허용 가능한 샘플 수 $m$은 네트워크 아키텍처 파라미터(특히 너비와 깊이)에 대해 지수적으로 증가한다. 이는 최적화 문제가 계산적으로 해결 가능하더라도, 네트워크 크기가 커짐에 따라 학습이 불가능해짐을 의미한다.
• ReLU와의 비교: ReLU 설정(Berner et al., 2023)이 $m^{-1/d - 1/p}$의 스케일링을 보이는 반면, 유한 정밀도 하의 $\tanh$ 설정은 $m^{-1/p}$의 스케일링을 보인다. 그러나 $\tanh$ 하한의 상수 인자가 아키텍처에 지수적으로 의존하므로, 실질적인 불가능성이라는 측면에서는 유사한 결과를 낳는다.
• 내재적 불안정성(Intrinsic Instability): 결과는 학습 문제의 근본적인 불안정성을 드러낸다. 서브 지수(sub-exponential) 수준의 샘플을 사용하는 임의의 알고리즘에 대해, 모든 샘플 지점에서 머신 정밀도 미만의 미세한 섭동(perturbation)만으로 차이가 나지만, $L_p$ 거리(order 0.5)는 큰 두 네트워크 쌍이 존재한다. 따라서, 명시된 샘플링 범위 내에서는 어떤 재구성 절차도 동시에 정확하면서 안정적일 수 없다.
• 정밀도의 역할: 이 어려움의 결과는 유한 정밀도 가정에 부수적이다. 구축 과정은 범프 함수의 꼬리를 양자화 임계값 $\epsilon_p$ 아래로 "숨기는" 능력에 의존한다.

의의 및 주장
본 논문은 ReLU 네트워크에 대한 기존의 어려움(hardness) 결과를 널리 사용되는 $\tanh$ 활성화 함수로 확장한다고 주장한다. $\tanh$는 순환 구조(RNN, LSTM), 물리 정보 신경망(PINN), 그리고 현대적 파운데이션 모델에서 흔히 쓰인다.

저자들은 자신들의 결과가 단순히 계산 복잡도(실행 시간)에 관한 것이 아니라, 정보 이론적 한계에 관한 것임을 강조한다. 최적화 알고리즘이 전역 최솟값을 찾을 수 있다 하더라도, 점 평가(point evaluation)로부터 함수를 고유하게 식별하기 위해 필요한 샘플 수는 지나치게 많다. 본 연구는 $\tanh$의 매끄러움과 해석적 특성이 미분 가능성 측면에서는 유리하게 보일 수 있으나, 하한을 증명하는 데 필요한 국소적 특징(localized features)을 구축하는 데 있어서는 심각한 어려움을 초래한다는 점을 밝힌다.

논문은 단순화된 정리(정리 1)와 파라미터(머신 정밀도 $\epsilon_p$, 네트워크 너비 $B$, 깊이 $L$, 계수 상한 $c$)에 대한 명시적 의존성을 포함한 완전한 기술적 진술(정리 6)을 제공한다. 또한, 적절한 네트워크 크기와 현실적인 머신 정밀도 하에서 균등 회복(uniform recovery)을 위해 필요한 샘플 크기가 천문학적으로 커져 학습 작업이 계산적으로 불가능해짐을 보여주는 수치적 검증 도구를 포함하고 있다.