기술 요약: 유리 신경망(Rational Neural Networks)의 표현력 우위

문제 정의

심층 신경망은 표현력과 학습 가능성을 제어하기 위해 비선형 활성화 함수의 선택에 크게 의존한다. 현대적 아키텍처는 주로 고정된 매끄러운 활성화 함수(예: GELU, Swish/SiLU, Mish, ELU/SELU/CELU)나 조각별 선형 함수(예: ReLU 및 그 변형)를 사용하지만, 이러한 선택은 급격한 전이, 꺾임(kink), 또는 근접한 복잡한 특이점(singularity)을 가진 함수를 효율적으로 근사하는 데 있어 특정한 한계를 부과한다. 본 논문은 고정된 활성화 함수를 **학습 가능한 저차 유리 활성화 함수(trainable low-degree rational activation functions)**로 교체하는 것이 파라미터 효율성 및 표현력 측면에서 이론적 및 실무적 이점을 제공하는지 조사한다.

방법론

이론적 프레임워크

저자들은 유리 신경망과 표준 매끄러운 또는 조각별 선형 활성화 함수로 구축된 네트워크 사이의 근사 이론적 격차(approximation-theoretic separations)를 확립한다.

• 유리 신경망(Rational Networks): 각 층의 스칼라 비선형성이 저차 다항식 $P$와 $Q$를 갖는 학습 가능한 유리 함수 $r(x) = P(x)/Q(x)$인 피드포워드 신경망으로 정의된다. 계수들은 학습 과정 중에 학습된다.
• 근사 지표: 표현력은 고정된 컴팩트 도메인(예: $[-1, 1]^d$)에서 균등 오차 $\epsilon$을 달성하기 위해 필요한 학습 가능한 파라미터(네트워크 크기)의 수로 측정된다.
• 주요 이론적 도구:
  • 유리 근사 이론(Rational Approximation Theory): 유리 함수가 다항식이나 매끄러운 대용치(surrogates)보다 비매끄러운 특징(예: $|x|$ 또는 ReLU)이나 근처의 특이점을 훨씬 더 효율적으로 근사할 수 있다는 고전적 결과(예: Trefethen, Goncar)를 활용한다.
  • 구성적 증명(Constructive Proofs): Zolotarev 함수, 산술-기하 평균(AGM) 반복, 그리고 Halley의 방법을 사용하여 매끄러운 활성화 함수(예: GELU)를 유리 신경망으로 근사하는 명시적 구성을 제공한다.
  • 하한(Lower Bounds): 특정 유리 타겟(특히 실수 직선 근처에 극점(pole)을 가진 경우)을 제한된 파라미터의 매끄러운 네트워크로 근사하는 것은 곡률 제약으로 인해 훨씬 더 많은 파라미터를 필요로 함을 증명한다.

실험 설정

저자들은 아키텍처, 옵티마이저, 학습 예산을 고정하고 활성화 함수만을 변경하면서 세 가지 서로 다른 도메인에서 유리 활성화 함수를 평가한다:

1. 지도 학습 기반 비전(Supervised Vision): VGG4 및 VGG8 아키텍처를 사용한 CIFAR-10 이미지 분류, 그리고 Transformer 기반 모델(ViT, CaiT, Swin)을 사용한 Tiny ImageNet 분류.
2. 오프라인 강화 학습(Offline Reinforcement Learning): Minari medium 데이터셋과 IQL 및 TD3+BC 알고리즘을 사용하는 연속 제어 로코모션 벤치마크(HalfCheetah, Hopper, Walker2d).
3. 정규화 분석(Normalization Analysis): 적응형 유리 활성화와 정규화 층(BatchNorm, LayerNorm) 사이의 상호작용를 조사하며, 특히 Transformer의 "no-LayerNorm" 변형을 테스트한다.

주요 기여

1. 파라미터 복잡도의 지수적 격차(Exponential Separation in Parameter Complexity):

   • 매끄러움 $\to$ 유리(Smooth $\to$ Rational): 표준 매끄러운 활성화 함수(GELU, Swish, SiLU 등)로 구축된 모든 네트워크는 $O(\text{poly}(\log \log(1/\epsilon)))$의 크기 오버헤드만으로 유리 신경망에 의해 균등하게 근사될 수 있다. 구체적으로, 본 논문은 GELU에 대해 $O(\log^3 \log(1/\epsilon))$의 크기 경계(size bound)를 증명한다.
   • 유리 $\to$ 매끄러움(Rational $\to$ Smooth): 반대로, (도메인 근처에 극점을 가진) 최악의 경우의 유리 함수 패밀리를 제한된 파라미터의 매끄러운 네트워크로 근사하는 데는 최소 $\Omega(\log(1/\epsilon))$의 크기가 필요하다.
   • 결과: 이는 유리 신경망이 비매끄러운 구조를 포함하는 영역에서 매끄러운 활성화 네트워크보다 훨씬 적은 파라미터로 동일한 정확도를 달도록 하는 표현력의 지수적 격차를 확립한다.

2. 복잡한 아키텍처로의 확장:

   • 이 격차 결과는 스칼라 함수에서 전체 피드포워드 네트워크, 게이트형 활성화(gated activations), 그리고 Transformer 스타일의 아키텍처(특히 MLP 서브레이어)로 확장된다.
   • 논문은 유리 신경망이 낮은 오버헤드로 게이트형 매끄러운 모델을 근사할 수 있는 반면, 그 역의 경우 높은 오버헤드가 필요함을 입증한다.

3. 정규화 및 식별 가능성(Normalization and Identifiability):

   • 저자들은 표준 정규화 층이 적응형 유리 활성화에 해로울 수 있음을 공식화한다. 정규화는 유리 계수에 흡수될 수 있는 학습 가능한 아핀 변환(affine transforms)을 도입하여 비식별성(non-identifiability)과 불량한 컨디셔닝을 초래한다.
   • 또한, 정규화의 데이터 의존적 확률성(예: BatchNorm)은 유리 계수의 다항식 민감도로 인해 그래디언트 노이즈를 증폭시킨다.
   • 발견: 정규화를 제거하는 것(예: "no-LayerNorm" Transformer)은 적응형 유리 함수가 학습 가능한 리스케일링 메커니즘으로서 기능하게 하여, 고정된 활성화 함수가 실패하는 곳에서도 훈련을 안정화하고 높은 정확도를 달성하게 한다.

4. 구성적 증명:

   • 논문은 Zolotarev 함수와 AGM 구성을 포함한 고전적 근사 이론을 바탕으로 한 구성적 증명을 제공하여, 유리 신경망이 어떻게 복잡한 비선형성을 효율적으로 구현할 수 있는지 보여준다.

실험 결과

• CIFAR-10: 유리 활성화 함수는 VGG4 및 VGG8 모델 모두에서 ReLU, LeakyReLU, Swish, GELU를 능가하며 일관되적으로 가장 높은 Top-1 테스트 정확도를 달성했다. 증강된 훈련 파이프라인에서, 유리 변형(LeakyReLU 또는 GELU를 모방하도록 초기화됨)은 GroupNorm이 적용되었을 때도 상위 성능을 유지했으나, GroupNorm은 고정된 활성화 함수에 비해 유리 함수에 더 큰 성능 저하를 유도했다.
• Offline RL: MuJoCo medium 데이터셋에서 유리 활성화 함수는 6개 설정 중 5개(HalfCheetah, Hopper, Walker2d에 대한 IQL 및 TD3+BC)에서 최적의 고정 활성화 함수와 대등하거나 이를 능가했다. 특히, 더 작은 너비(128)를 가진 유리 모델이 훨씬 더 큰 GELU 모델(너비 384)과 대등하거나 더 우수한 성능을 보였는데, 이는 파라미터 효율성 가설을 입증한다.
• Tiny ImageNet (Transformers): 유리 활성화 함수는 ViT, CaiT, Swin 모델에서 최고의 EMA 검증 정확도를 일치시키거나 개선했다. 결정적으로, "no-LayerNorm" ViT 변형에서 고정된 활성화 함수(ReLU, GELU)는 NaN으로 발산한 반면, 유리 변형은 안정성을 유지하며 높은 정확도(61.24%)를 달est하여 정규화가 유리 활성화에 제약이 될 수 있다는 주장을 뒷받침했다.
• 학습된 형태(Learned Shapes): 학습된 유리 함수의 시각화는 이들이 입력 밀도가 높은 영역으로 곡률을 빠르게 재배치하며, Swish 및 Mish와 같은 성공적인 고정 활성화 함수와 유사한 국소적 비단조(non-monotone) "게이팅" 형태를 발달시키는 것을 보여주었다.

의의 및 주장

본 논문은 유리 신경망이 딥러닝을 위한 수학적으로 자연스럽고 계산적으로 효율적인 기초를 제공한다고 주장한다. 핵심적인 의의는 표현력의 우위에 있다. 즉, 유리 활성화 함수는 현대의 매끄러운 활성화 함수보다 훨씬 적은 파라미터를 사용하여 급격한 전이와 복잡한 특이점을 가진 함수를 표현할 수 있다.

저자들은 이러한 이론적 이점이 실제 환경에서 다음과 같이 직접적으로 이어진다고 주장한다:

• 높은 정확도: 동일한 아키텍처에서 비전 및 RL 작업에 대해 더 나은 성능을 달성한다.
• 빠른 수렴: 훈련 초기 단계에서 강력한 성능에 도달한다.
• 파라미터 효율성: 더 작은 네트워크 너비로도 대등하거나 더 우수한 결과를 달성한다.
• 정규화가 없는 환경에서의 견고성: 고정된 활성화 함수가 종종 실패하는 정규화 층 없는 심층 Transformer 훈련을 가능하게 한다.

이 연구는 분야가 고정된 매끄러운 활성화 함수의 지배력을 재고해야 함을 시사하며, 학습 가능한 유리 함수가 복잡한 데이터 분포의 구조적 요구 사항에 더 잘 부합하는 원칙적인 대안을 제공한다고 제안한다.