기술 요약: 매개변수화된 활성화 함수를 통한 표현력이 풍부한 랜덤 특징 모델 학습

1. 문제 정의

커널 함수의 효율적인 대안으로 도입된 랜덤 특징(Random Feature, RF) 모델은 유한한 수의 랜덤 특징을 사용하여 커널 함수를 근사한다. 이러한 모델은 계산적으로 효율적이지만, 일반적으로 고정된 활성화 함수(예: ReLU, Sigmoid, Cosine)를 사용한다. 이러한 경직성은 다양한 작업에 대한 적응성을 제한하며, 모델이 특정 데이터 분포에 맞춰 최적의 활성화 함수를 자동으로 탐색하는 것을 방해한다. 반대로, Kolmogorov-Arnold 네트워크(KAN)와 같은 학습 가능한 활성화 모듈의 최근 발전은 효과적인 성능을 보여주었으나, 종종 확장성이나 최적화 문제를 겪는다. 본 논문은 고정된 RF 모델의 효율성과 학습 가능한 활성화 네트워크의 표현력 사이의 간극을 해결하기 위해, RF 프레임워크 내에서 활성화 함수를 매개변수화하는 프레임워크를 제안함으로써 이 문제를 다룬다.

2. 방법론

저자들은 **학습 가능한 활성화 함수를 가진 랜덤 특징 모델(Random Feature Model with Learnable Activation Functions, RFLAF)**을 소개한다.

모델 공식화

RFLAF에서 활성화 함수 $\sigma$는 고정되지 않고, RF 프레임워크 내에서 기저 함수 $\{B_i(x)\}_{i=1}^N$의 가중치 합으로 매개변수화된다. 모델은 다음과 같이 정의된다:
$$\hat{f}(x; a, v) := \frac{1}{M} \sum_{m=1}^M \sum_{i=1}^N a_i B_i(w_m^\top x) v_m$$
여기서:

• $w_m \sim \mathcal{N}(0, I_d)$는 가우시안 분포에서 샘플링된 고정된 랜덤 특징이다.
• $B_i(x)$는 사전 설정된 중심과 폭을 가진 기저 함수(예: Radial Basis Functions, B-splines, Polynomials)이다.
• $a = (a_1, \dots, a_N)$와 $v = (v_1, \dots, v_M)$는 학습 가능한 매개변수이다.

저자들은 이론적 분석을 위한 대표 기저로 **Radial Basis Functions (RBFs)**에 집중하며, 이는 $B_i(x) = \exp\left(-\frac{(x-c_i)^2}{2h_i^2}\right)$로 정의된다.

이론적 접근

1. 단일 RBF 분석: 저자들은 단일 RBF 활성화에 의해 유도되는 커널의 명시적인 해석적 형태를 먼저 도출한다. 이들은 이 회전 불변(rotation-invariant) 커널의 테일러 전개를 확립하고 관련 재생 커널 힐베르트 공간(RKHS)을 규명한다.
2. 다중 RBF 및 근사: 여러 개의 RBF로 확장하면서, 저자들은 가우시안 보편 근사 정리(Gaussian Universal Approximation Theorem)를 활용한다. 이들은 RBF의 가중치 합이 컴팩트 서포트(compact support)를 가진 임의의 연속 타겟 활성화 함수를 임의의 오차 $\epsilon$까지 근사할 수 있음을 증명한다.
3. 일반화 경계: 라데마허 복잡도(Rademacher complexity)를 사용하여, 저자들은 학습 과정에 대한 일반화 경계를 도출한다. 이들은 낮은 과잉 리스크(excess risk)를 달성하기 위해 필요한 샘플 복잡도를 분석하며, 최적의 성능을 달성하기 위해 랜덤 특징의 수 $M$이 샘ло 크기 $n$의 제곱근과 스케일링되어야 함($M = \Theta(\sqrt{n})$)을 보여줌으로써 표준 RF 모델의 가장 날카로운 결과와 일치함을 입증한다.

3. 주요 기여

본 논문은 다음과 같은 구체적인 기여를 한다:

• 새로운 커널 도출: 저자들은 단일 RBF를 활성화 함수로 사용할 때 유도되는 커널의 첫 번째 해석적 형태를 식별하고 제공하며, 이를 통해 중심이 잡힌 가우시안 활성화에서 일반적인 비중심 가우시안 활성화로 결과를 확장한다.
• 이론적 보장: RFLAF에 대한 엄격한 근사 및 일반화 경계를 제공한다. 이 이론은 모델이 표준 RF 모델에 비해 매개변수 수가 2배 미만으로 증가하는 최소한의 비용으로 표현 능력을 향상시킨다는 것을 보장한다.
• 실험적 검증: 광범적인 실험을 통해 RBF 또는 B-spline을 사용하는 RFLAF가 고정된 활성화 함수를 사용하는 표준 RF 모델보다 다양한 분류 및 회귀 작업에서 일관되게 우수한 성능을 보임을 입증한다.
• 효율성 분석: 연구는 RBF 기반 RFLAF가 B-spline 기반 RFLAF보다 약 3배 더 계산 효율적이면서도 우수하거나 대등한 성능을 달성한다는 점을 강조한다.
• 신경망으로의 확장: RFLAF의 첫 번째 레이어 매개변수를 해제(unfreezing)함으로써, 저자들은 학습 가능한 활성화 구성 요소가 일반적인 2층 신경망(LAN이라 명명됨)에서 갖는 표현력의 이점을 검증하며, 이들이 표준 MLP 및 KAN보다 수렴 속도와 안정성 면에서 뛰어날 수 있음을 보여준다.

4. 실험 결과

저자들은 7개의 실제 데이터셋(MNIST, CIFAR-10, Adult, Protein, CT, Workloads, MillionSongs)과 합성 데이터셋에 대해 RFLAF를 평가했다.

• 성능: RBF 및 B-spline을 사용한 RFLAF는 고정된 활성화(ReLU, Cos, Tanh, Sigmoid)를 사용하는 표준 RF 모델(RFMLP)에 비해 일관되게 낮은 테스트 손실과 높은 정확도를 달ach했다.
• 효율성: B-spline이 좋은 성능을 보였지만, RBF가 훈련 및 테스트 시간에서 2~4배 더 빠름을 발견했다. 예를 들어, "Workloads" 데이터셋에서 RBF는 시간 증가를 30% 미만으로 유지하면서도 최적의 고정 활성화(Sigmoid) 대비 테스트 손실을 약 70% 개선했다.
• 그리드 크기 민감도: 실험 결과, 적은 수의 기저 함수($N=16$ 또는 $32$)만으로도 표준 RF 모델을 크게 능가할 수 있어, 성능과 계산 비용 사이의 좋은 절충안을 제공함을 보여주었다.
• 활성화 복구: 합성 작업에서 RFLAF는 데이터로부터 ground-truth 활성화 함수를 성공적으로 복구하였으며, 이는 그리드 탐색 없이 최적의 비선형성을 학습할 수 있는 능력을 입증한다.
• 2층 네트워크: LAN에 적용되었을 때, RBF 기반 모델은 LAN, MLP, KAN 중에서 가장 좋은 성능을 보였으며, KAN보다 빠르게 수렴하고 MLP보다 우수한 성능을 나타냈다.

5. 의의 및 주장

본 논문은 현대 신경망 구조 내에서 학습 가능한 활성화 구성 요소에 대한 더 깊은 이해를 제공한다고 주장한다. 학습 가능한 활성화를 랜덤 특징 프레임워크에 통합함으로써, 이 연구는 커널 방법의 이론적 효율성과 딥러닝의 적응성 사이의 간극을 메운다.

저자들은 RFLAF를 다음과 같은 방법으로 포지셔닝한다:

1. 함수 공간 확장: 계산 복잡도의 비례적인 증가 없이 표준 RF 모델에 비해 표현되는 함수 공간을 실질적으로 확장한다.
2. 최소한의 오버헤드 제공: 매개변수 수와 훈련 시간의 최소한의 증가로 상당한 성능 이득을 얻는다.
3. 학습 가능한 활성화 검증: 학습 가능한 활성화 모듈이 KAN과 같은 복잡한 구조뿐만 아니라, 더 단순하고 확장 가능한 2층 구조에서도 효과적이라는 증거를 제공한다.

결론적으로, 본 연구는 RFLAF가 랜덤 특징 모델의 미래 방향을 열어주며, 활성화를 매개변수화하는 것이 커널 방법과 신경망 모두에서 표현력을 높이기 위한 실행 가능하고 효율적인 전략임을 시사한다.