기술 요약: TESLA (Taylor Expansion of Sinusoidal Learnable Activations)

1. 문제 정의

일반적으로 선형 사상(linear maps)과 국소적 비선형성(예: ReLU, GeLU)을 쌓아 올리는 데 의존하는 표준 신경망은 저주파(저차수) 성분을 학습하는 "스펙트럼 편향(spectral bias)"을 보입니다. 이러한 한계는 전역적 상호작용(global interactions), 고차 결합(high-order combinations), 또는 특정 전역 대칭성이 필요한 작업에서 효율성을 떨어뜨립니다.

이러한 도전 과제의 전형적인 예는 패리티 문제(parity problem)(이진 벡터 내 1의 개수가 홀수인지 짝수인지 판별하는 문제)입니다. 이 작업은 선형적으로 분리 불가능하며, 모든 입력 비트 간의 전역적 상호작용을 필요로 합니다. 기존의 아키텍처들은 특히 입력 차원($n$)이 증가하거나 데이터가 부족할 때 패리티 작업을 수행하는 데 어려움을 겪는 경우가 많은데, 이는 이러한 고차 구조를 표현하기 위해 과도한 깊이, 너비 또는 가중치 노름(weight norm)이 요구되기 때문입니다. 또한, 스펙트럼 편향을 해결하려는 기존의 시도들(예: 주기적 활성화 함수인 SIREN 또는 푸리에 특징 임베딩)은 최적화 불안정성, 저데이터 환경에서의 과적합, 또는 활성화의 다항식 차수에 대한 명시적인 제어 능력 부족 등의 문제를 겪습니다.

2. 방법론: TESLA

저자들은 신경망 활성화의 다항식 차수와 주파수 성분에 대해 명시적이고 학습 가능한 제어를 제공하도록 설계된 파라미터화된 활성화 함수인 TESLA(Taylor Expansion of Sinusoidal Learnable Activations)를 제안합니다.

2.1 정의

TESLA는 모든 레이어의 모든 뉴런에서 공유되는 사인(sine) 및 코사인(cosine) 항들의 유한 선형 결합으로 정의됩니다:
$$\phi_K(z) = \sum_{k=1}^{K} \left( \frac{a_k}{k} \sin(kz) + \frac{b_k}{k} \cos(kz) \right)$$
여기서:

• $K \in \mathbb{N}$은 최대 주파수(고조파 개수)를 제어합니다.
• $\{a_k, b_k\}_{k=1}^K$는 학습 가능한 스칼라 계수입니다.
• $1/k$ 스케일링은 그래디언트 크기를 관리하기 위한 설계 선택입니다.

2.2 이론적 해석

트리거노메트릭(trigonometric) 전개로 구현되지만, 저자들은 TESLA를 테일러(Taylor, Maclaurin) 전개를 통해 분석합니다. 이를 통해 활성화의 유효 다항식 계수가 학습된 트리거노메트릭 계수 $\{a_k, b_k\}$의 명시적인 선형 범함수임을 밝혀냅니다. 이 공식화는 네트워크가 (푸리에 특징처럼) 입력 측의 스펙트럴화에 의존하여 모드 선택을 후속 레이어에 맡기는 대신, 활성화 수준에서 특정 다항 차수(degree)를 선택적으로 증폭하거나 감쇠할 수 있게 합니다.

2.3 안정성 및 복잡도 제어

안정성을 확보하고 과적합을 방지하기 위해, TESLA는 **계수 예산(coefficient budget)**을 도입합니다:
$$A_K = \sum_{k=1}^{K} (|a_k| + |b_k|)$$
이론적 분석에 따르면, $A_K$는 활성화 및 네트워크의 립시츠 상수(Lipschitz constant)를 제한합니다. 구체적으로, $L$개 층을 가진 네트워크의 립시츠 상수는 레이어 연산자 노름과 $A_K^{L-1}$의 곱으로 제한됩니다. 이 예산을 통해 그래디언트 크기와 라데마허 복잡도(Rademacher complexity)를 제어할 수 있으며, 이를 통해 주파수 범위($K$)를 늘려도 최적화가 본질적으로 불안정해지지 않도록 보장합니다.

3. 주요 기여

본 논문은 세 가지 주요 기여를 제시합니다:

1. 이론적 보장: 저자들은 타이트한 립시츠 바운드와 라데마허 복잡도 기반의 일반화 보증을 도출합니다. 또한 Neural Tangent Kernel(NTK) 분석을 통해 학습 역학을 규명하여, TESLA의 귀납적 편향(inductive bias)이 저주파 및 중주파 구조의 회복을 자연스럽게 선호하면서도 고차 성분의 선택적 학습을 허용함을 보여줍니다.
2. 구성적 근사 결과: 본 논문은 TESLA를 사용하여 리지(ridge) 및 상호작용 유형의 함수를 근사하기 위한 상한(upper bounds)을 제공합니다. 반대로, 표준적인 조각별 선형(piecewise-linear) 활성화 함수가 진동하거나 전역적인 구조를 표현하기 위해 TESLA보다 실질적으로 더 많은 자원(깊이/너비)을 필요로 함을 보여주는 하한(lower bounds)을 스케치합니다.
3. 실험적 검증: 저자들은 합성 벤치마크(Parity, Forrelation)와 연속 도메인 작업(PINNs, INRs)에서 TESLA가 효과적으로 일반화됨을 입증하는 동시에, 대규모 비전 작업(ImageNet-100)에서도 무시할 만한 계산 오버헤드로 경쟁력을 유지함을 보여줍니다.

4. 실험 결과

4.1 합성 벤치마크

• 패리티 작업(Parity Task): 입력 길이 $n=32$인 패리티 작업에서, TESLA는 단 100,000개의 훈련 샘플(입력 공간의 약 0.002%)만으로 강력한 일반화를 달성합니다. 결정적으로, TESLA는 심한 레이블 노이즈(최대 30%) 하에서도 견고하게 작동하며, 베이스라인 활성화 함수(ReLU, GeLU)가 무작위 추측(50%) 수준으로 붕괴하는 상황에서도 높은 정확도를 유지합니다.
• 주기적 베이스라인과의 비교: TESLA는 패리티 및 Forrelation 작업에서 SIREN, SNAKE, 푸리에 특징 임베딩을 크게 능가합니다. SIREN과 푸리에 임베딩은 고노이즈 또는 고차원 환경에서 전역적 상관관계를 포착하는 데 실패하는 경우가 많은 반면, TESLA는 안정적인 성능을 유지합니다. 예를 들어, 노이즈가 없는 32비트 패리티 작업에서 TESLA는 약 96%의 정확도를 달성하지만, SIREN은 약 50%로 떨어집니다.
• Forrelation: 전역 상관관계 결정 문제인 Forrelation 작업에서, TESLA는 표준 활성화 함수들에 비해 다양한 은닉층 크기에 걸쳐 더 빠르게 수렴하고 더 높은 정확도를 달러합니다.

4.2 연속 도메인 작업

• PINNs: 1D 점성 버거스 방정식(viscous Burgers' equation)을 해결하는 데 있어, TESLA는 비교된 활성화 함수들(ReLU, Tanh, SIREN 포함) 중 가장 낮은 최종 손실을 달립다.
• 내재적 신경 표현(INRs): 이미지 재구성 작업(Kodak24, DIV2K)에서 TESLA는 SIREN 및 ReLU보다 목표 PSNR 임계값에 더 빠르게 도달하며 더 높은 최종 품질(PSر/SSIM)을 달성합니다.
• 혼합 주파수 회귀(Mixed-Frequency Regression): TESLA는 혼합된 고주파 성분으로 구성된 신호에 대해 테스트 MSE가 0.011 미만임을 달성한 유일한 방법입니다.

4.3 대규모 비전 (ImageNet-100)

TESLA는 ViT, MLP-Mixer, ResNet-18, MobileNetV3 아키텍처를 사용하여 ImageNet-100에 대해 평가되었습니다.

• 성능: TESLA는 모든 아키텍처에서 ReLU, GeLU, SiLU와 대등하거나 약간 더 나은 Top-1 정확도를 달성합니다.
• 효율성: 이 방법은 무시할 만한 수준의 처리량 오버헤드(FLOPs 약 1% 증가)만을 발생시킵니다.
• 안정성: 동일한 훈련 설정 하에서 심각한 최적화 불안정과 낮은 정확도(예: ViT에서 약 4% Top-1)를 보였던 SIREN과 달리, TESLA는 안정적으로 훈련되었으며 표준적인 정확도 수준에 도달했습니다.

5. 의의 및 주장

본 논문은 TESLA가 입력 전용 스펙트럴화 방법들에 대한 강력하고 실용적인 대안을 제공한다고 주장합니다. 학습 가능한 계수를 통해 활성화 단계로 스펙트럴 제어를 이동함으로써, TESLA는 표준 훈련 파이프라인과의 호환성을 유지하면서도 최소한의 아키텍처 변경만으로 네트워크의 귀납적 편향을 조정할 수 있게 합니다.

저자들은 TESLA가 이론적인 스펙트럼 편향 분석과 실제 응용 사이의 간극을 메운다는 점을 강조합니다. 이는 다항식 차수에 대한 명시적인 제어를 가능하게 하여, 표준 활성화 함수가 어려움을 겪는 전역적, 고차 상호작용을 학습할 수 있도록 하면서도, 실제 비전 워크로드에서의 안정성과 확장성을 희생하지 않습니다. 이 연구는 활성화 수준의 차수 제어가 전역 대칭성이 지배적인 작업에서 샘플 효율성과 일반화 능력을 향상시키기 위한 실행 가능한 전략임을 시사합니다.