Swish-T : Enhancing Swish Activation with Tanh Bias for Improved Neural Network Performance

1. 문제 제기 (Problem Statement)

딥러닝에서 활성화 함수 (Activation Function) 는 비선형성을 도입하여 복잡한 패턴을 모델링하는 핵심 요소입니다.

• ReLU 의 한계: ReLU 는 효율적이지만 '죽은 ReLU (Dying ReLU)' 문제 (입력이 음수일 때 뉴런이 영구적으로 비활성화됨) 와 0 에서의 미분 불가능성 (불연속성) 을 가지고 있습니다.
• 기존 개선안의 부족: Leaky ReLU, PReLU 등은 죽은 ReLU 문제를 완화하지만 여전히 0 에서 미분 불가능합니다. GELU, Swish, Mish 와 같은 부드러운 (smooth) 함수들은 비단조적 (non-monotonic) 특성을 가지며 성능이 우수하지만, 여전히 입력에 따른 활성화 임계값을 더 정교하게 제어할 수 있는 여지가 있습니다.
• 핵심 가설: 활성화 함수 자체에 편향 (Bias) 항을 통합하여 입력 신호에 대한 더 세밀한 적응과 활성화 임계값의 정교한 제어가 가능할 것이라는 가설을 세웠습니다.

2. 방법론 (Methodology)

저자들은 기존 Swish 함수 ($x \cdot \sigma(\beta x)$) 에 Tanh 편향 (Tanh Bias) 항을 추가한 새로운 활성화 함수 계열인 Swish-T를 제안했습니다.

2.1 Swish-T 의 정의

기존 Swish 함수에 $\alpha \tanh(x)$ 항을 더하여 다음과 같이 정의됩니다.
$$f(x; \beta, \alpha) = x\sigma(\beta x) + \alpha \tanh(x)$$

• $\alpha$ (하이퍼파라미터): Tanh 함수의 스케일을 조절하며, 편향의 범위를 제한합니다.
• $\beta$ (학습 가능 파라미터): Swish 와 마찬가지로 학습 과정에서 업데이트됩니다.
• 특징: 초기 학습 단계에서 음수 값을 더 넓게 허용하며, 원래 Swish 보다 부드러운 비단조적 곡선을 형성합니다. Tanh 의 유계 (bounded) 특성으로 인해 편향이 극단적으로 변하는 것을 방지하여 학습 안정성을 높입니다.

2.2 Swish-T 계열의 변형 (Variants)

계산 효율성과 성능을 최적화하기 위해 세 가지 변형을 설계했습니다.

1. Swish-TA: 식을 단순화하여 $x$ 의 계수를 1 로 통일했습니다. 학습 가능한 파라미터 ($\beta$) 가 없으며, 계산 속도가 가장 빠릅니다.
   • $f_A(x) = \sigma(x)(x + 2\alpha) - \alpha$
2. Swish-TB: Swish-TA 에 학습 가능한 $\beta$ 를 다시 도입하여 동적인 적응 능력을 부여했습니다.
   • $f_B(x) = \sigma(\beta x)(x + 2\alpha) - \alpha$
3. Swish-TC (최종 제안): $\beta$ 의 부호 변화에 따른 대칭성을 보장하고 편향을 더 효과적으로 제어하도록 설계되었습니다. $\beta$ 가 0 에 가까워지면 항등 함수 (Identity) 에 가깝게, 무한대에 가까워지면 부드러운 ReLU 에 가깝게 동작합니다.
   • $f_C(x) = \sigma(\beta x)(x + \frac{2\alpha}{\beta}) - \frac{\alpha}{\beta}$

2.3 기울기 계산 (Gradient Computation)

역전파 (Backpropagation) 를 위한 미분 식을 유도하였으며, 특히 Swish-TC 는 $\alpha$ 와 $\beta$ 의 직접적인 곱셈을 피하여 기울기 폭주 (Gradient Explosion) 를 방지하고 안정적인 기울기 흐름을 유지하도록 설계되었습니다.

3. 주요 기여 (Key Contributions)

1. Swish-T 계열 제안: Swish 함수에 Tanh 편향을 도입하여 음수 영역에서의 수용 범위를 넓히고 부드러운 비단조적 곡선을 구현했습니다.
2. 다양한 변형체 개발: 계산 효율성 (Swish-TA), 적응성 (Swish-TB), 안정성 및 대칭성 (Swish-TC) 을 각각 최적화한 변형체를 제시했습니다.
3. 비모수적 (Non-parametric) 사용 가능성 증명: Ablation Study 를 통해 $\beta$ 를 고정 (Magic Number) 하여 학습 파라미터 없이도 기존 파라미터 기반 함수보다 높은 성능과 빠른 학습 속도를 달성할 수 있음을 보였습니다.

4. 실험 결과 (Results)

다양한 데이터셋 (MNIST, Fashion MNIST, SVHN, CIFAR-10, CIFAR-100) 과 아키텍처 (ResNet-18, ShuffleNetV2, SENet-18, EfficientNet, MobileNet, DenseNet 등) 에서 ReLU, GELU, Swish, Mish, SMU 등 기존 최첨단 활성화 함수들과 비교 실험을 수행했습니다.

• 성능 우위:
  • CIFAR-10: Swish-TC 가 ShuffleNetV2 (2.x) 에서 **94.27%**의 Top-1 정확도를 기록하여 ReLU 대비 2.34% 향상되었습니다.
  • CIFAR-100: Swish-TC 가 ResNet-18 에서 79.06% (비모수 고정 $\beta$ 사용 시) 의 정확도를 기록하여 ReLU 대비 4.12% 이상 향상되었습니다.
  • 전반적으로 Swish-T 계열이 대부분의 모델과 데이터셋에서 기존 함수들을 능가하거나 동등한 성능을 보였습니다.
• 학습 효율성:
  • 학습 속도: Swish-TA 와 고정 $\beta$ 를 사용한 Swish-TC/TB 는 학습 가능한 파라미터가 없거나 적어 역전파 시 메모리 사용량이 줄고 학습 속도가 빨랐습니다.
  • 수렴: DenseNet-121 에서 SMU 와 동급의 정확도 (94.95%) 를 달성하면서도 더 빠른 학습 시간을 보였습니다.
• Ablation Study:
  • ResNet-18 에서 $\beta$ 를 학습하지 않고 6.0 으로 고정했을 때 (Swish-TC-6), 오히려 학습된 $\beta$ 를 사용하는 경우보다 더 높은 정확도 (CIFAR-100 에서 79.06%) 를 달성했습니다. 이는 Swish-T 가 비모수 함수로도 매우 강력함을 시사합니다.

5. 의의 및 결론 (Significance)

• 강건한 활성화 함수: Swish-T 계열은 0 중심 (zero-centered) 특성을 유지하면서 음수 영역의 수용 필드를 제어하여 다양한 아키텍처에서 강건한 성능을 발휘합니다.
• 실용성: 학습 가능한 파라미터를 제거하거나 고정함으로써 모델의 복잡도를 낮추면서도 (경량화), 기존 파라미터 기반 함수보다 빠르고 안정적인 학습을 가능하게 합니다.
• 미래 방향: 특정 애플리케이션에 맞춰 함수를 최적화할 수 있는 가능성을 열었으며, 객체 감지 및 의미론적 분할 등 다른 태스크로의 확장 가능성을 제시했습니다.

요약하자면, 이 논문은 Swish 함수에 Tanh 편향을 추가하여 비선형성과 학습 안정성을 동시에 개선한 Swish-T 계열을 제안하고, 이를 통해 다양한 딥러닝 모델에서 더 높은 정확도와 빠른 학습 속도를 달성할 수 있음을 실험적으로 입증했습니다. 특히 학습 파라미터 없이도 고정된 상수로 뛰어난 성능을 낸다는 점이 가장 주목할 만한 기여입니다.