기술 요약: SmartMixed

문제 정의

활성화 함수(activation function)의 선택은 신경망 설계에서 매우 중요한 하이퍼파라미터입니다. 일반적인 관행은 출력층을 제외하고 모델의 모든 뉴런에 단일하고 균일한 활성화 함수(예: ReLU, Sigmoid 또는 Tanh)를 강제합니다. 이러한 방식은 구현을 단순화하지만, 각 뉴런이 네트워크 내에서의 특정 역할에 맞춰 자신의 기능적 동작을 적응하는 것을 방지하는 경직된 구조적 제약을 부과합니다.

학습 가능한 파라미터를 가진 학습형 활성화 함수나 가중 평균을 사용하는 혼합 기반 접근 방식과 같은 기존의 시도들은 종-종 상당한 계산 오버헤드를 초re합니다. 이러한 방법들은 추론 시 뉴런당 여러 개의 활성화 함수를 평가해야 하는 경우가 많아, 딥러닝에서 추구하는 효율성 이득을 저해합니다.

방법론: SmartMixed

본 논문은 추론 시의 계산 효율성을 유지하면서도 효율적인 뉴런별 활성화 함수 학습을 가능하게 하도록 설계된 새로운 2단계 훈련 전략인 SmartMixed를 제안합니다. 이 접근 방식은 각 뉴런이 사전 정의된 풀 $\mathcal{A} = \{\text{ReLU, Sigmoid, Tanh, Leaky\_ReLU, ELU, SELU}\}$로부터 최적의 활성화 함수를 선택할 수 있도록 합니다.

1단계: 선택적 활성화 학습 (Selective Activation Learning)

첫 번째 단계에서 뉴런은 후보 풀을 탐색하기 위해 Gumbel–Softmax 추정기를 기반으로 한 미분 가능한 하드-믹스처(hard-mixture) 메커즘을 활용합니다.

• 메커니즘: 레이어 $l$의 각 뉴런 $i$는 선호도를 인코딩하는 학습 가능한 로짓 벡터 $\boldsymbol{\alpha}_{l,i} \in \mathbb{R}^{|\mathcal{A}|}$를 유지합니다.
• 샘플링: 미분 가능성을 유지하면서 확률적 선택을 가능하게 하기 위해, 방법론은 straight-through (ST) Gumbel–Softмaf 추정기를 사용합니다. 로짓에 독립적인 Gumbel 노이즈가 추가되고 온도 $\tau$를 가진 소프트맥스(softmax)가 적용됩니다.
• 순전파 (Forward Pass): 출력은 후보 활성화들의 가중 합으로 계산됩니다. 그러나 arg max 연산(하드 이산화)으로 인해 합산 과정이 붕괴되며, 뉴런은 마치 하나의 특화된 함수를 선택한 것처럼 동작합니다.
• 역전파 (Backward Pass): stop-gradient 연산자는 선택이 소프트(연속적)하게 이루어진 것처럼 기울기가 전파되도록 보장하여, 표준 역전파를 통해 로짓 벡터 $\boldsymbol{\alpha}_{l,i}$를 최적화할 수 있게 합니다.

2단계: 혼합 네트워크 구축 (Mixed Network Construction)

사전 결정된 에포크(예: 50회) 이후, 네트워크는 두 번째 단계로 전환됩니다.

• 확정 (Commitment): 각 뉴런의 활성화 함수는 학습된 로짓 선호도에 따라 고정됩니다: $\hat{\sigma}_{l,i} = \arg\max_j \alpha_{l,i,j}$.
• 최적화: 동일한 활성화 함수를 선택한 뉴런들은 하나로 그룹화됩니다. 네트워크는 해당 활성화 함수에 특화된 벡터화된 연산을 사용하여 각 그룹을 처리하는 "혼합(mixed)" 네트워크로 재구성됩니다.
• 지속적 훈련: 네트워크는 고정된 활성화 선택을 바탕으로 추가 훈련(예: 350 추가 에포크)을 거칩니다. 이를 통해 네트워크는 확률적 선택의 불확실성 없이 가중치와 편향(bias)이 선택된 활성화 구성에 맞춰 전문화될 수 있도록 하여, 1단계에서 확립된 특정 기능적 다양성에 최적화됩니다.

주요 기여

1. 2단계 전략: 본 논문은 적응형(adaptive) 방식과 고정형(fixed) 활성화 방식 사이의 간극을 메우는 방법을 제시합니다. 이는 네트워크가 선택 단계 동안 최적의 뉴로별 활성화 함수를 학습하게 하고, 그 후 혼합 단계에서 이러한 선호도를 계산 효율적인 벡터화된 연산을 통해 활용할 수 있게 합니다.
2. 계층별 특화 발견: 분석 결과, 뉴런은 네트워크 내 위치에 따라 뚜렷하고 일관된 선호도를 보입니다. 초기 레이어는 ReLU와 Leaky_ReLU를 강력하게 선호하는 반면, 깊은 레이어로 갈수록 점진적으로 ELU와 SELU로 이동합니다. 이러한 패턴은 다양한 아키텍처 구성에서 일관되게 관찰되었습니다.
3. 효율성: 여러 개의 함수를 뉴런당 평가해야 하는 기존의 혼합 기반 방식과 달리, SmartMixed는 각 뉴런이 단일 고정 함수를 사용하는 최종 아키텍처를 결과로 도출하여 높은 추론 효율성을 유지합니다.

실험 결과

저자들은 18개의 서로 다른 피드포워드 신경망 아키텍처를 사용하여 MNIST 데이터셋에 대해 SmartMixed를 평가했습니다.

• 성능 비교: 테스트된 대부분의 아키텍처에서 SmartMixed는 단일 고정 최첨단 활성화 함수(ReLU, Sigmoid, Tanh, Leaky_ReLU, ELU, SELU)를 사용하는 모델들과 비교했을 때 일관되게 상위 3위 안에 들었습니다.
• 훈련 역학: 실험 결과, 2단계(혼합 네트워크 훈련)가 1단계보다 약 2~3%의 정확도 향상을 가져오는 것으로 나타났습니다. 이는 활성화 선택을 고정하는 것이 가중치 최적화를 위한 더 우수한 토대를 제공함을 시사합니다.
• 활성화 분포:
  • Sigmoid는 기울기 소실 문제로 인해 모든 레이어에서 일관되게 기피되었습니다.
  • 레이어 1: ReLU (37%)와 Leaky_ReLU (34%)가 지배적이었습니다.
  • 레이어 6 (가장 깊은 은닉층): SELU (64%)와 ELU (31%)가 지배적이었습니다.
• 연결성 분석: 연결 가중치의 히트맵은 ELU 뉴런으로부터 입력을 받는 뉴런들이 다른 활성화 함수 쌍에 비해 일관되게 더 양(+)의 평균 가중치를 나타냈음을 보여주었으며, 저자들은 이를 새로운 발견이라고 언급했습니다.

의의 및 주장

본 논문은 SmartMixed가 개별 뉴런이 네트워크 내의 위치적 역할에 따라 자신의 활성화 함수를 지능적으로 적응할 수 있음을 성공적으로 입증했다고 주장합니다. 이 연구의 의의는 다음과 같습니다:

• 기능적 다양성: 서로 다른 레이어가 신경망 내에서 서로 다른 기능적 요구사항을 가지며, 이것이 서로 다른 활성화 함수에 의해 가장 잘 충족된다는 경험적 증거를 제공합니다.
• 적응형 최적화: 정교한 아키텍처 선택(특히 활성화 함수 선택)이 배포 효율성을 희생하지 않으면서도, 수동으로 선택되는 하이퍼파라미터가 아닌 훈련 중에 학습될 수 있음을 보여줍니다.
• 일반화 가능성: 관찰된 레이어별 특화 패턴(초기 레이어는 ReLU/Leaky_ReLU 선호, 깊은 레이어는 ELU/SELU 선호)은 18개의 서로 다른 네트워크 토폴로지에서 일관되게 나타났으며, 이는 견고한 기저 원리가 존재함을 시사합니다.

저자들은 단일 고정 활성화 함수가 모든 아키텍처에 보편적으로 우위를 점하지는 못하지만, SmartMixed가 확립된 고정 함수들과 효과적으로 경쟁하면서도 뉴런별 특화의 이점을 제공하는 견고한 적응형 솔루션을 제공한다고 결론지었습니다.