기술 요약: 안정적인 이진 표현 학습을 위한 복합 활성화 함수

문제 제기

활성화 함수는 예측 정확도, 견고성 및 해석 가능성에 영향을 미치며 신경망 성능의 핵심 요소입니다. 헤비사이드 활성화 함수 ($x \mapsto \mathbb{I}(x \geq 0)$) 는 계산 효율성, 메모리 사용량 및 해석 가능성 측면에서 상당한 장점을 제공하여 스파이킹 신경망 (SNN), 이진 신경망 (BNN) 및 딥 헤비사이드 신경망 (DHN) 에 이상적이지만, 본질적으로 미분 불가능합니다. 이러한 미분 불가능성은 표준 경사 기반 최적화 기법의 사용을 방해합니다.

기존 해결책은 다음과 같은 치명적인 한계를 안고 있습니다:

1. 대리 경사 (예: Straight-Through Estimator - STE): 이러한 방법은 역전파 중 경사를 근사하지만 순방향과 역방향 전달 간의 불일치를 초래하여 종종 편향된 최적화와 비최적의 성능을 유발합니다.
2. 부드러운 대리 함수 (예: 시그모이드): 시그모이드와 같은 부드러운 함수로 헤비사이드를 대체하면 경사 하강법을 사용할 수 있게 되지만, 특히 이진 단계를 근사하기 위해 함수를 급격하게 만들 때 심각한 경사 소실 현상을 겪습니다. 이는 불안정한 학습 동역학으로 이어집니다.

핵심 과제는 이진 표현을 가능하게 하는 헤비사이드 함수를 밀접하게 근사하면서도 심층 네트워크 학습에 적합한 안정적이고 소실되지 않는 경사 흐름을 유지하는 활성화 함수를 설계하는 것입니다.

방법론: 두꺼운 꼬리 활성화 함수 (HTAF)

저자들은 다음과 같이 정의된 새로운 부드러운 복합 함수인 **두꺼운 꼬리 활성화 함수 (HTAF)**를 제안합니다:
$$\text{HTAF}(x|\alpha_0, \alpha_1) := \sigma(\alpha_1 \psi(\alpha_0 x))$$
여기서 $\sigma$는 시그모이드 함수, $\psi$는 쌍곡탄젠트 함수이며, $\alpha_0, \alpha_1 \in \mathbb{R}^+$는 하이퍼파라미터입니다.

이론적 특성

HTAF 의 설계는 이진 근사와 경사 안정성 간의 균형을 다음 두 가지 핵심 메커니즘을 통해 해결합니다:

1. 이진 근사: 이론적 분석 (명제 3.1) 은 적절한 $\alpha_0$와 $\alpha_1$ 선택을 통해 HTAF 가 원점의 임의로 작은 근방을 제외한 곳에서 헤비사이드 함수를 균일하게 근사함을 보여줍니다.
2. 두꺼운 꼬리 경사 행동:
   • 0 근처: $x=0$에서의 경사는 곱 $\alpha_0 \alpha_1$에 의해 결정되며 (정리 3.2b), 결정 경계 근처의 학습을 용이하게 하기 위해 큰 경사 크기를 허용합니다.
   • 꼬리 영역: 큰 $|x|$에 대해 경사는 $C(\alpha_0, \alpha_1)\exp(-2\alpha_0|x|)$로 감소합니다 (정리 3.2a). 특히 작은 $\alpha_0$를 선택함으로써 표준 스케일링된 시그모이드 함수에 비해 꼬리 영역에서의 경사 감소를 현저히 늦추어 조기 경사 소실을 방지합니다.
   • 파라미터 제어: 저자들은 $\alpha_0$가 꼬리 감소율을 제어하고 $\alpha_1$가 원점에서의 기울기를 제어함을 보여줍니다. 이러한 분리는 네트워크가 0 에서 큰 경사를 유지하면서도 큰 입력에 대해 경사가 너무 빠르게 소실되지 않도록 보장합니다.

적용 분야

본 논문은 HTAF 를 두 가지 주요 영역에 적용합니다:

1. 헤비사이드 활성화로 신경망 학습: HTAF 는 SNN, BNN 및 DHN 학습 중 헤비사이드 함수를 대체합니다. 이를 통해 대리 경사 없이 표준 경사 하강법을 사용한 엔드 투 엔드 최적화가 가능해집니다. 추론 시에는 HTAF 를 정확한 헤비사이드 함수로 되돌려 이산적이고 메모리 효율적인 활성화를 얻습니다.
2. 암시적 개념 병목 모델 (ICBMs): 저자들은 개념 병목 모델 (CBM) 의 확장인 ICBM 을 소개합니다. ICBM 에서 특징 추출기의 최종 층은 학습 중 HTAF 를 사용하여 이산적이고 거의 이진인 잠재 표현 (암시적 개념) 을 유도합니다. 추론 시에는 정확한 이진 특징을 생성하기 위해 헤비사이드 함수가 적용됩니다. 기존 CBM 과 달리 ICBM 은 사전 정의된 개념 주석이 필요하지 않으며, 대신 데이터에서 직접 개념을 학습한 후 이를 대형 언어 모델 (LLM) 이 해석합니다.

주요 기여

1. 새로운 활성화 함수: 0 근처에서는 큰 경사를 유지하면서 꼬리 영역에서는 느린 경사 감소를 보이는 헤비사이드 함수의 부드러운 근사인 HTAF 도입.
2. 이론적 정당화: HTAF 가 $O(\epsilon)$ 오차로 헤비사이드 함수를 근사할 수 있음을 증명하고, 파라미터 조정이 경사 감소를 제어하여 안정적인 심층 학습을 가능하게 하는 방식을 이론적으로 입증.
3. 대리 함수 없는 학습: HTAF 가 SNN, BNN 및 DHN 의 안정적인 엔드 투 엔드 경사 기반 학습을 가능하게 하여 예측 정확도와 안정성 측면에서 STE 및 스케일링된 시그모이드 (SS) 와 같은 기존 방법보다 우수함을 입증.
4. 해석 가능한 모델: 인간 주석 없이 HTAF 를 활용하여 클래스별 이산적 암시적 개념을 학습하고 경쟁력 있는 예측 성능을 달성하면서도 해석 가능성을 제공하는 ICBM 제안.

실험 결과

저자들은 다양한 아키텍처와 데이터셋에 걸쳐 광범위한 실험을 수행했습니다:

• 헤비사이드 네트워크 학습:
  • CIFAR-10 및 CIFAR-100에서 HTAF 로 학습된 SNN 은 STE 와 경쟁적인 성능을 달성했습니다 (CIFAR-10 에서 91.0% 대 91.2%).
  • BNN 및 DHN의 경우 HTAF 는 STE 와 스케일링된 시그모이드를 일관되게 능가했습니다. 예를 들어, CIFAR-100 에서 HTAF 로 학습된 BNN 은 46.1% 의 정확도를 기록한 반면, STE 는 45.2%, SS 는 31.3% 였습니다. 저자들은 SS 의 낮은 성능을 경사 소실로 귀인했습니다.
• 암시적 개념 병목 모델 (ICBMs):
  • 특징 추출기 (ResNet, WideResNet, ViT) 의 최종 활성화 함수를 HTAF 로 대체한 결과, CIFAR-10, CIFAR-100, CUB-200 및 Tiny-ImageNet 에서 예측 성능이 저하되지 않았습니다. 일부 경우 (예: WideResNet 을 사용한 CIFAR-100) 에는 성능이 향상되었습니다.
  • 클래스 특성: 분석 결과, ICBM 이 학습한 암시적 개념은 매우 클래스 특이적이며, 표준 모델과 달리 특정 클래스에 대해 활성화 값이 0 또는 1 근처에 집중되는 것을 확인했습니다.
  • 해석 가능성: LLM 을 사용하여 이진 잠재 노드를 해석한 결과, 데이터의 시각적 특성과 일치하는 "생태적 지위 (Ecomorphological Niche)", "부리 형태 (Bill Morphology)"와 같은 의미론적으로 의미 있는 개념을 성공적으로 식별했습니다.
• 대형 언어 모델 (LLMs):
  • Llama-2-7b 및 Qwen-3.5-9b 의 마지막 $k$개 층의 활성화 함수를 HTAF 로 대체하는 실험에서, HTAF 는 STE 보다 더 안정적인 대안을 제공하며 대체된 층의 수가 증가함에 따라 성능 저하가 더 작음을 보여주었습니다.

중요성과 주장

본 논문은 HTAF 가 이진 활성화로 신경망을 학습시키는 오랜 난제에 대한 원칙적인 해결책을 제공한다고 주장합니다. HTAF 가 헤비사이드 함수를 근사하면서도 꼬리 영역에서 경사 흐름을 유지한다는 점을 이론적 및 경험적으로 입증함으로써, 저자들은 다음을 가능하게 합니다:

• 안정적인 최적화: 대리 경사가 도입하는 편향이나 급격한 시그모이드 근사의 불안정성 없이 심층 이진 네트워크 학습.
• 효율성과 해석 가능성: 예측 정확도를 희생하지 않고 메모리 효율적인 이산 모델 (SNN, BNN) 과 해석 가능한 모델 (ICBM) 을 배포할 수 있는 능력.
• 데이터 기반 개념: 수동 또는 AI 생성 개념 주석의 비용과 신뢰성 문제를 우회하여 데이터에서 직접 개념을 학습하는 CBM 의 새로운 패러다임.

저자들은 HTAF 가 파라미터 조정을 통해 경사 소실을 완화하지만 완전히 제거하는 것은 아니며, ICBM 에서 최적의 개념 수를 결정하는 것은 향후 연구의 열린 방향이라고 지적합니다.