Activation Function Design Sustains Plasticity in Continual Learning

이 논문은 continual learning 환경에서 모델의 적응 능력 (가소성) 저하를 완화하기 위해 활성화 함수의 형태와 포화 특성을 분석하여 새로운 비선형 함수를 제안하고, 다양한 과목과 강화학습 환경에서 그 유효성을 입증했습니다.

핵심

지치지 않는 뇌를 만드는 비법: "활성화 함수"의 새로운 디자인

이 논문은 인공지능 (AI) 이 새로운 것을 배우면서도 예전 지식을 잊어버리지 않고, 동시에 계속 유연하게 적응할 수 있게 만드는 방법을 연구했습니다.

기존의 AI 연구는 "한 번에 모든 것을 배우는 상황 (정적 데이터)"에 집중했지만, 이 논문은 **실제 세상처럼 끊임없이 변하는 상황 (지속적 학습)**에서 AI 가 왜 지쳐버리는지, 그리고 어떻게 해결할지 파헤쳤습니다.

핵심 내용을 일상적인 비유로 설명해 드리겠습니다.

---

1. 문제: AI 의 '학습 피로'와 '경직된 뇌'

AI 가 새로운 일을 배울 때 두 가지 문제가 생깁니다.

1. 과거 망각 (Catastrophic Forgetting): 새 것을 배우면 예전 것을 잊어버림.
2. 학습 능력 상실 (Loss of Plasticity): 예전 지식은 남아있는데, 새로운 것을 더 이상 배울 수 있는 능력 (유연성) 을 잃어버림.

이 논문은 두 번째 문제, 즉 **"AI 가 왜 새로운 것을 배우는 걸 멈추는지?"**에 주목했습니다.

비유:
imagine AI 를 새로운 요리 레시피를 배우는 요리사라고 생각해보세요.

• 기존 방식 (ReLU 등): 요리사가 새로운 재료를 만지면, 손이 굳어버려서 더 이상 칼질이나 볶음을 할 수 없게 됩니다. (학습 피로)
• 결과: 요리사는 예전 레시피는 기억하지만, 새로운 메뉴를 만들려고 하면 손이 떨려서 실패합니다.

2. 원인: '활성화 함수'라는 스위치의 결함

AI 의 뇌 (신경망) 안에는 수많은 '뉴런'이 있고, 그 뉴런들이 신호를 전달할 때 **활성화 함수 (Activation Function)**라는 문이 있습니다. 이 문이 어떻게 열리고 닫히느냐에 따라 학습이 결정됩니다.

기존에 쓰이던 문 (ReLU 등) 은 다음과 같은 문제가 있었습니다.

• 문 잠금 현상: 입력 신호가 일정 수준 이하로 떨어지면, 문이 완전히 잠겨버려서 신호가 통과하지 못합니다. (뉴런이 '죽음' 상태가 됨)
• 경직된 문: 문이 너무 딱딱해서, 환경이 바뀌어도 (예: 재료가 달라져도) 문이 유연하게 열리지 않습니다.

3. 해결책: '골디락스 존'과 부드러운 문

연구진은 이 문제를 해결하기 위해 두 가지 핵심 원칙을 발견했습니다.

① 골디락스 존 (Goldilocks Zone): "너무 세지도, 너무 약하지도 않게"

문 (뉴런) 이 열릴 때의 '반응력'이 중요합니다.

• 너무 약하면: 신호가 안 들어와서 뉴런이 죽습니다.
• 너무 강하면: 뇌가 너무 경직되어서 새로운 패턴을 받아들이지 못합니다.
• 적당할 때 (골디락스): **약간의 누수 (Leak)**가 있는 상태가 가장 좋습니다. 완전히 잠기지 않고, 아주 작은 신호라도 계속 통과시켜주는 '약간의 틈'이 있어야 AI 는 계속 학습할 수 있습니다.

비유:
마치 방음벽을 생각해보세요.

• 완전히 밀폐된 방 (기존 방식) 은 소리가 안 들리지만, 내부 공기가 썩어버립니다.
• 완전히 열린 창문은 소음이 너무 심해 집중이 안 됩니다.
• 가장 좋은 것: 살짝 열린 창문입니다. 아주 작은 바람 (신호) 이 들어와서 공기를 순환시키지만, 너무 큰 소음은 막아주는 상태. 이것이 바로 '골디락스 존'입니다.

② 부드러운 문 (Smooth Transition)

문 (신호 전달) 이 갑자기 '쾅' 하고 열리거나 닫히는 것보다, 부드럽게 구부러져서 열리고 닫히는 것이 더 좋습니다. 이렇게 하면 AI 가 갑작스러운 변화 (예: 날씨 변화, 새로운 환경) 에 충격을 덜 받고 적응할 수 있습니다.

4. 새로운 발명: "Smooth-Leaky"와 "Randomized Smooth-Leaky"

이 논문은 위 원칙을 적용한 새로운 문 (활성화 함수) 두 가지를 제안했습니다.

1. Smooth-Leaky (부드러운 누수 문):

   • 문이 완전히 잠기지 않고, 항상 아주 작은 틈 (음수 기울기) 을 유지합니다.
   • 문이 열릴 때 꺾이는 각이 날카롭지 않고 부드럽게 곡선으로 이어집니다.
   • 효과: AI 가 새로운 환경에 부딪혀도 문이 쉽게 열려서 계속 학습할 수 있습니다.

2. Randomized Smooth-Leaky (랜덤한 부드러운 문):

   • 위 문에 **약간의 '무작위성'**을 더했습니다.
   • 마치 문이 매번 아주 조금씩 다른 각도로 열리도록 해서, AI 가 다양한 상황에 유연하게 대처하도록 돕습니다.
   • 효과: AI 가 특정 패턴에 너무 익숙해져서 (과적합) 새로운 것을 못 배우는 것을 막아줍니다.

5. 실험 결과: 왜 이것이 중요한가?

연구진은 이 새로운 문들을 **이미지 분류 (Supervised Learning)**와 게임/로봇 제어 (Reinforcement Learning) 테스트에 적용했습니다.

• 결과: 기존 방식 (ReLU 등) 보다 새로운 것을 배우는 속도가 훨씬 빨랐고, 오래 학습해도 유연성을 잃지 않았습니다.
• 특히 RL(강화학습) 에서: 로봇이 새로운 지형 (예: 미끄러운 바닥, 무거운 짐) 을 만나도, 기존 방식은 금방 멈추거나 넘어졌지만, 새로운 방식을 쓴 로봇은 부드럽게 적응하며 계속 달렸습니다.

6. 결론: "적당한 유연함"이 핵심입니다

이 논문의 핵심 메시지는 매우 간단합니다.

"AI 를 더 똑똑하게 만들려면, 단순히 뇌의 크기를 키우는 게 아니라, 뉴런 사이의 '문 (활성화 함수)'을 더 똑똑하게 설계해야 합니다."

완벽하게 닫히지 않고, 너무 딱딱하지도 않은 **적당한 유연함 (Goldilocks Zone)**을 가진 문이 있어야 AI 는 평생 새로운 것을 배우며 성장할 수 있습니다.

이 연구는 AI 가 우리 삶처럼 끊임없이 변하는 세상에서, 지치지 않고 계속 적응하며 살아남을 수 있는 기초 기술을 제공한다는 점에서 매우 중요합니다.

기술 요약

1. 연구 배경 및 문제 정의 (Problem)

**지속적 학습 (Continual Learning, CL)**은 신경망이 새로운 지식을 습득하면서도 이전에 학습한 정보를 잊지 않도록 하는 과제입니다. 이 과정에서 두 가지 주요 문제가 발생합니다.

1. 재앙적 망각 (Catastrophic Forgetting): 이전에 학습한 태스크의 성능이 급격히 저하되는 현상.
2. 가소성 상실 (Loss of Plasticity): 모델이 과거의 능력을 유지하고 있더라도, 새로운 데이터나 환경 변화에 적응하는 능력이 점진적으로 감소하여 학습 자체가 멈추는 현상.

기존 연구들은 주로 재앙적 망각에 집중해 왔으나, 가소성 상실은 심층 강화학습 (Deep RL) 및 비정상 (Non-stationary) 데이터 환경에서 학습 능력을 저해하는 핵심 원인으로 부각되고 있습니다. 특히, 모델 크기와 최적화 기법을 튜닝하더라도 독립 동일 분포 (i.i.d.) 가 아닌 CL 환경에서는 활성화 함수 (Activation Function) 의 선택이 성능에 결정적인 영향을 미친다는 점이 주목받지 못했습니다.

핵심 문제: 활성화 함수의 비선형성 (Non-linearity) 특성이 가소성 상실의 원인이 되는지, 그리고 이를 완화할 수 있는 활성화 함수 설계 원칙은 무엇인지 규명하는 것입니다.

2. 방법론 (Methodology)

저자들은 활성화 함수의 속성 수준 (Property-level) 분석을 통해 가소성 유지에 기여하는 핵심 요인을 도출하고, 이를 기반으로 새로운 활성화 함수를 제안했습니다.

A. 핵심 분석 (Case Studies)

1. 음수 기울기의 '골디락스 존 (Goldilocks Zone)' 분석:

   • ReLU 계열 (Leaky-ReLU, RReLU 등) 과 부드러운 꼬리를 가진 함수 (Swish, GeLU 등) 의 음수 영역 기울기를 분석했습니다.
   • 결과: 음수 기울기가 너무 작으면 (0 에 가까움) '죽은 뉴런 (Dead Unit)'이 발생하고, 너무 크면 (1 에 가까움) 최적화 불안정성 (곡률 급증) 이 발생합니다.
   • 발견: 0.6 ~ 0.9 사이의 중간 정도의 음수 기울기가 가장 높은 가소성과 적응 능력을 보였습니다. 이를 '골디락스 존'이라고 명명했습니다.

2. 포화 (Saturation) 및 충격 (Shock) 회복력 분석:

   • 데이터 분포의 급격한 변화 (스케일링 충격) 를 가했을 때, 활성화 함수가 얼마나 빠르게 기울기를 다시 열어 학습을 재개하는지 측정했습니다.
   • 결과: 음수 영역에서 **영이 아닌 미분값 (Non-zero derivative floor)**을 유지하는 함수 (Leaky-ReLU 등) 가 포화 상태에서 빠르게 회복하는 반면, ReLU 나 Sigmoid/Tanh 와 같이 기울기가 0 이 되는 함수는 회복이 어렵거나 불가능했습니다.
   • Dead-Band Width (DBW): 기울기가 임계값 이하가 되는 입력 범위가 넓을수록 포화 회복 실패율이 높았습니다.

B. 제안된 활성화 함수

위 분석 결과를 바탕으로 두 가지 새로운 활성화 함수를 제안했습니다.

1. Smooth-Leaky:

   • Leaky-ReLU 의 '뾰족한 (Kinked, C0)' 연결부를 매끄러운 (C1, 연속적인 1 차 미분) 곡선으로 대체했습니다.
   • 음수 영역의 기울기 (α) 를 고정하여 '골디락스 존'을 유지하면서도, 0 부근에서의 미분 불연속성을 제거하여 최적화 안정성을 높였습니다.
   • 수식: $f(x) = \alpha x + (1-\alpha)x \cdot \sigma(\frac{cx}{p})$

2. Randomized Smooth-Leaky (Rand. Smooth-Leaky):

   • Smooth-Leaky 에 무작위성을 도입했습니다. 순전파 (Forward pass) 시 음수 기울기 $r$을 $[l, u]$ 구간에서 균일 분포로 샘플링합니다.
   • 추론 시에는 평균값 $(l+u)/2$를 사용합니다.
   • 이는 특정 기울기에 과적합되는 것을 방지하고, 다양한 환경 변화에 대한 강건성 (Robustness) 을 높입니다.

3. 주요 기여 (Key Contributions)

1. 활성화 함수와 가소성의 인과 관계 규명: CL 환경에서 활성화 함수의 선택이 모델의 적응 능력 (가소성) 을 결정하는 주요 레버임을 입증했습니다.
2. 설계 원칙 제시:
   • 음수 영역에서 영이 아닌 미분값 (Non-zero floor) 유지.
   • 음수 기울기를 **0.6~0.9 의 '골디락스 존'**으로 제한.
   • 원점에서의 C1 연속성 (매끄러운 전이) 확보.
3. 새로운 활성화 함수 제안: 위 원칙을 충족하는 Smooth-Leaky와 Randomized Smooth-Leaky를 개발하여, 추가적인 모델 용량이나 태스크 특화 튜닝 없이도 가소성을 유지하는 경량 솔루션을 제공했습니다.
4. 광범위한 벤치마크 평가:
   • 지도 학습: Permuted MNIST, CIFAR 5+1, Continual ImageNet 등 5 가지 CL 벤치마크.
   • 강화학습 (RL): MuJoCo 환경 (HalfCheetah, Hopper, Walker2d, Ant) 에서의 비정상적 환경 변화에 대한 적응성 평가.

4. 실험 결과 (Results)

A. 지도 학습 (Supervised Continual Learning)

• 성능: 제안된 Rand. Smooth-Leaky는 5 가지 벤치마크에서 ReLU, Leaky-ReLU, Swish, GeLU 등 기존 최상위 활성화 함수들을 일관되게 능가했습니다.
  • 특히 어려운 태스크 (CIFAR 5+1, Continual ImageNet) 에서 ReLU 대비 압도적인 성능 향상 (예: CIFAR 5+1 에서 ReLU 4.76% vs Rand. Smooth-Leaky 57.01%) 을 보였습니다.
• 통계적 유의성: Rand. Smooth-Leaky 는 다음 최상위 모델 (Smooth-Leaky) 과 비교하여 통계적으로 유의미한 성능 향상을 보였습니다.

B. 강화학습 (Continual Reinforcement Learning)

• 플라스틱 스코어 (Plasticity Score): Rand. Smooth-Leaky 는 평균 플라스틱 스코어 (0.3875) 에서 가장 높은 성능을 기록했습니다. 이는 모델이 환경 변화 후에도 새로운 데이터를 효과적으로 학습할 수 있음을 의미합니다.
• 일반화 격차 (Generalization Gap): Rand. Smooth-Leaky 는 학습 데이터에 대한 적응 (Trainability) 과 새로운 조건에 대한 전이 (Generalization) 사이의 균형을 잘 유지했습니다. 반면, Sigmoid 는 안정성은 좋으나 학습 용량이 부족했고, ReLU 계열은 가소성 상실로 인해 성능이 저하되었습니다.

C. 스트레스 테스트 (Stress Protocol)

• 입력 스케일링 충격 (Scaling Shock) 에 대한 회복 실패율 (Non-recovery rate) 을 측정한 결과, 제안된 함수들은 0~5% 미만의 실패율을 보이며, 기존 함수들 (ReLU, Sigmoid 등) 에 비해 포화 상태에서 회복하는 능력이 월등히 뛰어났습니다.

5. 의의 및 결론 (Significance & Conclusion)

이 논문은 지속적 학습에서 가소성 상실을 해결하기 위한 새로운 패러다임을 제시합니다.

• 경량 솔루션: 모델 구조를 변경하거나 메모리 버퍼 (Experience Replay) 를 늘리는 복잡한 방법 없이, 활성화 함수 설계만으로 가소성을 유지할 수 있음을 증명했습니다.
• 범용성: 지도 학습과 강화학습이라는 서로 다른 두 영역에서 일관된 효과를 입증하여, CL 문제 해결을 위한 도메인 일반화 (Domain-General) 접근법임을 보여줍니다.
• 실용성: 제안된 함수는 기존 모델에 'Drop-in'으로 쉽게 적용 가능하며, 추가적인 계산 비용이나 하이퍼파라미터 튜닝 부담을 최소화하면서도 성능을 극대화합니다.

결론적으로, 신중하게 설계된 활성화 함수는 지속적 학습 시스템이 시간이 지남에 따라 새로운 지식을 습득하고 환경 변화에 적응할 수 있도록 하는 핵심 요소이며, 이는 향후 CL 및 RL 연구의 중요한 방향성을 제시합니다.