기술 요약: 분수 차수 최적화 기법과 프랙탈 활성화 함수의 만남

문제 정의

신경망 학습은 종종 불규칙하고 다중 스케일 구조를 가진 손실 지형(loss landscapes)에 직면한다. 프랙탈 기하학은 이러한 거칠기를 설명하기 위한 수학적 프레임워크를 제공하며, 분수 미적분학(fractional calculus)은 비국소적 동작과 메모리 효과를 분석하기 위한 도구를 제공하지만, 이 두 분야는 신경망 연구 내에서 역사적으로 독립적으로 발전해 왔다.

이전 연구들은 프랙탈 활성화 함수(Weierstrass 및 Blancmange 유형의 급수에서 유도됨)가 네트워크에 다중 스케일 비선형 표현을 주입하여 표현력을 높일 수 있음을 입증했다. 이와 별개로, 분수 최적화 기법(fractional optimizers)은 비정수 차수 미분을 통합하여 1차 경사 하강법을 확장함으로써 메모리 효과와 비국소적 동작을 도입하는 방안이 제안되어 왔다. 그러나 이 두 구성 요소 사이의 상호작용, 즉 분수 메모리 원리로 설계된 최적화 기법이 프랙탈 구조를 사용하는 네트워크를 학습시키기에 적합한지에 대한 연구는 아직 탐구되지 않았다. 또한, 프랙탈 구조로 명시적으로 섭동(perturbation)된 목적 함수 지형에서 분수 최적화 기법의 효능 또한 체계적으로 평가되지 않았다.

방법론

본 연구는 프랙탈 활성화와 분수 최적화 사이의 상호작용을 조사하기 위해 2단계 실험 프레임워크를 채택한다.

1. 수학적 기초

저자들은 Weierstrass 유형 함수와 분수 미분 사이의 이론적 연결 고리를 구축한다. 이들은 거칠기 지수 $\gamma_H$를 가진 Weierstrass 유형 함수에 대해, $\nu < \gamma_H$인 차수의 분수 미분이 존재하며, 이 미분이 해당 함수를 감소된 지수를 가진 또 다른 Weierstrass 유형 함수로 매핑함을 입사한다. 이산 그륀발트-레트니크(Grünwald–Letnikov, G-L) 정식화는 이러한 미분을 이산화하는 계산 메커니즘으로 식별되며, 대수적으로 감쇠하는 계수를 가진 가중 이력 합(weighted history sum)을 제공한다. 이 커널은 메모리 기반 최적화의 기초가 되며, 절단된 Weierstrass 급수는 프랙탈 활성화의 기초가 된다.

2. 실험 설계

본 연구는 21개의 최적화 기법을 5개의 그룹으로 나누어 4개의 프랙탈 활성화 함수(및 표준 베이스라인)와 함께 두 가지 별도의 작업에 대해 평가한다.

• 작업 A: 제어된 표면 최적화 (Controlled Surface Optimization)

  • 표면: Ackley 및 Himmelblau 벤치마크 함수.
  • 변형: Weierstrass 유형 급수($P_J$)에 의해 섭동되어 제어된 다중 스케일 거칠기가 도입된 표준 형태 및 가산 변형 모델.
  • 지표: 최종 손실, 최적 손실, 성공률(알려진 최솟값 도달 여부), 최솟값까지의 거리, 실행 시간.
  • 설정: 최적화 기법 및 표면 변형당 40회의 반복 실행.

• 작업 B: 신경망 분류 (Neural Network Classification)

  • 데이터셋: OpenML의 10개 공개 분류 데이터셋 (예: Iris, Wine, Ionosphere, Vehicle Silhouettes).
  • 아키텍처: 피드포워드 다층 퍼셉트론 (MLP).
  • 활성화 함수: 4가지 선택된 프랙탈 활성화 함수 (Modulated Blancmange, Decaying Cosine, Modified Weierstrass–Tanh, Weierstrass–Mandelbrot $x+\sin$) 및 ReLU와 Tanh.
  • 설정: 각 구성(최적화 기법 $\times$ 활성화 함수 $\times$ 분수 차수)당 40회의 반복 실행.

3. 최적화 기법 군 (Optimizer Families)

21개의 최적화 기법은 다음과 같이 분류된다:

1. 고전적 베이스라인 (Classical Baselines): SGD, RMSprop, Adam, Adadelta.
2. Herrera 유형 (국소 스케일링, Local Scaling): 이력을 저장하지 않고 Caputo 영감을 받은 멱법칙 인자 $f_\nu(g_t)$를 사용하여 현재의 기울기를 재조정함 (예: FSGD, FAdam).
3. 메모리 기반 (Explicit History): 현재의 기울기를 유한한 이력을 가진 G-L 기울기 $g^{(\nu)}_t$로 대체하며, 이는 하강 안전장치와 노름 매칭(norm matching)에 의해 안정화됨 (예: MemoryFSGD, MemoryFAdam).
4. 적응형 메모리 기반 (Adaptive Memory-Based): 일반 기울기와 노름 매칭된 분수 기울기를 경계가 있는 안정성 및 손실 제어 혼합 계수 $\lambda_t$를 통해 결합함 (예: AdaptiveMemoryFSGD).
5. 관련 연구 (Related Work): AdaGL, FCSGD_GL, AOFGD 변형 등을 포함함.

주요 기여

1. 통합적 이론 프레임워크: 본 논문은 Weierstrass 유형 함수의 분수 미분 분석과 최적화 기법에 사용되는 이산 G-L 구성을 명시적으로 연결하여, 프랙탈 활성화와 분수 최적화가 동일한 다중 스케일 수학적 메커니즘의 두 가지 구현임을 입증한다.
2. 새로운 적응형 프레임워크: AdaptiveMemory 계열의 최적화 기법을 도입한다. 이 방법들은 분수 차수 $\nu$는 고정하되, 메모리 항의 기여도를 조절하기 위해 신뢰 계수 $\lambda_t$를 적응적으로 조절하며, 메모리가 신뢰할 수 없다고 판단될 때 고전적 최적화 기법으로 정확하게 축소될 수 있도록 한다.
3. 체계적인 경험적 비교: 프랙탈로 섭동된 표면과 신경망 분류 작업 모두에서 21개의 최적화 기법을 포괄적으로 평가하여, 다양한 조건 하에서 서로 다른 분수 메커니즘(국소 스케일링 vs 명시적 메모리)이 어떻게 작동하는지에 대한 세밀한 관점을 제공한다.

결과

표면 최적화 실험

• 최적화 기법 군의 우세: 기본 최적화 기법 군(SGD vs RMSprop/Adadelta)이 가장 지배적인 요인이었다. SGD 유형의 방법들이 분수 수정 여부와 관계없이 Ackley와 Himmelblau 모두에서 다른 방법들보다 우수한 성능을 보였다.
• 프랙탈 섭동의 효과:
  • Himmelblau의 경우, 가산적 프랙탈 섭동은 모든 방법의 신뢰성을 감소시켰으나, 적응형 차수 방법(AOFGD_Adam)과 Adam 기반 변형들에게 유리하게 작용했다.
  • Ackley의 경우, 섭동이 국소적인 저값 영역을 생성하여 메모리 기반 및 확률적으로 섭동된 SGD 변형(예: FCSGD_GL, MemoryFSGD)이 이를 활용할 수 있게 했으나, 평탄한 외곽 고원(plateau) 지역 때문에 전반적인 성공률은 낮게 유지되었다.
• 메모리 vs 스케일링: 제어된 표면에서 명시적 기울기 메모리(메모리 기반 그룹)는 특히 지속적인 진동 구조가 존재하는 섭동된 지형에서 신뢰할 만한 성능을 보였다.

신경망 분류 실험

• 프랙탈 활성화 함수: 프랙탈 활성화 함수는 10개 데이터셋 중 8개에서 상위 15위 안에 들었으며, 6개 데이터셋에서는 단일 최적 구성을 제공했다. 그러나 모든 최적화 구성에 걸쳐 평균을 내면, 표준 활성화 함수(ReLU, Tanh)가 프랙탈 활성화 함수보다 더 우수한 성능을 보이는 경우가 많았다. Modified Weierstrass–Tanh(아임계, subcritical)가 가장 일관된 프랙탈 활성화 함수였으며, 초임계(supercritical) Weierstrass–Mandelbrot 변형은 일반적으로 성능이 저조했다.
• 최적화 기법 성능:
  • Herrera 유형 (국소 스케일링): 이 방법들이 전반적으로 가장 강력했으며, 6개 데이터셋에서 유일한 최적 구성을 달성했고 7번째 데이터셋에서도 공동 1위를 차지했다. 이들은 무시할 수 있는 수준의 계산 비용으로 높은 성능을 제공했다.
  • 명시적 메모리 (GL-Memory): 이 방법들은 분류 작업에서 성능이 저조했으며, 종종 상위 15위 밖으로 밀려나고 높은 분산을 보였다. 저자들은 이를 결정론적 표면에서의 성공과 대조되는, 미니배치 훈련에서의 샘플링 노이즈 증폭 때문이라고 설명한다.
  • 적응형 메모리: 이 그룹은 일반 메모리 방법보다 개선된 강건성을 보였으며, 그룹 평균 순위가 더 높았고 두 개의 데이터셋(Climate-Model Simulation Crashes, Glass Identification)에서 승리했다.
• 상호작용: 최상의 결과는 보편적인 프랙탈 구성의 적용보다는 특정 쌍(예: Modified Weierstrass–Tanh와 Herrera 유형 최적화 기법)을 통해 달성되었다. 단일하게 최적인 분수 차수 $\nu$는 존재하지 않았으며, 승리한 구성들은 $\nu \in \{0.75, 1.25, 1.50\}$를 사용했다.

의의 및 주장

본 논문은 프랙탈 활성화와 분수 최적화가 훈련 문제의 서로 다른 부분(표현 vs 최적화 역학)에 대한 수학적으로 호환 가능한 수정이지만, 이들의 결로가 보편적인 대체재가 아닌 특정한, 식별 가능한 쌍을 통해서만 이득을 얻는다는 점을 주장한다.

• 메커니즘 vs 순위: 연구는 중요한 차이점을 강조한다: 명시적 기울기 메모리는 결정론적 다중 스케일 지형(표면 실험)에서는 유익하지만, 미니배치 훈련과 같은 확률적 환경에서는 노이즈를 증폭시켜 오히려 독이 된다.
• 실무적 지침: 저자들은 다음과 같이 권고한다:
  1. 활성화 함수, 최적화 공식, 분수 차수를 공동으로 선택할 것.
  2. 무시할 수 있는 비용과 정확한 고전적 한계를 갖는 Herrera 유형의 국소 스케일링을 기본 분수 확장 방식으로 사용할 것.
  3. 분수 차수를 튜닝 가능한 이산 하이퍼파라미터로 취급할 것.
  4. 명시적 기울기 메모리는 지속적인 다중 스케일 구조를 가진 저노이즈 환경을 위해서만 남겨두거나, 제안된 $\lambda_t$ 프레임워크를 통한 유계된 적응형 혼합을 통해서만 사용할 것.

본 연구는 통합된 프레임워크가 추가 연구를 위한 재현 가능한 기초를 제공하지만, 명시적 기울기 메모리의 무분별한 사용은 데이터에 의해 뒷받end되지 않으며, "최선의" 방법은 특정 데이터셋과 활성화-최적화 쌍에 따라 매우 크게 달라진다는 결론을 내린다.