기술 요약: PsiLogic – Adam을 위한 카오스 인지형 능동 캔슬레이션(Chaos-Aware Active Cancellation)

1. 문제 정의

Adam 및 AdamW와 같은 적응형 옵티마이저는 딥러닝 실무에서 지배적으로 사용되지만, 훈련 단계와 관계없이 정적인 업데이트 규칙을 적용합니다. 이들은 카오스 초기 단계(큰 노이즈가 섞인 그래디언트로 특징지어짐)와 안정적 수렴 단계(작고 안정적인 그래디언트)를 구분하지 못합니다. 표준 Adam은 이러한 레짐(regime)들을 구조적으로 유사한 업데이트로 처리하며, 이는 초기화 시의 불안정성이나 수렴 근처에서의 부적절한 댐핑(damping)으로 이어질 수 있습니다. 수동 학습률(LR) 웜업은 흔히 사용되는 휴리스틱이지만, 모델의 실제 혼란 상태가 아닌 수동으로 조정된 스케줄에 의존한다는 한계가 있습니다.

2. 방법론: PsiLogic

PsiLogic($\Psi$Logic)은 torch.optim.Adam의 드롭인 대체제로 제안되었습니다. 이 방식은 "카오스 탐지기(chaos detector)"에 의해 게이팅되는 **동적 능동 캔슬레이션 항(Dynamic Active Cancellation Term)**을 통해 표준 Adam 업데이트를 확장합니다.

핵심 메커니즘

옵티마이저는 통합 붕괴 계수($\delta_t$)를 조절하는 스칼라 카오스 웜업 가중치($w_t$)와 카오스 신호($chaos_t$)를 도입합니다.

1. 카오스 탐지기 (Chaos Detector):

   • 스케일 정규화된 그래디언트 노름을 계산합니다: $g_{nt} = \|g_t\|_2 / \sqrt{\text{numel}}$.
   • 두 개의 지수 이동 평균(EMA)을 유지합니다:
     • fast: 짧은 호라이즌 (~10 스텝, $\alpha=0.1$).
     • slow: 긴 호라이즌 (~100 스텝, $\alpha=0.01$).
   • 비율 $r_t = \text{fast}_t / (\text{slow}_t + \epsilon)$를 계산합니다.
   • 카오스 신호는 다음과 같이 정의됩니다:
     $$chaos_t = \tanh(\text{slow}_t) \cdot (1 + 0.5 \cdot \tanh(\text{relu}(r_t - 1)))$$
   • 논리: fast가 slow를 크게 상회할 때(그래디언트 변동성이 급증함을 의미), 신호가 활성화됩니다. 훈련이 안정됨에 따라($\text{slow}_t \to 0$), 신호는 사라집니다.

2. 통합 붕데 및 업데이트 규칙 (Unified Decay & Update Rule):
   교차 항의 과도한 댐핑을 피하기 위해, PsiLogic은 가중치 붕괴(weight decay)와 캔슬레이션을 별도로 적용하는 대신 단일 결합 붕괴 계수 $\delta_t$를 계산합니다:
   $$\delta_t = \eta\lambda + w_t \cdot \min(\tilde{c}_t, c_{max})$$
   여기서 $\tilde{c}_t$는 카오스 신호, 그룹별 증폭 계수($P_k$), 그리고 이득 파라미터($\gamma$)에 기반한 원시 캔슬레이션 분율이며, $c_{max}$는 휘발적인 초기화 단계에서의 수축을 제한합니다.

   파라미터 업데이트는 다음과 같습니다:
   $$\theta_{t+1} = \theta_t \cdot (1 - \delta_t) - \eta \cdot \frac{\hat{m}_t}{\sqrt{\hat{v}_t} + \epsilon}$$
   이 구조는 **암시적 웜업(implicit warmup)**을 제공합니다: 댐핑은 그래디언트가 불안정할 때 강하게 작용하고, 모델이 수렴함에 따라 자동으로 약화되며, 외부 스케줄 없이도 작동합니다.

3. 선택적 기능:

   • 그래디언트 중앙화(GC) 및 적응형 그래디언트 클리핑(AGC): 안정성을 더욱 향상시키기 위해 통합되었습니다.
   • 양자 붕괴(Quantum Decay): 카오스 게이트가 꺼져 있을 때($s_t=0$)만 활성화되는 선택적인 그래디언트 의존 정규화 항입니다.

3. 주요 기여

본 논문은 세 가지 주요 기여를 설명합니다:

1. PsiLogic 옵티마이저: 통합 붕괴, 선택적 GC/AGC, 적응형 그룹별 증폭 기능을 갖추고 Adam을 기반으로 구축된 카오스 게이팅 능동 캔슬레이션 메커니즘입니다.
2. FairBench: 재현 가능하고 편향이 완화된 평가 프로토콜입니다. 기존의 비교 방식들이 종종 하나의 공유된 학습률을 사용하는 것과 달리, FairBench는 옵티마이저별 학습률 스윕(7개의 로그 간격 레이트)을 수행하며, 공정한 비교를 위해 동일한 시드당 동일한 초기화를 사용합니다. 또한 통계적 유의성을 위해 Welch t-검정을 채택합니다.
3. 참조 벤치마크: 네 가지 도메인(NLP, ViT, ResNet, Diffusion)에 대해 NVIDIA H100 80GB 환경에서 수행된 종합적인 평가와 함께 코드, 원시 CSV, 학습 곡선을 모두 오픈 소스로 공개합니다.

4. 실험 결과

3개의 시드, 2000 스텝(bf16 AMP, 배치 크기 64)에 걸쳐 평가되었습니다:

• NLP (TinyStories): PsiLogic은 7.79 ± 0.18의 퍼플렉시티를 달성하여, AdamW(8.17 ± 0.08, $p=0.049$)를 유의미하게 앞질렀습니다.
• ViT (CIFAR-100): PsiLogic은 0.244 ± 0.006의 Top-1 정확도에 도달했으며, 이는 AdamW(0.223 ± 0.002, $p=0.015$)보다 유의미하게 우수한 수치입니다.
• ResNet (Tiny ImageNet): PsiLogic은 0.222 ± 0.001을 달성하여 AdamW(0.219 ± 0.005)보다 수치적으로 개선되었으나, 통계적으로 유의미하지는 않았습니다 ($p=0.44$). 다만, 표준 Adam(0.172 ± 0.004, $p=0.001$)보다는 유의미하게 뛰어난 성능을 보였습니다.
• Diffusion (CelebA 64²): 검증 MSE는 Adam/AdamW와 통계적으로 대등했습니다 ($p=0.49$).
• 오버헤드: 피크 GPU 메모리는 유사합니다. 그러나 트랜스포머 중심 작업(예: ViT에서 1.79배)에서 실행 시간 오버헤드는 1.2–1.8배에 달합니다. 저자들은 이를 이론적 비용이 아닌 구현상의 한계(순차적 PyTorch 연산, 융합된 CUDA 커널의 부재) 때문이라고 설명합니다.

5. 의의 및 주장

본 논문은 PsiLogic를 수동 웜업 스케줄 없이 훈련 안정성에 암시적으로 적응하는 방법으로 포지셔ning 합니다.

• 암시적 웜업: 카오스 항은 동적 댐퍼 역할을 하여, 휘발적인 초기 단계 동안 파괴적인 업데이트를 억제하고 모델이 안정화됨에 따라 점차 사라집니다.
• 겸허한 주장: 저자들은 보편적인 우위를 주장하지 않음을 명시적으로 밝힙니다. 그들은 다음과 같은 사항을 보고합니다:
  • ResNet 또는 Diffusion 작업에서 AdamW 대비 유의미한 이득이 없음.
  • 현재 구현에서 상당한 단계별 시간 오버헤드 발생.
  • 적은 시드 수(3개) 및 짧은 훈련 예산(2000 스텝)에 따른 한계점, 그리고 아직 외부 그룹에 의해 결과가 재현되지 않았음을 언급함.
• 재현성: 논문은 모든 원시 데이터를 공개하고 유의미하지 않거나 부정적인 결과까지 인정함으로써, FairBench를 통해 공정한 옵티마이저 평가의 기준을 세우고자 하는 투명성을 강조합니다.

결론적으로, PsiLogic는 그래디언트 변동성에 기반하여 유효 스텝 사이즈를 동적으로 조정함으로써 특정 도메인(NLP, ViT)에서 수렴성과 안정성을 개선할 수 있는 카오스 인지형 댐핑 항의 효용성을 입증하며, 이는 기존의 파라미터 프리(parameter-free) 또는 하이퍼그래디언트(hypergradient) 방법들과 상호 보완적인 접근법을 제시합니다.