Geodesic Gradient Descent: A Generic and Learning-rate-free Optimizer on Objective Function-induced Manifolds
이 논문은 목적 함수에 의해 유도된 다양체의 기하학적 구조를 정확히 반영하고 학습률 설정 없이도 최적화 경로를 다양체 상에 유지하도록 설계된 새로운 최적화 알고리즘인 '측지선 경사 하강법 (GGD)'을 제안하며, 이를 통해 기존 Adam 알고리즘 대비 Fully Connected 네트워크와 CNN 에서 각각 MSE 와 교차 엔트로피 손실을 유의미하게 감소시키는 효과를 입증했습니다.