Sven: Singular Value Descent as a Computationally Efficient Natural Gradient Method
이 논문은 손실 함수를 개별 데이터 포인트의 합으로 분해하여 모의 역행렬을 기반으로 최소 노름 파라미터 업데이트를 수행하는 새로운 최적화 알고리즘 'Sven'을 제안하며, 이는 기존 자연 그래디언트 방법보다 계산 효율성이 높고 과매개변수화 영역에서 확장된 자연 그래디언트 강하법으로 해석될 수 있음을 보여줍니다.