🤖 machine learning

The Loss Does Not See the Basis, but Adam Does

이 논문은 Adam이 인수 분해된 모델에서 저계수 해(low-rank solutions)를 회복하지 못하는 원인이 저계수 보간치에 대한 암묵적 편향을 보존하는 성질인 게이지 등변성(gauge equivariance)의 결여에 있음을 입증하며, 이 성질은 경사 하강법 및 기타 공유 스칼라 최적화 알고리즘들이 보유하고 있는 특성이다.

원저자: Devender Singh

게시일 2026-08-06

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Devender Singh

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 숫자들이 격자 형태로 배열된 거대하고 지저한 퍼즐을 풀으려고 노력하고 있다고 상상해 보세요. 인공지능의 세계에서 이것은 "행렬 분해(matrix factorization)"라고 불립니다. 당신은 거대하고 복잡한 그림(데이터)을 가지고 있으며, 이 그림을 재현하기 위해 곱했을 때 원래의 그림을 만들어내는 두 개의 더 작고 단순한 카드 더미로 분해하고 싶어 합니다. 목표는 그림에 완벽하게 들어맞으면서도 가능한 가장 '단순한' 카드 더미를 찾는 것입니다. 이는 더 단순한 해결책이 패턴을 학습하는 대신 노이즈를 암기하는 함정을 피하게 해주어, 실제 세상에서 더 잘 작동하기 때문입니다.

이 퍼즐을 풀기 위해 컴퓨터는 "경사 하강법(gradient descent)"이라는 방법을 사용하는데, 이는 마치 등산객이 항상 내리막길로 발을 내디디며 골짜기의 바닥을 찾아가는 것과 같습니다. 오랫동안 과학자들은 만약 아주 작은 카드들로부터 시작한다면, 이 등산객이 자연스럽게 가장 단순한 해결책을 찾아낸다는 사실을 발견했습니다. 하지만, "Adam"(인기 있는 AI 도구)이라 불리는 더 빠른 새로운 등산객은 종종 길을 잃고, 단순한 해결책이 존재함에도 불구하고 복잡하고 지저분한 해결책을 찾아내곤 합니다. 큰 의문은 이것이었습니다: 왜 빠른 등산객은 단순한 경로를 찾지 못하며, 이를 느려지게 만들지 않고 어떻게 고칠 수 있을까?

"손실 함수는 기저를 보지 못하지만, Adam은 본다(The Loss Does Not See the Basis, But Adam Does)"라는 제목의 이 논문은 왜 이런 일이 발생하는지를 조사합니다. 저자는 문제가 단순히 속도에 관한 것이 아니라, 등산객이 세상을 어떻게 보느냐에 관한 것임을 발견했습니다. 이 퍼즐에는 숨겨진 대칭성이 있습니다: 당신은 카드 더미를 여러 방식으로 회전시킬 수 있으며, 그렇게 해도 최종 그림은 정확히 동일하게 유지됩니다. 지구본을 돌리는 것과 비슷합니다. 대륙은 움직이지만 지도는 여전히 같습니다. 전통적인 등산객(경사 하강법)은 특정 회전을 무시하고 단순히 골짜기의 모양만을 바라보며 자연스럽게 가장 단순한 해결책을 찾아냅니다. 하지만 빠른 등산객(Adam)은 카드의 특정 회전에 정신이 팔립니다. 그것은 수학적으로 동일함에도 불구하고, 한 방향은 "특별"하고 다른 방향은 "다르다"고 취급합니다. 이러한 주의 산만함이 단순한 저계수(low-rank) 해결책 대신 복잡한 고계수(high-rank) 해결책을 선택하게 만듭니다.

저자는 이 회전 대칭성을 존중하는 모든 옵티마이저(퍼즐을 푸는 도구)는 자연스럽게 단순한 해결책을 찾아내는 반면, 대칭성을 깨뜨리는 옵티마이저는 복잡한 해결책에 갇히게 된다는 것을 증명했습니다. 그들은 9가지 서로 다른 옵티마이저를 테스트했고 명확한 차이를 발견했습니다: "대칭을 존중하는" 것들(경사 하강법, Muon, 그리고 변형된 Adam)은 0.000006만큼 낮은 오류를 가진 해결책을 찾아낸 반면, "대칭을 깨뜨리는" 것들(표준 Adam 및 RMSProp)은 0.42 이상의 오류를 보였습니다—이는 엄청난 차이입니다.

이것이 단지 우연이 아님을 증명하기 위해, 그들은 Adam을 혼란스럽고 회전을 싫어하는 모드에서 회전에 친화적인 모드로 부드럽게 변화시키는 "다이얼"을 만들었습니다. 그들이 다이얼을 돌림에 따라 해결책은 더 단순하고 정확해졌으며, 이는 Adam이 데이터를 바라보는 특정한 방식이 바로 문제의 원인임을 보여주었습니다. 그들은 심지어 지구의 초분광 이미지와 같은 실제 데이터에서도 테스트를 진행했고, 회전에 친화적인 방법들이 표준 Adam에 비해 오류를 약 44% 줄였다는 것을 발견했습니다.

흥미롭게도, 이 논문은 "회전 친화적"인 것이 항상 마법 같은 해결책은 아니라는 점도 발견했습니다. 만약 퍼즐 자체가 무작위 노이즈(스펙트럼 꼬리)가 많은 지저분한 상태라면, 매우 빠르고 회전에 친화적인 등산객인 Muon은 때때로 너무 의욕이 앞서 노이즈까지 학습해 버리는 반면, 느리고 꾸준한 등산객(경사 하강법)이 더 나은 성과를 냅니다. 따라서 최적의 도구는 퍼즐의 구체적인 성격에 따라 달라집니다.

마지막으로, 저자는 이것이 트랜스포머(Transformer)라고 불리는 현대 AI 모델(챗봇의 두뇌)에 어떤 영향을 미치는지 살펴보았습니다. 그들은 만약 두 개의 동일한 AI 모델을 같은 수학적 구조를 가졌지만 내부 카드를 다르게 회전시킨 상태로 시작한다면, 표준 Adam 옵티마이저가 단 한 걸음 만에 두 모델을 완전히 다르게 행동하게 만든다는 것을 발견했습니다. 비록 동일한 함수로서 시작했음에도 불구하고, 그들은 완전히 다른 내부 구조를 갖게 됩니다. 이는 옵티마이저의 선택이 단순한 튜닝 세부 사항이 아니라, AI가 배우는 해결책의 버전을 근본적으로 결정한다는 것을 의미합니다. 이 논문은 최상의 단순한 결과를 얻기 위해서는 숫자를 배치하는 특정한 방식에 현혹되는 것이 아니라, 수학의 숨겨진 대칭성을 존중하는 옵티마이저가 필요하다고 결론짓습니다.

기술 요약: "손실 함수는 기저를 보지 못하지만, Adam은 본다"

문제 정의
인수 분해된 모델( $W = UV^\top$ )에 대한 경사 하강법(GD)은 저계수(low-rank) 솔루션으로 향하는 암묵적 편향을 보이는 것으로 알려져 있으며, 과소 결정된 행렬 센싱 작업에서 최소 핵 노름(minimum-nuclear-norm) 보간치를 수렴하는 경우가 많습니다. 그러나 Adam과 같은 적응형 옵티마이저는 유사한 훈련 손실을 달성함에도 불구하고, 종종 이러한 저계수 구조를 회복하는 데 실패하여 더 높은 유효 계수(effective rank)와 더 나쁜 일반화 성능을 가진 솔루션을 산출합니다. 최근 연구들이 적응형 방법론이 기저 의존적(좌표 회전에 민감함)이라는 점을 밝혀냈으나, 이 의존성이 인수 분해된 모델의 저계수 귀납적 편향을 깨뜨리는 구체적인 메커니즘은 규명되지 않았습니다. 본 논문은 다음 질문을 다룹니다: 옵티마이저가 저계수 편향을 보존할지 아니면 파괴할지를 결정하는 기준이 존재하는가, 그리고 이 기준이 배치된 방법론들을 그 회복 성능에 따라 분류할 수 있는가?

방법론 및 이론적 프레임워크
저자는 옵티마이저를 분류하는 핵심 기준으로 **게이지 불변성(gauge equivariance)**을 도입합니다. 손실 함수 $L(U,V) = f(UV^\top)$ 는 게이지 대칭성을 가집니다: 즉, 임의의 직교 행렬 $Q \in O(k)$ 에 대하여 변환 $(U,V) \mapsto (UQ, VQ)$ 에 대해 불변입니다. 이 대칭성은 잠재 요인 기저(latent factor bases)를 회전시켜도 모델의 예측이 변하지 않음을 의미합니다.

업데이트 규칙의 분류:
- 불변 옵티마이저 (Equivariant Optimizers): 옵티마이저가 업데이트 규칙이 게이지 변환과 교환(commute)될 때 게이지 불변적이라고 합니다. 본 논문은 메모리가 없는(memoryless) 업데이트 규칙이 $H(GG^\top)G$ 형태의 그람 결정 좌측 전처리자(Gram-determined left preconditioner) 형태를 취할 때만 불변임을 증명합니다. 여기서 $H$ 는 오직 그람 행렬 $GG^\top$ 에만 의존합니다.
- 비불변 옵티마이저 (Non-Equivariant Optimizers): 기울기나 초기 상태에 고정된 요소별 비선형성을 적용하는 옵티마이저(예: 표준 Adam, RMSProp, Lion, SignSGD)는 이 대칭성을 깨뜨립니다. 구체적으로, Adam의 좌표별 이차 모멘트 적응은 직교 회전과 교환되지 않으며, 이는 초기화 시 곱 행렬 $W$ 가 회전에 따라 즉각적으로 변하게 만드는 "첫 단계 결함(first-step defect)"을 초래합니다.
전이 정리 (Transfer Theorem):
저자는 공유 스칼라 전처리자(모든 좌표에 대해 단일 스칼라 분모를 사용하는 것)를 가진 옵티마이저가 재스케일링된 시간 매개변수화 하에서의 경사 흐름(gradient flow)과 대응함을 보여주는 전이 정리를 확립합니다. 결과적으로, 경사 흐름의 저계수 편향에 관한 이론적 결과들(예: Gunasekar et al., 2017; Li et al., 2021)은 이러한 불변 옵티마이저들에 직접 적용될 수 있습니다.
스펙트럼 스케줄 (Spectral Schedule):
불변성은 저계수 매니폴드에 접근하기 위한 필요조건이지만, 저계수 회복을 위한 충분조건은 아닙니다. 불변 클래스 내에서의 구체적인 동작은 스펙트럼 스케줄(특이값이 성장하는 방식)에 의해 결정됩니다. 공격적인 균등 성장 스케줄(Muon과 같은 방식)은 순수 저계수 타겟에 대해서는 거의 정확한 회복을 달ern할 수 있지만, 타겟에 상당한 "스펙트럼 꼬리(spectral tail)"(저계수 부분 외의 에너지)가 있는 경우 실패할 수 있는 반면, 탐욕적(greedy) 스케줄(GD와 같은 방식)은 이러한 꼬리를 억제합니다.

주요 기여 및 실험

옵티마이저 갤러리 비교: 저자는 과소 결정된 행렬 센싱 작업( $40 \times 40$ , rank 3, $m=2 \times \text{dof}$ )에서 완전한 보간이 이루어질 때까지 9가지 옵티마이저를 평가했습니다.
- 결과: 명확한 분리가 나타났습니다. 불변 방법론(GD, Scalar-Adam, Muon, Shampoo)은 회복 오차 $\le 0.286$ 을 달성했습니다. 좌표별 방법론(Adam, RMSProp, Lion, SignSGD, Adafactor)은 저계수 끌개(attractor)에 도달하는 데 실패하여 오차가 $\ge 0.42$ 로 나타났습니다.
- Muon의 성능: Muon은 순수 저계수 타겟에 대해 거의 완벽한 회복( $6.8 \times 10^{-6}$ 오차)을 달성했으나, 타겟의 스펙트럼 꼬리가 증가함에 따라 급격히 성능이 저하되었으며, 약 4%의 꼬리 에너지를 기점으로 GD의 성능 수준으로 교차 하락했습니다.
"다이얼(Dial)" 실험: Adam의 실패 원인을 격리하기 위해, 표준 Adam( $p=1$ , 좌표별)과 Scalar-Adam( $p=0$ , 공유 스칼라) 사이를 보간하는 일변수 패밀리 옵티마이저인 Adam- $p$ 를 구축했습니다.
- 결과: $p$ 가 1에서 0으로 감소함에 따라 회복 오차와 유효 계수가 단조롭게 개선되었습니다. 이를 통해 전처리자의 **좌표별 이방성(coordinate-wise anisotropy)**이 모멘텀이나 적응성과 무관하게 저계수 편향을 파괴하는 구체적인 메커니즘임을 확인했습니다.
어텐션 헤드 분석: 본 논문은 트랜스포머의 개별 어텐션 헤드들이 동일한 게이지 대칭( $W_Q^\top W_K$ )을 공유함을 보여줍니다.
- 결과: 동일한 함수를 가지나 기저가 다른 두 개의 게이지 동등한 트랜스포머 복사본을 Adam으로 훈련시켰을 때, 단 한 단계 만에 구조적으로 분리되어 헤드 불변량( $W_Q^\top W_K$ )에서 56%의 상대적 프로베니우스 거리가 발생했습니다. 불변 옵티마이저(SGD, Scalar-Adam)는 기계 정밀도 수준에서 구별 불가능한 상태를 유지했습니다. 저자는 정렬 기술(permutation re-basin 등)이 게이지를 일치시킬 수는 있지만, 불변량 자체가 달라진 경우 이를 조정할 수는 없다고 언급합니다. 즉, 기저 의존적 훈련은 모델 병합에 필요한 합의를 제거하며, 어떤 회전으로도 분리된 불변량 사이의 간극을 메울 수 없습니다.
실제 환경 검증: 매칭된 훈련 손실 조건에서 하이퍼스펙트럴 이미지 완성 작업(Indian Pines, Pavia University)을 수행했을 때:
- 낮은 샘플 밀도에서 GD는 Adam보다 43~44% 낮은 홀드아웃 오차를 기록했으며, 이는 유의미하게 낮은 유효 계수에 대응합니다.
- Adam의 테스트 오차는 더 깊게 피팅될수록(스펙트럼 꼬리를 과적합할수록) 증가한 반면, GD의 오차는 감소했습니다.
알고리즘 수선 (Algorithm Repair): 저자는 자신의 이전 연구인 FlowAdam에 이 기준을 적용했습니다. 좌표별 속도 클리핑(velocity clipping)이 불변성을 깨뜨린다는 점을 식별하였고, 이를 글로벌 노름 클리핑(global-norm clip)으로 교체함으로써 불변성을 복구하여 회복 오차를 37% 개선하고 GD의 성능에 근접하게 만들었습니다.

의의 및 주장
본 논문은 기저 선택이 단순한 튜닝 세부 사항이 아니라, 옵티마이저가 어떤 보간치를 선택할지에 대한 근본적인 결정이라고 주장합니다.

메커니즘적 설명: 저계수 구조를 가진 인수 분해 모델의 저계수 귀납적 편향을 보존할지 여부를 예측할 수 있는 검증 가능하고 구성적인 기준(게이지 불변성)을 제공합니다.
한계점: 저자는 연구 범위에 대해 겸허한 입장을 취합니다. 이러한 편향은 미미하며, 최적의 규제가 낮고 저계수 구조와 정렬되어 있을 때 주로 유익합니다. 좌표별 적응이 유리한 경우(예: PINN의 stiff 문제)에는 좌표별 방법론이 불변 옵티마이저보다 더 우수할 수 있습니다.
벤치마크 주장에 대하여: 이 작업은 새로운 SOTA 옵티마이저를 제안하는 것이 아니라, 특정 설정에서 왜 특정 방법론(예: GD나 Muon)은 성공하는 반면 다른 방법론(예: Adam)은 실패하는지에 대한 메커니즘적 설명을 제공하는 데 목적이 있습니다.

요약하자면, 이 논문은 "손실 함수는 기저를 보지 못하지만(게이지 불변), Adam은 본다(업데이트는 기저 의존적이다)"라고 주장하며, 이러한 의존성이 인수 분해된 모델에서 저계수 보간치를 선택하는 데 실패하는 근본 원인임을 밝히고 있습니다.

기술 요약: "손실 함수는 기저를 보지 못하지만, Adam은 본다"

유사한 논문