🤖 AI

Gradient Heterogeneity Complements Hessian Heterogeneity in Transformer Optimization

이 논문은 Post-LN 구조에 의해 악화된 그래디언트 이질성이 트랜스포머의 SGD 수렴을 저해하지만, 그래디언트 스케일 변화에 덜 민감한 Adam이나 SignSGD와 같은 좌표별 적응형 방법들에 의해 효과적으로 완화된다는 점을 밝히고 있다.

원저자: Akiyoshi Tomihari, Issei Sato

게시일 2026-08-19

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Akiyoshi Tomihari, Issei Sato

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

방대하고 급격히 진화하는 인공지능의 지형 속에서, 트랜스포머(Transformer)라고 알려진 특정 유형의 컴퓨터 모델은 현존하는 가장 강력한 언어 및 이미지 시스템의 엔진이 되었습니다. 이 모델들은 최적화(optimization)라고 불리는 과정을 통해 훈련되는데, 이는 컴퓨터가 오류를 줄이기 위해 내부 설정을 반복적으로 조정하는 과정으로, 마치 안개 낀 골짜기에서 가장 낮은 지점을 찾으려는 등산객과 같습니다. 수십 년 동안 이 작업의 표준 도구는 확률적 경사 하강법(stochastic gradient descent)이라 불리는 방법이었으며, 이는 지형의 즉각적인 경사에 기초하여 작고 계산된 발걸음을 내딛는 방식입니다. 그러나 모델이 더 커지고 복잡해짐에 따라, 연구자들은 이 전통적인 도구가 종종 비틀거리거나 너무 느리게 움직여 실용적이지 못하다는 것을 발견했습니다. 결과적으로, 분야는 동적으로 보폭을 조절하며 이러한 거대 시스템을 훈련하는 데 훨씬 더 효과적임이 입증된 Adam이라는 다른 도구로 크게 이동했습니다. 그럼에도 불구하고, 왜 Adam이 기존 방법보다 훨씬 더 잘 작동하는지, 그리고 모델 내부에서 무엇이 실제로 일어나기에 차이를 만드는지에 대한 미스터리는 여전히 남아 있었습니다.

도쿄 대학교의 한 연구팀이 이제 이 미스터리의 층을 벗겨내어, 모델의 내부 지형이 어떻게 형성되는지에 뿌리를 둔 명확한 설명을 제시했습니다. 그들은 이 모델들을 훈련하는 데 있어서의 어려움이 모델이 처리하는 데이터의 특정한 종류의 불균일성(heterogeneity)에서 온다는 것을 발견했습니다. 어떤 언덕은 믿기지 않을 정도로 가파르고 좁은 반면 다른 언덕은 완만하고 넓은 지형을 상상해 보십시오. 모든 방향을 동일하게 취급하는 전통적인 방식은 이러한 혼합에 혼란을 느껴, 가파른 부분에서는 너무 큰 발걸음을 떼고 완만한 부분에서는 너무 작은 발걸음을 떼는 경우가 많습니다. 연구진은 이러한 불균일성이 단순한 무작위적인 특이점이 아니라, 특히 특정 안정화 구성 요소가 아키텍처 내의 어디에 배치되는지에 의해 영향을 받는, 이 모델들이 구축된 방식의 구조적 특징임을 발견했습니다.

이 연구는 적응형 최적화 도구(adaptive optimizer)의 우수한 성능이 이전의 이론들이 시사했던 것처럼 노이즈를 처리하는 마법 같은 능력 때문이 아니라, 오히려 전통적인 방식이 하지 못하는 방식으로 단계의 규모(scale)를 효과적으로 무시하기 때문임을 밝혀냈습니다. 이들의 수학적 행동을 분석함으로써, 저자들은 전통적인 방식이 모델의 각 부분에 걸친 기울기 강도의 변화에 매우 민щу적이라는 것을 보여주었습니다. 모델의 한 부분은 아주 미세한 조정을 필요로 하고 다른 부분은 거대한 조정을 필요로 할 때, 전통적인 방식은 단일하고 균일한 보폭을 적용하려고 시도하며, 이는 비효율성을 초래합니다. 반면, 적응형 방식과 그보다 단순한 버전인 SignSGD는 변화의 크기가 아닌 방향을 살펴봄으로써 접근 방식을 조정하며, 이를 통해 모델의 울퉁불퉁한 지형을 훨씬 더 쉽게 헤쳐 나갑니다.

이를 증명하기 위해 연구진은 각 방법이 해결책에 도달하는 데 필요한 단계 수를 설명하는 수학적 경계(bounds)를 도출하며 엄격한 이론적 분석을 수행했습니다. 그들의 연구는 모델이 높은 수준의 기울기 불균일성을 보일 때 전통적인 방식의 진행이 현저히 느려지는 반면, 적응형 방식은 견고하게 유지된다는 것을 입로 보여줍니다. 그들은 또한 이러한 불균일성의 근원을 트랜스포머 자체의 설계, 구체적으로 레이어 정규화(layer normalization)라 불리는 구성 요소의 배치로 추적했습니다. 그들은 이 구성 요소가 주요 처리 단계 이후에 배치될 때 기울기 강도의 차이를 증폭시켜 지형을 더욱 험난하게 만든다는 것을 발견했습니다. 반면, 이 단계 이전에 배치되면 지형이 더 매끄러워져 전통적인 방식이 더 잘 작동하지만, 여전히 적응형 방식이 우위를 점합니다.

연구팀은 언어 및 시각 작업 모두에서 모델을 미세 조정(fine-tuning)함으로써 이러한 이론적 통찰력을 실제 실험으로 검증했습니다. 그들은 기울기 불균일성이 높은 시나리오에서 전통적인 최적화 도구가 수렴하는 데 어려움을 겪으며 학습하는 데 훨씬 더 오래 걸리는 반면, 적응형 방식과 그들의 부호 기반(sign-based) 대응 방식은 효율적으로 훈련되는 것을 관찰했습니다. 이는 성능 격이 핵심이 모델의 구조적 이질성을 최적화 도구가 어떻게 처리하느냐에 달려 있음을 확인시켜 주었습니다. 이 발견은 현대 AI의 성공이 단순히 더 많은 데이터나 컴퓨计算 능력을 갖추는 것뿐만 아니라, 모델의 아키텍처가 만들어내는 특정한 불균일한 지형을 항해하기 위해 적절한 수학적 도구를 사용하는 것에 달려 있음을 시사합니다. 이러한 역학을 이해함으로써, 연구자들은 더 나은 훈련 전략을 설계할 수 있고 잠재적으로 차세대 인공지능을 위한 더욱 효과적인 새로운 최적화 도구를 개발할 수 있습니다.

기술 요약: 트랜스포머 최적화에서 그래디언트 이질성을 보완하는 헤시안 이질성

문제 정의

트랜스포머는 특히 언어 모델 분야에서 상당한 성공을 거두었으나, 표준 확률적 경사 하강법(SGD)을 사용하여 최적화하기에는 여전히 어렵다. 실제로 학습은 Adam과 같은 적응형 옵티마이저에 크게 의존한다. Adam과 SGD 사이의 성능 격차는 이미 잘 알려져 있지만, 그 근저에 있는 메커니즘은 완전히 이해되지 않았다. 기존의 설명들은 이를 확률적 그래디언트 노이즈, 헤비 테일(heavy-tailed) 라벨 분포, 또는 헤시안 이질성(블록별 헤시안 스펙트럼의 차이)의 탓으로 돌려왔다. 그러나 이러한 요인들은 특히 제한된 라벨 데이터를 사용하는 파인튜닝 환경에서 관찰되는 동작을 완전히 설명하지 못한다. 본 논문은 이 성능 격차가 헤시안 이질성과 새롭게 규명된 현상인 그래디언트 이질성 사이의 상호작용에서 발생한다고 주장한다.

방법론

저자들은 그래디언트 기반 방식(SGD)과 SignSGD(Adam과 유사한 동작의 분석 가능한 대리 모델)를 비교하는 최적화 반복 복잡도(optimization iteration complexity)의 이론적 분석을 수행한다.

이론적 프레임워크

정의 및 가정:
- 그래디언트 이질성(Gradient Heterogeneity): 파라미터 블록 간의 그래디언트 노름 변화 $\{ \|\nabla L(\theta)\|_b \}$ 로 정의된다.
- 헤시안 이질성(Hessian Heterogeneity): 블록별 헤시안 스펙트럼의 차이로 정의된다.
- 가정: 분석은 파라미터가 국소 영역 내에 머무는 파인튜닝 설정을 가정하며, 헤시안은 리프시츠 연속(Lipschitz continuous)이고, 헤시안 행렬은 근사적으로 블록 대각(block-diagonal) 형태라고 가정한다.
- 그래디언트-헤시안 상관관계: 저자들은 특정 블록의 그래디언트 노름이 큰 경우 해당 블록의 헤시안 연산자 노름도 크게 나타나는 경향이 있다는 경험적 발견을 활용한다.
복잡도 척도:
저자들은 최적화 과정 중 마주치는 국소 곡률을 바운드하기 위해 두 가지 가중 헤시안 노름을 도입한다:
- $\Lambda_G$ (그래디언트 가중): 각 블록의 제곱 그래디언트 노름에 의해 가중치가 부여된 헤시안 블록 노름이다. 이 양은 그래디언트 기반 방식(SGD)의 반복 복잡도를 제어한다.
- $\Lambda_P$ (파라미터 가중): 각 블록의 파라미터 차원에 의해 가중치가 부여된 헤시안 블록 노름이다. 이 양은 부호 기반 방식(SignSGD)의 반복 복잡도를 제어한다.
경계값 유도:
서로 다른 노름( $\ell_2$ 는 SGD, $\ell_\infty$ 는 SignSGD) 하에서의 최단 강하(steepest descent) 해석을 사용하여 결정론적 및 확률적 설정에 대한 반복 복잡도의 상한을 유도한다.
- SGD의 경우, 복잡도는 $\Lambda_G$ 에 비례한다. 그래디언트-헤시안 상관관계 하에서, 그래디언트 노름이 큰 블록은 곡률 또한 크기 때문에 $\Lambda_G$ 가 커지며 이는 수렴 속도를 늦춘다.
- SignSGD의 경우, 복잡도는 $\Lambda_P$ 에 비례한다. 부호 기반 업데이트는 단위 크기의 방향을 사용하므로 업데이트 크기가 그래디언트 노름과 무관하다. 따라서 $\Lambda_P$ 는 큰 그래디언트와 높은 곡률 사이의 정렬 상태에 덜 민감하며, 결과적으로 더 작은 유효 복잡도 경계값을 갖는다.
아키텍처 분석:
저자들은 레이어 정규화(Layer Normalization, LN)의 야코비안(Jacobian) 구조를 분석하여 트랜스포머 아키텍처 내 그래디언트 이질성의 기원을 조사한다. 이들은 Post-LN(잔차 연결 뒤에 LN 배치)과 Pre-LN(잔차 연결 앞에 LN 배치)을 비교한다. 이론적 유도에 따르면, Post-LN에서는 LN 야코비안이 전체 잔차 브랜치를 곱하게 되어 입력 의존적 스케일 변화를 누적시키고 그래디언트 이질성을 증폭시킨다. 반면 Pre-LN에서는 항등 경로(identity path)가 LN 야코비안을 우회하므로 이 효과를 완화한다.

주요 기여

이론적 경계값: 저자들은 결정론적 및 확률적 설정 모두에서 그래디ian트 기반 방식과 부호 기반 방식에 대한 반복 복잡도의 상한을 유도한다. 이 경계값들은 SGD는 $\Lambda_G$ 에 의해 제어되는 반면, 부호 기반 방식은 $\Lambda_P$ 에 의해 제어됨을 보여준다.
그래디언트 이질성 규명: 연구는 헤시안 이질성을 보완하는 핵심 요소로서 그래디언트 이질성을 식별한다. 저자들은 정량적 척도(지니 계수)와 시각화를 통해 트랜스포머가 CNN(예: ResNet)보다 훨씬 높은 그래디언트 이질성을 보임을 입증한다.
아키텍처 통찰: 본 논문은 그래디언트 이질성을 아키텍처 선택, 특히 LN의 배치와 연결 짓는다. 구체적으로 Post-LN 아키텍처가 LN 야코비안의 승법적(multiplicative) 특성으로 인해 뚜렷한 이질성을 보이는 반면, Pre-LN은 더 안정적임을 보여준다.
학습률 함의: 분석은 SignSGD(및 확장된 개념의 Adam)가 $\ell_\infty$ -노름 하에서의 최단 강하와 일치하도록 그래디언트의 $\ell_1$ -노름에 의해 스케일링된 학습률의 이점을 얻는다는 점을 시사한다.

실험 결과

이론적 주장은 NLP(RoBERTa on SuperGLUE/GLUE) 및 비전(ViT, ResNet on Flowers102, Aircraft) 태스크에 대한 파인튜닝 실험을 통해 검증된다.

그래디언트 이질성: 실험은 트랜스포머(RoBERT)가 ResNet(지니 계수 $\approx 0.43$ )에 비해 현저히 높은 그래디언트 이질성(지니 계수 $\approx 0.94$ )을 보임을 확인한다.
Post-LN vs. Pre-LN: Post-LN 정규화 모델은 Pre-LN(0.880)보다 높은 지니 계수(0.941)를 나타내며, 이는 Post-LN이 이질성을 증폭시킨다는 이론적 주장을 뒷받 p한다.
옵티마이저 성능:
- SGD: 그래디언트 클리핑과 튜닝된 학습률 스케줄을 적용하더라도, 고이질성 태스크(예: RoBERTa on RTE)에서 적응형 옵티마이저에 비해 현저히 느린 훈련 손실 수렴을 보인다.
- SignSGD: Adam과 유사한 성능을 달ert하며, 고이질성(RoBERTa) 및 저이질성(ViT) 태스크 모두에서 안정적으로 수렴한다.
- 모멘텀: 실험 결과, 성능 격이는 주로 모멘텀보다는 적응형 학습률(좌표별 스케일링)에 의해 주도된다. 즉, 모멘텀이 없는 SignSGD조차 SGD보다 우수한 성능을 보인다.

의의 및 주장

본 논문은 그래디언트 이질성을 도입함으로써 트랜스포머 최적화에서 발생하는 Adam-SGD 간의 격차에 대해 더 완전한 이론적 설명을 제공한다고 주장한다. 저자들의 논지는 다음과 같다:

Adam 계열 방식의 우월성은 단순히 그래디언트 노이즈나 헤비 테일 분포를 처리하기 때문이 아니라, 근본적으로 그들의 부호 기반 성격(좌표별 업데이트)이 그래디언트 및 헤시안 이질성의 부정적 영향을 완화하기 때문이다.
그래디언트 이질성과 헤시안 이질성의 상호작용은 그래디언트 기반 방식(SGD)이 부호 기반 방식( $\Lambda_P$ )보다 훨씬 큰 유효 곡률( $\Lambda_G$ )에 직면하게 되는 시나리오를 만든다.
아키텍처 선택, 특히 레이어 정규화의 위치(Post-LN vs. Pre-LN)는 그래디언트 이질성의 정도에 직접적인 영향을 미치며, 이는 최적화 난이도에 영향을 준다.

연구는 결론적으로, 왜 트랜스포머를 SGD로 최적화하기 어려운지, 그리고 왜 적응형 부호 기반 방식이 효과적인지를 이해하기 위해서는 이러한 이질성들을 이해하는 것이 필수적이라고 밝힌다. 이 결과는 블록별 정규화 기술이 완전한 좌표별 적응성 없이도 그래디언트 이질성에 대한 민감도를 낮춤으로써 이 격차의 일부를 이론적으로 메울 수 있음을 시사한다.