📊 statistics

Uniform Scaling Limits in AdamW-Trained Transformers

본 논문은 심도와 어텐션 헤드의 수가 증가함에 따라 AdamW로 학습된 트랜스포머의 은닉 상태와 역전파된 변수의 결합 동역학이 포워드-백워드 ODE 시스템(인과적 마스킹이 없는 경우 구체적으로 맥케인-블라즈 ODE)으로 균일하게 수렴함을 입증하여, 커버링 논거에 의존하지 않고 차원에 무관한 오차 상한을 제공한다.

원저자: William Gibson, Christoph Reisinger

게시일 2026-05-13

📖 5 분 읽기🧠 심층 분석

CC BY 4.0

원저자: William Gibson, Christoph Reisinger

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

"Uniform Scaling Limits in AdamW-Trained Transformers" 논문에 대한 설명을 쉬운 언어와 창의적인 비유로 정리합니다.

큰 그림: 혼란스러운 군중에서 매끄러운 강으로

현대 챗봇 뒤의 인공지능인 트랜스포머 (Transformer) 를 여러 층으로 이루어진 거대한 빌딩으로 상상해 보세요.

층 (Floors): 이 빌딩에는 $L$ 개의 층 (레이어) 이 있습니다.
작업자 (Workers): 각 층에는 아래에서 올라오는 정보를 살펴보는 $H$ 개의 작업자 팀 (어텐션 헤드) 이 있습니다.
데이터: 정보는 빌딩을 따라 올라가는 '토큰 (단어 또는 이미지 패치)'의 흐름입니다.
학습: 이 빌딩은 AdamW라는 최적화 알고리즘을 사용하여 '학습'됩니다. AdamW는 실수를 최소화하도록 작업자들의 도구를 조정하면서도, 도구가 너무 커져 불안정해지지 않도록 크기를 부드럽게 줄여주는 매우 엄격하고 똑똑한 현장 감독관이라고 생각하세요 (이를 '가중치 감쇠'라고 합니다).

문제:
이 빌딩이 거대해져서 수천 개의 층과 수백만 명의 작업자가 있게 되면, 각 작업자의 움직임을 하나하나 추적하는 것은 불가능해집니다. 마치 거대한 모래폭풍 속의 모든 모래 알갱이의 정확한 경로를 예측하려는 것과 같습니다. 보통 수학자들은 "우리가 폭풍 전체를 이해하려면 모든 모래 알갱이를 세어야 한다"고 말합니다. 이로 인해 수학 계산이 토큰 (모래 알갱이) 의 수에 의존하게 됩니다.

혁신:
이 논문은 모든 모래 알갱이를 셀 필요가 없다는 것을 증명합니다. 토큰이 수십억 개라 하더라도, 전체 시스템의 행동은 토큰 수와 관계없이 동일하게 보이는 매끄럽고 예측 가능한 흐름으로 수렴합니다.

핵심 비유: '상호작용 입자 시스템'

저자들은 네트워크를 통과하는 데이터인 은닉 상태 (hidden states) 를 상호작용 입자 시스템 (Interacting Particle System, IPS) 으로 모델링합니다.

옛 방식: 서로 대화하려는 사람 (토큰) 으로 가득 찬 방을 상상해 보세요. 그룹의 생각을 알고 싶다면 모든 개별 대화를 들어야 합니다. 방이 커지면 수학 계산도 더 어려워집니다.
새 방식: 저자들은 사람이 충분히 많다면 개별 대화를 듣는 것을 멈추고 방 전체의 **'평균적인 분위기'**만 들어도 된다고 보여줍니다.
- A 사람이 B 사람과 대화하는 것을 추적하는 대신, '평균적인 사람'이 '평균적인 분위기'와 어떻게 상호작용하는지 추적합니다.
- 이는 개별 업데이트의 혼란스럽고 이산적인 덩어리를 매끄럽고 연속적인 데이터의 강으로 바꿉니다.

'균일 (Uniform)'의 마법: 토큰 수가 왜 중요하지 않은가

이 논문의 가장 놀라운 부분은 **'균일 (Uniform)'**이라는 단어입니다.

수학적으로 모든 가능한 입력에 대해 어떤 것이 작동함을 증명하려 할 때, 보통 '최악의 시나리오'를 걱정해야 합니다. 토큰이 100 개라면 수학은 한 가지이지만, 100 만 개라면 수학은 훨씬 더 복잡해지고 오차 범위 (예측이 얼마나 벗어날 수 있는지) 는 더 나빠지는 것이 일반적입니다.

논문의 주장: 저자들은 실제의 혼란스러운 트랜스포머와 그들의 매끄러운 연속적인 '강' 모델 사이의 오차가 토큰을 더 추가해도 나빠지지 않는다는 것을 증명합니다.
비유: 날씨를 예측하려고 한다고 상상해 보세요. 보통 기상 관측소 (토큰) 를 더 추가하면 예측 모델이 더 복잡해지고 풀기 어려워집니다. 하지만 이 논문은 "아닙니다. 관측소가 충분히 많아지면 날씨 패턴은 10 개든 1 천만 개든 계산하기 equally 쉬운 매끄럽고 예측 가능한 곡선이 됩니다"라고 말합니다.

저자들은 '커버링 논증 (covering argument)'이라는 수학적 트릭 (교통을 이해하기 위해 도시의 모든 거리를 매핑하려는 시도와 유사함) 을 피함으로써 이를 달성했습니다. 대신 **측도의 집중 (concentration of measure)**이라는 기법을 사용했는데, 이는 거대한 군중에서 평균적인 행동이 매우 안정적이어서 이상치는 중요하지 않다는 것을 깨닫는 것과 같습니다.

AdamW 의 역할: '분리된' 감독관

이 논문은 이러한 모델을 학습하는 표준 최적화 알고리즘인 AdamW에 특히 초점을 맞춥니다.

문제: 많은 수학 모델에서 작업자들이 사용하는 '도구' (매개변수) 가 무한히 커지고 제멋대로 변할 수 있어 수학 계산이 폭발할 수 있습니다.
해결책: AdamW에는 **분리된 가중치 감쇠 (decoupled weight decay)**라는 특별한 기능이 있습니다. 이는 "실수를 고치기 위해 도구를 조정할 수는 있지만, 나는 매일 도구를 안전한 크기로 부드럽게 줄여줄 것이다"라고 말하는 감독관과 같습니다.
결과: 이로 인해 모든 작업자의 도구가 고정된 안전한 '상자' (컴팩트 집합) 안에 유지됩니다. 도구가 너무 제멋대로 변하지 않기 때문에 수학이 안정적으로 유지되며, 저자들은 장기간의 학습 기간 동안에도 '강' 모델이 완벽하게 작동함을 증명할 수 있었습니다.

'흐름 지도'와 '역류하는 강'

이 논문은 데이터가 앞으로 흐르는 것 (입력 $\to$ 출력) 만이 아니라, **역전파 (backpropagation, 모델이 실수로부터 배우는 방식)**도 살펴봅니다.

앞으로 흐르는 강: 데이터가 빌딩을 따라 올라갑니다.
뒤로 흐르는 강: 기울기 (배운 교훈) 가 빌딩을 따라 내려옵니다.
시스템: 저자들은 앞쪽 데이터와 뒤쪽 교훈 모두 상미분 방정식 (Ordinary Differential Equations, ODEs) 시스템으로 수렴함을 보여줍니다.
- 이는 서로 반대 방향으로 흐르는 동기화된 두 개의 강 쌍으로 생각할 수 있습니다.
- 그들은 실제 컴퓨터의 이산적인 단계 (층에서 층으로 점프하는 것) 가 이러한 수학적인 강의 매끄러운 흐름과 거의 동일함을 증명했습니다.

주요 결과 (정리)

이 논문은 실제 트랜스포머가 그들의 매끄러운 수학 모델과 얼마나 가까운지에 대한 구체적인 공식을 제공합니다. 오차는 다음에 의존합니다:

$L$ (깊이): 빌딩이 얼마나 높은가.
$H$ (헤드): 작업자 팀이 몇 개인가.

오차는 빌딩이 더 높아지고 팀이 더 많아질수록 줄어듭니다. 결정적으로, 토큰의 수 ( $N$ ) 는 오차 공식에 나타나지 않습니다.

쉬운 말로:
무한한 깊이와 무한한 너비를 가진 트랜스포머를 AdamW 로 학습시키면, 그 행동은 완벽하게 예측 가능하고 매끄러워집니다. 전체 시스템을 간단한 방정식 세트로 설명할 수 있으며, 10 개의 단어를 처리하든 100 억 개의 단어를 처리하든 게임의 규칙은 동일하게 유지됩니다.

기여 요약

매끄러움: 트랜스포머의 혼란스러운 단계별 학습을 매끄러운 연속적인 흐름 (ODEs) 으로 변환했습니다.
토큰 독립성: 이 매끄러움이 모델에 공급되는 토큰 수와 관계없이 성립함을 증명했습니다. 이는 토큰 수에 관한 '차원의 저주'를 제거하는 드물고 강력한 결과입니다.
AdamW 안정성: AdamW 가 가중치를 줄이는 구체적인 방식이 시스템을 안정화시켜, 수학이 폭발하지 않고 이러한 결과를 증명할 수 있음을 보여주었습니다.
차원 독립성 (보너스): 특정 버전의 AdamW(Blockwise) 를 사용하면 수학이 단어 임베딩의 크기 (수학적 '어휘 크기') 에도 신경 쓰지 않게 되어 모델이 더욱 확장 가능해집니다.

핵심 메시지:
이 논문은 나무가 아닌 숲을 볼 수 있게 해주는 수학적인 '렌즈'를 제공합니다. 이 논문은 이러한 AI 모델이 점점 더 커질수록 단순히 더 복잡해지는 것이 아니라, 실제로는 처리하는 데이터의 양과 무관한 매끄러운 법칙에 의해 지배되는 더 단순하고 예측 가능한 존재가 된다고 알려줍니다.

기술 요약: AdamW 로 훈련된 트랜스포머의 균일 스케일링 한계

문제 제기
본 논문은 깊이 ( $L$ ) 와 너비 (어텐션 헤드의 수, $H$ ) 가 확장됨에 따라 대규모 언어 모델 (LLM), 구체적으로 트랜스포머의 훈련 역학을 이해하는 이론적 난제를 다룹니다. 경험적 스케일링 법칙이 산업계로 하여금 모델 크기를 증가시키도록 이끌고 있지만, 무한 깊이와 무한 너비 한계에서 설계 선택이 일반화 능력과 견고성에 미치는 영향에 대한 엄밀한 이론적 이해는 여전히 불완전한 상태입니다.

경사 하강법의 전역 최적점 수렴에 관한 기존 문헌은 종종 신경 ODE 또는 평균장 (Mean-Field) 한계와 같은 제한적 모델에 의존합니다. 그러나 이러한 한계로부터 실제 모델로 결과를 전이하려면 모델의 입력에 대해 균일하게 성립하는 수렴 경계가 필요합니다. AdamW 옵티마이저로 훈련된 트랜스포머에 관한 문헌에는 상당한 격차가 존재합니다. 이전 연구들은 종종 경사 하강법을 가정하거나 계층 간에 파라미터가 공유되거나 의존적이어야 한다고 전제하는데, 이는 독립 동일 분포 (i.i.d.) 초기화의 표준적 관행을 반영하지 못합니다. furthermore, 소프트맥스 자기 어텐션에서 $Q, K, O, V$ 행렬 곱으로 인한 기울기의 3 차 성장 (cubic growth) 은 이론적 보장을 복잡하게 만들어, 훈련 단계에 따라 지수적으로 증가하는 경계로 이어지는 경우가 많습니다. 마지막으로, 표준 수렴 경계는 종종 덮기 논증 (covering arguments, 예: Dudley 의 엔트로피 적분 정리) 을 통해 토큰 수 ( $N$ ) 에 의존하는데, 이는 임의의 입력 분포에 대한 균일 수렴의 적용 가능성을 제한합니다.

방법론
저자들은 AdamW 로 훈련된 마스킹이 없는 어텐션 전용 트랜스포머의 은닉 상태 역학을 어텐션 메커니즘을 통해 결합된 상호작용 입자계 (Interacting Particle System, IPS) 로 모델링합니다. 분석은 다음과 같은 단계를 거쳐 진행됩니다:

평균장 공식화: $N$ 개의 토큰과 $H$ 개의 헤드에 대한 이산적 역학은 연속 시간 한계로 근사됩니다. 은닉 상태와 역전파 (수반) 변수는 순방향 - 역방향 연립 상미분 방정식 (ODE) 의 해로 수렴함이 보입니다.
맥키안 - 블라소프 ODE(MVODEs): 인과적 마스킹이 부재할 때, 한계 시스템은 맥키안 - 블라소프 ODE 로 식별됩니다. 이 ODE 의 속도장은 파라미터 분포에 대한 기댓값으로 정의됩니다.
AdamW 및 비선형성 처리: 방법론의 핵심 구성 요소는 AdamW 옵티마이저의 처리입니다. 표준 SGD 와 달리 AdamW 는 가중치 감쇠를 분리합니다. 저자들은 이 특성을 활용하여 모든 훈련 단계에 걸쳐 파라미터 측정의 지지집합이 콤팩트 집합 내에 균일하게 유지됨을 증명합니다. 이는 자기 어텐션의 3 차 기울기 성장과 일반적으로 연관된 지수적 경계 증가를 방지하는 어텐션 메커니즘 및 그 도함수에 대한 전역 리프시츠 상수를 가능하게 합니다.
덮기 없이 균일 수렴 달성: 토큰 수 ( $N$ $N$ ) 에 독립적인 경계를 달성하기 위해 저자들은 전통적인 덮기 논증을 피합니다. 대신 다음을 활용합니다:
- 측도의 집중: 파라미터 초기화와 관련된 마팅갈 차이의 $L^1$ 노름을 경계 짓기 위한 기법 적용.
- 블록별 테일러 근사: 계층을 블록으로 분할하고 각 블록 내의 흐름 맵을 테일러 전개로 근사.
- 텐서 구조: 측정의 선형 함수 비율로 표현되는 어텐션 메커니즘의 특정 대수적 구조를 활용하여 초기 조건에 대한 상한을 유한 차원 공간으로 축소함으로써 $N$ 에 대한 의존성을 제거.
블록별 AdamW: 저자들은 파라미터 블록을 별도로 정규화하는 AdamW 의 변형 (Blockwise AdamW) 을 도입합니다. 이 적응은 유도된 경계가 토큰 임베딩 차원 ( $d$ ) 에 대해서도 독립적이도록 합니다.

주요 기여

균일 수렴 정리: 주요 결과 (정리 7) 는 콤팩트 지지 분포에서 i.i.d. 로 초기화된 파라미터를 가진 마스킹이 없는 어텐션 전용 트랜스포머가 초기 조건에 대해 균일하게 $L^2$ 에서 평균 ODE 의 상호작용 입자계로 수렴함을 확립합니다. 수렴 속도는 $O(L^{-1} + L^{-1/3}H^{-1/2})$ 입니다.
토큰 수로부터의 독립성: $\sqrt{\log(N)}$ 에 비례하거나 덮기 논증을 통해 $N$ 에 의존하는 이전 경계와 달리, 유도된 경계는 토큰 수 $N$ 에 독립적입니다. 이는 훈련 데이터에 존재하지 않는 초기 조건에 대해서도 결과가 성립함을 의미합니다.
AdamW 적응: 본 연구는 AdamW 로 훈련된 트랜스포머에 대한 대규모 깊이 수렴 결과를 확장합니다. AdamW 의 분리된 가중치 감쇠가 파라미터를 콤팩트 집합 내에 유지하여 어텐션 메커니즘에 대한 훈련 전반의 리프시츠 연속성을 보장함을 보여줍니다.
차원 독립성: Blockwise AdamW 를 활용함으로써 경계가 토큰 임베딩 차원 $d$ 에 독립적임이 입증됩니다.
명시적 도함수: 논문은 측정 성분에서 어텐션 메커니즘에 대한 Lions 도함수를 명시적으로 계산하여, 모든 $p \in [1, \infty]$ 에 대해 $p$ -워셔스타인 거리에 대한 국소 리프시츠 연속성을 확립합니다.

결과
본 논문은 어텐션 헤드의 적절한 스케일링 하에서 파라미터가 i.i.d. 로 초기화될 때, 은닉 상태와 역전파 변수의 결합 역학이 순방향 - 역방향 연립 ODE 의 해로 수렴함을 증명합니다.

수렴 속도: 이산적 트랜스포머 모델과 연속 평균장 한계 사이의 오차는 $C(L^{-1} + L^{-1/3}H^{-1/2})$ 로 경계 지어지며, 여기서 $C$ 는 $N$ 에 독립적인 상수이며 Blockwise AdamW 하에서는 $d$ 에도 독립적입니다.
균일성: 수렴은 콤팩트 집합 내의 초기 조건에 대해 균일합니다.
파라미터 경계: 저자들은 AdamW 업데이트가 모든 훈련 단계에 걸쳐 파라미터를 콤팩트 집합 $S(R_\theta)$ 내에 제한함을 보여주며, 이는 전역 리프시츠 상수를 확립하는 데 필수적인 속성입니다.

의의 및 주장
본 논문은 지배적인 옵티마이저인 AdamW 로 훈련된 트랜스포머의 스케일링 행동을 이해하기 위한 엄밀한 이론적 기반을 제공한다고 주장합니다. 그 의의는 다음과 같습니다:

격차 해소: 실용적이고 대규모인 트랜스포머의 이산적 훈련 역학을 연속 평균장 한계와 연결하여 분석을 위한 실행 가능한 설정을 제공합니다.
입력 크기에 대한 견고성: 토큰 수에 독립적인 경계를 확립함으로써, 모델의 이론적 행동은 특정 데이터셋 크기의 인공물이 아니라 아키텍처와 초기화 자체에 내재된 것임을 시사합니다. 이는 보이지 않는 데이터로의 일반화에 특히 관련이 있습니다.
최적화 안정성: 분석은 비선형 어텐션 메커니즘 존재 하에서 리프시츠 연속성에 대한 이론적 보장을 위해 파라미터 성장을 제어하는 AdamW 의 분리된 가중치 감쇠의 안정화 역할을 강조합니다.

저자들은 트레이드오프를 인정합니다: 수렴 속도 $O(L^{-1} + L^{-1/3}H^{-1/2})$ 는 일부 ResNet 연구에서 관찰된 $O(L^{-1} + (LH)^{-1/2})$ 속도보다 약간 느리지만, 이는 $N$ 에 독립적인 균일 경계를 달성하기 위해 치른 희생입니다. 또한, 언어 모델링의 표준인 인과적 마스킹과 SDE 스케일링 영역으로 이러한 결과를 확장하는 것은 향후 연구의 열린 과제로 남아 있다고 지적합니다.