🤖 machine learning

M+Adam: Low-Precision Training via Additive-Multiplicative Optimization

이 논문은 저정밀도 학습의 상호 보완적인 실패 모드를 극복하기 위해 가법적(additive) 및 승법적(multiplicative) 업데이트를 결합한 새로운 옵티마이저인 M+Adam을 제안하며, 이를 통해 오직 BF16, FP8, 그리고 FP4 마스터 가중치만을 사용하여 LLaMA 스타일 모델의 안정적이고 정확한 학습을 가능하게 한다.

원저자: Xiaoyuan Liang, Sebastian Loeschcke, Mads Toftrup, Anima Anandkumar

게시일 2026-07-14

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Xiaoyuan Liang, Sebastian Loeschcke, Mads Toftrup, Anima Anandkumar

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 거대하고 초지능적인 로봇(대규모 언어 모델)에게 인간처럼 쓰는 법을 가르치려 한다고 상상해 보세요. 이를 위해 당신은 로봇의 뇌에 있는 수백만 개의 아주 작은 다이얼을 조절해야 합니다. 보통 이 다이얼들은 현미경을 사용하여 나사를 돌리는 것처럼 극도로 정밀하게 조정됩니다. 하지만 현미경은 무겁고, 느리고, 비쌉니다.

이 논문은 이렇게 묻습니다: 만약 우리가 저렴하고 가벼운 렌치를 사용한다면 어떨까?

이것이 바로 **저정밀도 훈련(low-precision training)**의 세계입니다. 연구자들은 고정밀 "마스터 가중치"(다이얼을 조절하는 로봇의 기억)를 사용하는 대신, BF16, FP8, 또는 심지어 FP4와 같은 더 작고 거친 형식으로 저장하려고 시도합니다. 이것은 마치 10피트 간격으로 눈금이 매겨진 자를 사용하여 산의 높이를 측정하는 것과 같습니다.

문제점: "반올림"의 함정

저자들은 이러한 거친 자를 사용할 때, 표준 훈련 방식(Adam)이 한계에 부착한다는 사실을 발견했습니다. 그 이유는 다음과 같습니다.

거대한 산 문제: 다이얼이 매우 큰 숫자로 설정되어 있으면, "자"의 눈금 간격이 매우 넓어집니다. 만약 로봇이 다이얼을 아주 미세하게 움직여야 한다면, 자는 그것을 감지할 수 없습니다. 미세한 움직임은 반올림되어 0이 되어버리고, 로봇은 "아무것도 움직이지 않았어!"라고 생각하게 됩니다. 로봇은 산을 오르지 못한 채 갇혀버립니다.
제로 계곡 문제: 다른 방법들은 이를 해결하기 위해 곱셈 업데이트(예: Madam)를 시도했습니다. 숫자를 더하는 대신, 다이얼에 특정 인수를 곱하는 방식입니다. 이 방식은 큰 산을 다룰 때 매우 효과적입니다. 다이얼의 크기에 따라 단계 크기가 커지기 때문입니다. 하지만, 만약 다이얼이 정확히 0에 멈춰 있다면, 곱셈을 통해서는 움직이게 만들 수 없습니다. 이는 바퀴가 없는 자동차를 밀려는 것과 같습니다. 0에 무엇을 곱해도 여전히 0이기 때문입니다. 또한, 다이얼이 양수에서 음수로 바뀌어야 할 때(0을 가로지를 때), 이 방식들은 혼란을 겪으며 전환을 수행하지 못합니다.

해결책: M+Adam (두 가지 도구 세트)

이 논문은 두 가지 서로 다른 도구를 동시에 들고 있는 영리한 정비사처럼 행동하는 새로운 옵티마이저, M+Adam을 소개합니다. 이는 "상호 보완적인 실패 모드"를 해결하기 위해 두 세계의 장점을 결합한 것입니다.

도구 1: 덧셈 렌치 (Adam 방식). 이 도구는 작고 정밀한 조정을 하는 데 탁면합니다. 0에서 다이얼을 움직일 수 있고, 부호를 양수에서 음수로 바꿀 수 있으며, 계곡 바닥 근처에서의 미세한 움직임을 처리할 수 있습니다.
도구 2: 곱셈 레버 (Madam 방식). 이 도구는 크고 무거운 작업을 하는 데 적합합니다. 덧셈 렌치가 "반올림"되어 아무것도 하지 못할 정도로 다이얼이 거대해졌을 때, 곱셈 레버가 작동합니다. 이는 다이얼의 크기를 조절하여, 로봇이 가장 높은 산에서도 계속해서 전진할 수 있도록 보장합니다.

M+Adam은 이 두 도구를 동시에 사용합니다. 덧셈 도구가 반올림 때문에 멈추면 곱셈 도구가 로봇을 계속 움직이게 합니다. 반대로 곱셈 도구가 0에서 탈출하지 못하면 덧셈 도구가 밀어 올립니다.

증명: 효과가 있었는가?

저자들은 단순히 추측만 한 것이 아니라, 대규모로 테스트했습니다.

테스트: 그들은 6000만 개에서 10억 개의 파라미터를 가진 "LLaMA 스타일" 언어 모델을 훈련시켰습니다.
예산: 1배에서 8배의 표준 "Chinchilla" 예산(모델이 보는 데이터의 양을 측정하는 표준 척도)을 사용했습니다.
정밀도: 마스터 가중치로 BF16, FP8, NVFP4를 테스트했습니다.

결과:
모든 테스트에서 M+Adam은 표준 Adam 옵티마이저를 일관되게 이겼습니다.

가장 극단적인 저정밀도 설정(NVFP4)에서, M+Adam은 350M 모델의 "퍼플렉서티"(모델이 얼마나 혼란스러워하는지를 나타내는 척도)를 Adam 대비 16.6% 감소시켰습니다.
10억 개의 파라미터에서도, M+Adam은 모든 정밀도 영역에서 Adam보다 명확한 개선을 보여주었습니다.

논문은 이 결합된 접근 방식이 훈련 손실(loss)이 반드시 감소한다는 것("단조 감소")을 수학적으로 증명하며, 이는 로봇이 항상 학습하고 있으며 루프에 빠져 멈추지 않는다는 것을 의미합니다.

M+Adam이 아닌 것

이 논문이 주장하지 않는 내용을 아는 것도 중요합니다:

M+Adam이 메모리 비용을 완전히 없애주는 마법의 탄환이라고 말하는 것이 아닙니다. 실제로 논문은 M+Adam이 (곱셈 도구를 위한) 하나의 추가적인 "상태(state)"를 더 필요로 하여 약간의 추가 메모리를 사용한다고 언급하지만, 이는 나중에 압축될 수 있음을 보여줍니다.
표준적인 확률적 반올림(Stochastic Rounding)(반올림 오차를 해결하는 기술)이 쓸모없다고 주장하는 것이 아닙니다. 그들은 Stochastic Rounding을 적용한 Adam을 테스트했으나, M+Adam이 여전히 더 우수한 성능을 보였습니다.
우리가 고정밀 하드웨어를 사용하는 것을 중단해야 한다고 제안하는 것이 아닙니다. 대신, 만약 우리가 저정밀도 저장을 사용해야만 한다면, M+Adam이 올바른 방법임을 보여줍니다.

핵심 요약

이 논문은 거대한 AI 모델을 훈련하기 위해 "거친" 자(저정밀도 가중치)를 사용해야 할 때, 단 한 가지 유형의 움직임에만 의존해서는 안 된다는 점을 시사합니다. 혼합된 접근 방식이 필요합니다. M+Adam은 바로 그 하이브리드이며, 덧셈 단계와 곱셈 단계를 모두 사용하여 로봇이 거대한 산을 오르든 0의 계곡에서 탈출하든 절대 멈추지 않도록 보장합니다. 이는 우리가 보통 의존하는 무겁고 비싼 고정밀 메모리 없이도 거대 AI 모델을 효율적으로 훈련하기 위한 원칙적인 진전입니다.

기술 요약: M+Adam – 가산-승법 최적화를 통한 저정밀도 학습

문제 정의

대규모 언어 모델(LLM)을 전정밀도(FP32)로 학습하는 것은 상당한 메모리, 연산 및 에너지 비용을 발생시킨다. 현대의 가속기들은 BF16, FP8, FP4와 같은 저정밀도 형식을 지원하지만, 표준적인 학습 파이프라인은 안정성을 보장하기 위해 일반적으로 고정밀도(FP32) "마스터 가중치(master weights)"를 유지한다. 저정밀도 마스터 가중치를 직접 사용하여 학습할 경우 종종 정확도가 저하되거나 불안정해지는 문제가 발생한다.

저자들은 저정밀도 최적화에서 발생하는 특정 실패 모드를 식려냈다: 큰 가중치 크기에서의 거친 양자화 해상도(coarse quantization resolution). 부동 소수점 시스템에서는 표현 가능한 값 사이의 간격(양자화 빈)이 숫자의 크기에 따라 커진다. 결과적으로, 표준적인 가산형 최적화 도구(Adam 등)는 가중치의 크기가 클 때 계산된 업데이트 단계가 국소 양자화 단계를 밑돌아 0으로 반올림됨으로써 진행에 실패하는 경우가 많다. 반대로, 순수하게 승법적인 최적화 도구(Madam 등)는 가중치를 현재 크기에 비례하여 스케일링하기 때문에, 0 근처에서 탈출하지 못하거나 부호 변경이 필요할 때 효과적으로 작동하지 못한다.

방법론: M+Adam

본 논문은 저정밀도 산술의 한계를 극복하기 위해 가산 및 승법 업데이트 메커니즘의 상호 보완적인 강점을 결합한 새로운 최적화 도구인 M+Adam을 제안한다.

핵심 메커니즘

M+Adam은 각 단계에서 결합되는 두 개의 병렬 업데이트 브랜치를 유지한다:

가산 브랜치 (Adam 스타일): 가중치 공간에서 직접 작동한다. 이는 그래디언트( $g$ )의 표준 1차 및 2차 모멘트를 계산하여 가산 업데이트 $u^{(a)}$ 를 생성한다. 이 브랜치는 작은 크기를 처리하고, 0 초기화 상태를 탈출하며, 부호 변화를 용이하게 하는 데 효과적이다.
승법 브랜치 (Madam 스타일): 로그 스케일(지수 공간)에서 작동한다. 이는 지수에 대한 그래디언트 $g^{(e)} = (\ln 2) w_t g$ 를 계산하고 적응형 모멘트를 사용하여 상대적인 승법 업데이트 $u^{(m)}$ 를 생성한다. 이 브랜치는 가산 업데이트가 반올림되어 사라질 수 있는 큰 크기에서도 진행을 보장한다.

가중치 업데이트 규칙은 다음과 같이 정의된다:
$w_{t+1} = w_t + w_t u^{(m)}_t + u^{(a)}_t$
이 구조를 통해 최적화 도구는 가중치 크기가 클 때는 (승법 항을 통해) 스케일을 고려한 상대적 업데이트를 수행하는 동시에, (가산 항을 통해) 부호를 변경하고 0 근처의 값을 업데이트할 수 있는 유연성을 유지할 수 있다.

이론적 분석

저자들은 표준적인 매끄러움(smoothness) 가정 하에 M+Adam에 대한 이론적 보증을 제공한다. 이들은 업데이트를 로컬 좌표계에서의 "스케일링 후 가산(scale-then-add)" 연산으로 모델링한다. 정리 4.1은 학습률과 매끄러움 상수가 특정 조건을 만족할 경우, 그래디언트가 0이 아닌 한 이 방법이 단조 감소( $L(w_{t+1}) < L(w_t)$ )를 보장함을 입증한다. 이는 결합된 기하학적 구조가 유효한 최적화 전략임을 증명한다.

구현 세부 사항

정밀도 지원: 이 방법은 BF16, FP8, NVFP4 마스터 가중치 저장에 적합하도록 설계되었다.
상태 관리: M+Adam은 하나의 추가적인 최적화 상태(승법 브랜치를 위한 2차 모멘트 누적기)를 도입한다. 저자들은 이 상태를 저계수 근사(특히 rank-4 근사인 Apollo-E)를 사용하여 압축함으로써, 메모리 오버헤드를 최소화하고 메모리 점유율을 표준 BF16 상태의 AdamW와 유사하게 유지할 수 있음을 보여준다.
확률적 반올림 미사용: 기존의 다른 접근 방식들과 달리, M+Adam은 확률적 반올림(Stochastic Rounding, SR)이나 Kahan 방식의 보상 누적(compensated accumulation) 없이도 안정성을 달acia한다. 물론 이들과의 호환도 가능하다.

주요 기여

상호 보완적 실패 모드 식별: 본 논문은 가산형 최적화 도구(큰 크기에서 반올림으로 인한 정체)와 승법형 최적화 도구(0 근처에서의 정체 및 부호 변경 불가)의 실패 모드를 공식적으로 규명하였으며, 이들이 서로 보완적임을 보여주었다.
M+Adam 알고리즘: 두 가지 기하학적 구조를 통합하여, FP32 마스터 가중치 없이도 저정밀도 학습을 위한 원칙적인 접근 방식을 제공하는 새로운 최적화 도구이다.
이론적 감소 보증: 표준 매끄러움 가정 하에서 결합된 가산-승법 업데이트 규칙에 대한 단조 감소 증명을 제공한다.
대규모 검증: 60M에서 1B 파라미터에 이르는 다양한 LLaMA 스타일 모델에 대해 1~8배의 Chinchilla 학습 예산 범위에서 광범위한 실험을 수행하였다.

실험 결과

저자들은 다양한 정밀도 체계(BF16/BF16, BF16/FP8, FP8/FP8, NVFP4/FP8)에서 M+Adam을 평가하였다.

일관된 개선: M+Adam은 모든 모델 크기와 정밀도 체계에서 튜닝된 AdamW 베이스라인보다 일관되게 우수한 성능을 보였다.
퍼플렉시티(Perplexity) 감소: 가장 공격적인 저정밀도 설정(NVFP4/FP8)에서, M+Adam은 AdamW에 비해 퍼플렉시티를 상당한 폭으로 감소시켰다(예: 350M 모델에서 16.6% 개선). BF16/BF16 학습에서도 모델 크기에 따라 2.8%에서 13.3%까지 퍼플렉시티를 감소시켰다.
강건성: 이 방법은 확률적 반올림 없이도 안정성을 유지했다. 또한 확률적 반올림이 결합된 AdamW(AdamW+SR) 및 Kahan 보상 방식보다 뛰어난 성능을 보였다.
확장성: 성능 향상은 학습 예산이 증가함에 따라(최대 8배 Chinchilla), 그리고 모델 크기가 1B 파라미터로 확장됨에 따라 지속되었다.
메모리 효율성: Apollo-E 압축 기술을 사용하여 승법 브랜치에 필요한 추가 메모리 상태를 줄였으며, 그 결과 최적화 상태의 점유율이 표준 BF16 AdamW보다 약간 더 큰 수준이면서도 대부분의 퍼플렉시티 이득을 유지할 수 있었다.

의의 및 주장

본 논문은 결합된 가산-승법 업데이트가 저정밀도 마스터 가중치가 최적화 오차의 주요 원인이 될 때 특히 유용하다고 주장한다.

이 연구의 의의는 저정밀도 학습의 수치적 불안정성에 대한 원칙적인 해결책을 제공한다는 점에 있다. M+Adam은 최적화 업데이트의 기하학적 구조를 부동 소수점 숫자의 비균등한 구조와 일치시킴으로써, 큰 크기에서 일반적인 가산형 최적화 도구를 괴롭히는 반올림 오차와 승법형 최적화 도구의 0 근처 정체 문제를 완화한다.

저자들은 M+Adam이 FP32 마스터 가중치에 의존하지 않는 엔드 투 엔드(end-to-end) 저정밀도 학습을 향한 진전이라고 결론짓는다. 이러한 능력은 FP8 및 FP4에 최적화된 현대 AI 하드웨어(텐서 코어)를 활용하는 데 매우 중요하며, 대규모 모델 학습 시 메모리 오버헤드와 에너지 비용을 잠재적으로 줄일 수 있다. 이 연구는 향후 최적화 도구가 저정밀도를 단순히 반올림 기술로 해결해야 할 양자화 문제로 취급하는 것이 아니라, 부동 소수점 표현의 특정한 제약 조건을 염두에 두고 설계되어야 함을 시사한다.