🤖 machine learning

Nora: Normalized Orthogonal Row Alignment for Scalable Matrix Optimizer

본 논문은 행별 모멘텀 투영을 통해 가중치 노름과 각속도를 안정화하면서 최적의 $\mathcal{O}(mn)$ 계산 복잡도로 구조화된 전조건화를 근사함으로써 효율성, 안정성 및 속도를 통합하는 확장 가능한 행렬 최적화기인 Nora 를 소개합니다.

원저자: Jinghui Yuan, Jiaxuan Zou, Shuo Wang, Yong Liu, Feiping Nie

게시일 2026-05-06

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Jinghui Yuan, Jiaxuan Zou, Shuo Wang, Yong Liu, Feiping Nie

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

"확장 가능한 행렬 최적화를 위한 정규화 직교 행 정렬 (Nora: Normalized Orthogonal Row Alignment for Scalable Matrix Optimizer)"이라는 논문을 쉬운 언어와 일상적인 비유로 설명합니다.

큰 그림: 거대한 뇌를 가르치는 것

인공지능 (AI) 뇌, 예를 들어 대규모 언어 모델 (LLM) 을 훈련한다고 상상해 보세요. 이 뇌는 인간의 언어를 배우도록 조정해야 하는 수십억 개의 작은 노브와 스위치 (매개변수) 로 구성되어 있습니다.

이 노브들을 조정하는 과정을 **최적화 (optimization)**라고 합니다. '최적화기 (optimizer)'는 노브들이 얼마나, 그리고 어떤 방향으로 회전해야 하는지 알려주는 교사입니다.

오랫동안 가장 인기 있는 교사는 Adam이었습니다. 하지만 Adam 은 뇌의 노브들을 평평하고 지저분한 구슬 더미처럼 취급합니다. 이 노브들이 실제로는 깔끔하고 구조화된 격자 (행렬) 로 배열되어 있다는 사실을 인식하지 못합니다.

최근 Muon이라는 새로운 교사가 등장했습니다. Muon 은 격자 구조를 이해하는 데 탁월하지만, 매우 느리고 계산 비용이 많이 듭니다. 마치 각 노브 회전마다 복잡한 수학 방정식을 풀기 위해 멈추는 교사처럼요. 또 다른 교사인 RMNP는 빠르지만 때로는 노브들을 잘못된 방향으로 흔들게 만들어 훈련을 불안정하게 만듭니다.

Nora는 이 논문에서 소개된 새로운 교사입니다. Nora 는 '골디락스' 최적화기라고 주장합니다. RMNP 처럼 빠르고, Muon 처럼 똑똑하며, 훈련이 궤도에서 벗어나거나 충돌하지 않도록 안정적으로 유지합니다.

훌륭한 교사의 세 가지 규칙

저자들은 완벽한 최적화기는 세 가지 규칙을 충족해야 한다고 주장합니다:

효율성: 더 빠르게 학습하기 위해 스마트한 '격자 구조'를 활용해야 합니다.
안정성: 시스템을 흔들지 않아야 합니다. 노브가 너무 많이 흔들리면 AI 는 배운 것을 잊어버립니다.
속도: 계산 비용이 저렴하여 실행에 영원히 걸리지 않아야 합니다.

대부분의 기존 교사들은 이 중 하나에서 실패합니다. Muon 은 너무 느리고, RMNP 는 너무 불안정합니다. Nora 는 이 세 가지를 모두 해결하는 것을 목표로 합니다.

Nora 의 작동 원리: '댄스 플로어' 비유

Nora 를 이해하기 위해 AI 의 가중치 (노브) 를 춤추는 무대 위의 댄서들로 상상해 보세요.

1. 문제: '방사형' 흔들림

현대 AI 에서 댄서의 크기보다 그들이 향하는 방향이 더 중요합니다. 이를 **규모 불변성 (scale invariance)**이라고 합니다.

실수: 기존 최적화기들은 때때로 댄서들을 방의 중심을 향해 직접 밀거나 밀어냅니다 (방사형 이동). 이는 벽으로 이동하면서 제자리에서 빙글빙글 도는 댄서와 같습니다. 이는 춤 동작을 배우는 데 도움이 되지 않으며, 에너지를 낭비하고 어지럽게 만듭니다 (불안정).
목표: 우리는 댄서들이 중심과의 거리를 바꾸지 않고 방향만 바꾸는 옆으로 (접선 방향) 이동하기만 하기를 원합니다.

2. 해결책: '행 단위' 투영

Nora 는 **행 단위 직교 투영 (Row-wise Orthogonal Projection)**이라는 교묘한 트릭을 사용합니다.

가중치 행렬을 행별로 나열된 댄서들의 격자로 상상해 보세요.
한 줄의 댄서들에게 움직이라고 하기 전에 Nora 는 확인합니다: "너는 중심을 향해 이동하려고 하니?"
만약 그렇다면 Nora 는 그 이동 부분을 잘라냅니다. 댄서들이 현재 위치와 수직인 방향으로만 이동하도록 투영합니다.
결과: 댄서들은 자신의 '댄스 원' 위에 머무르게 되어 시스템이 안정적으로 유지되고 어지러워지지 않습니다.

3. 속도 트릭: '대각선 단축'

'똑똑한' 교사 (Muon) 는 전체 격자를 위한 완벽한 경로를 한 번에 계산하려고 합니다. 이는 시간이 오래 걸리는 무거운 수학 (뉴턴 - 슐츠 반복) 을 필요로 합니다.

Nora 의 단축: 저자들은 이러한 AI 격자에서 '행'들이 어느 정도 독립적으로 작용한다는 것을 발견했습니다. 그들은 수학 문제의 대각선만 보면 스마트한 경로를 근사할 수 있다는 사실을 깨달았습니다.
전체 격자에 대한 거대하고 복잡한 계산을 수행하는 대신, Nora 는 각 행을 개별적으로 **정규화 (재조정)**합니다.
비유: 모든 차를 동시에 완벽하게 경로 계산하는 교통 통제관 (느림) 대신, Nora 는 모든 차에게 직진하고 앞차와의 안전 거리를 유지하라고 말합니다 (빠름).

왜 Nora 가 더 좋은가? (결과)

이 논문은 다양한 크기 (6 천만 개 및 1 억 3 천 5 백만 개 매개변수) 의 AI 모델 (LLaMA) 에서 Nora 를 테스트하여 Muon, RMNP, Mano 와 비교했습니다.

더 나은 성능: Nora 는 다른 최적화기들에 비해 **최소 오차율 (손실)**과 최고의 '퍼플렉시티 (perplexity)'(AI 가 얼마나 혼란스러운지 측정하는 지표) 를 달성했습니다. 이는 언어를 더 잘 학습했음을 의미합니다.
더 빠른 훈련: Nora 는 무거운 수학을 건너뛰고 단순한 행 정규화만 수행하므로 훨씬 빠릅니다.
- 작은 모델의 경우, 무거운 수학 방법보다 약 10 배 빠릅니다.
- 거대한 모델 (10 억 개 매개변수) 의 경우, 70 배 이상 빠릅니다.
안정성: '방사형 흔들림'을 제거함으로써 Nora 는 훈련을 매끄럽게 유지했으며, 다른 방법들은 때로는 진동하거나 멈추곤 했습니다.

"두 줄의 코드" 주장

이 논문에서 가장 흥미로운 주장 중 하나는 모든 수학적 정교함에도 불구하고 Nora 의 핵심 로직이 놀라울 정도로 간단하다는 것입니다. 저자들은 최적화기의 전체 '두뇌'가 단 두 줄의 코드로 작성될 수 있다고 명시했습니다. 이는 다른 개발자들이 기존 시스템을 완전히 다시 작성하지 않고도 쉽게 Nora 를 연결할 수 있게 합니다.

요약

Nora는 AI 뇌를 훈련시키는 새로운 방법입니다. 빠른 최적화기의 불안정성과 똑똑한 최적화기의 느림을 해결합니다. 이는 다음과 같이 이루어집니다:

불필요한 움직임을 제거하여 (AI 를 안정적으로 유지).
스마트한 단축을 취하여 (AI 를 빠르게 유지).
더 잘 학습하여 (최고의 결과를 얻음).

이 논문은 수학적으로 이것이 작동함을 증명하고, 실험을 통해 현재 이러한 거대 모델을 훈련시키는 가장 효율적인 방법임을 보여줍니다.

기술 요약: 노라 (정규화 직교 행 정렬)

문제 제기

대규모 언어 모델 (LLM) 의 학습은 적응형 옵티마이저인 Adam 에 크게 의존하는데, 이는 매개변수를 평탄한 벡터로 취급하여 손실 지형 내의 풍부한 구조적 상호작용을 무시합니다. 반면, Muon과 같은 행렬 기반 옵티마이저는 직교화된 업데이트와 뉴턴-슈르츠 (Newton-Schulz) 반복을 적용하여 이를 해결하려 하지만, $O(m^2n)$ 의 prohibitive(부담스러운) 계산 비용을 초래하여 확장성을 제한합니다.

반대로, RMNP(행별 모멘텀 정규화 전조건부) 와 같은 단순화된 접근법은 트랜스포머 헤시안의 행-블록 대각 우세성을 활용하여 복잡도를 $O(mn)$으로 줄입니다. 그러나 RMNP 는 BatchNorm, RMSNorm, LayerNorm 으로 인해 현대 신경망에 내재된 스케일 불변성을 고려하지 못합니다. 이는 기능적 출력을 변경하지 않지만 노이즈를 유발하고, 유효 학습률을 불안정하게 하며, 가중치 노름에서 혼란스러운 진동을 일으키는 "방사형 업데이트"(가중치 벡터와 정렬된 업데이트) 를 허용합니다.

기존 방법들은 일반적으로 세 가지 핵심 요구사항을 통합하는 데 실패합니다: 효율성(Muon 과 같은 전조건부), 안정성(스케일 불변성 준수), 그리고 속도(최소한의 계산 오버헤드).

방법론: 노라 옵티마이저

저자들은 세 가지 요구사항을 동시에 충족하도록 설계된 Nora(정규화 직교 행 정렬) 옵티마이저를 제안합니다. 핵심 설계 철학은 스케일 불변 매개변수의 경우 효과적인 학습이 방사형 방향이 아닌 각도 (접선) 방향으로 일어난다는 기하학적 관찰에 기반합니다.

알고리즘 단계

가중치 행렬 $w \in \mathbb{R}^{m \times n}$ 과 모멘텀 $v_t$ 에 대해:

행별 직교 투영: Nora 는 모멘텀 $v_t$ 를 가중치 $w$ 의 행별 직교 여집합에 명시적으로 투영합니다. 각 행 $i$ 에 대해 가중치 행과 평행한 성분을 제거합니다:
$v_{t,i:}^{\perp} = v_{t,i:} - \frac{\langle v_{t,i:}, w_{t,i:} \rangle}{\|w_{t,i:}\|^2} w_{t,i:}$
이는 $\langle v_{t,i:}^{\perp}, w_{t,i:} \rangle = 0$ 을 보장하여 방사형 노이즈를 엄격히 필터링하고 가중치 노름을 안정화합니다.
행별 정규화 (전조건부): 트랜스포머 헤시안의 행-블록 대각 우세성을 활용하여 Nora 는 Muon 의 구조화된 전조건부를 근사합니다. 비용이 많이 드는 뉴턴-슈르츠 반복 대신 투영된 모멘텀에 대각 전조건부를 적용합니다. 대수적으로 이는 간단한 행별 $\ell_2$ 정규화로 단순화됩니다:
$d_t = \text{RN}(v_t^{\perp}) \implies d_{t,i:} = \frac{v_{t,i:}^{\perp}}{\|v_{t,i:}^{\perp}\|_2}$
이 단계는 투영 단계에서 확립된 직교성을 유지하면서 Muon 과 유사한 전조건부 효율성을 달성합니다.
업데이트: 가중치는 학습률 $\eta_t$ 로 정규화된 방향 $d_t$ 를 사용하여 업데이트됩니다.

이론적 기반

확장성: 최대 업데이트 매개변화 ( $\mu$ P) 프레임워크를 사용하여, 저자들은 네트워크 폭 $n \to \infty$ 일 때 Nora 가 안정적인 특징 학습을 달성하기 위해 학습률이 $\eta_t \propto 1/\sqrt{n}$ 으로 스케일링되어야 함을 증명합니다.
수렴: 이 논문은 비볼록 최적화 지형에 대한 엄격한 수렴 보장을 제공합니다. 일치된 $(\infty, 2)$ -부드러움 (smoothness) 가정 하에 Nora 가 $O(m L \sigma^2 \Delta \epsilon^{-4})$ 의 복잡도로 $\epsilon$ -정상점에 도달함을 입증합니다.
구현: 핵심 로직은 행렬 기반 코드로 두 줄이면 충분하여 기존 프레임워크와 호환되는 플러그 앤 플레이 모듈입니다.

주요 기여

새로운 옵티마이저 설계: 효율적인 전조건부 추정, 스케일 불변성 존중을 통한 안정성, 그리고 높은 계산 속도를 통합한 Nora 의 도입.
이론적 엄밀성: 확장 가능한 옵티마이저임을 증명하고 유도된 스케일링 법칙 ( $\eta \propto 1/\sqrt{n}$ ) 과 비볼록 수렴 보장을 제시.
실증적 검증: 60M 및 135M 파라미터의 LLaMA 스타일 모델을 학습한 광범위한 실험을 통해 Nora 가 Muon, Mano, RMNP 보다 수렴 속도와 실제 실행 시간 (wall-clock execution time) 모두에서 우월함을 입증.

실험 결과

저자들은 다양한 학습률과 모델 규모에 걸쳐 자기회귀 언어 모델링 작업에서 Nora 를 평가했습니다:

성능: 135M 모델에서 Nora 는 비교된 모든 옵티마이저 중 가장 낮은 검증 손실 (3.079) 과 퍼플렉시티 (21.74) 를 달성했습니다 (Muon: 3.142/23.17; Mano: 3.097/22.13; RMNP: 3.112/22.46).
학습 역학: RMNP 는 초기 단계에서 강력한 성능을 보였으나 정체되었습니다. 반면 Nora 는 초기 손실이 더 높았으나 학습 후반까지 지속적으로 개선되어 다른 방법들을 추월하고 최상의 최종 지표를 달성했습니다.
효율성: 대표 행렬 모양 (예: 1B 규모 MLP 행렬) 에 대한 런타임 벤치마크는 Nora 의 행 정규화가 Muon 이 사용하는 5 단계 뉴턴-슈르츠 직교화보다 약 70 배 빠름을 보여주었습니다.
애블레이션: 유사한 행/열 투영 방법인 Mano와의 비교는 Nora 의 우월성이 하이퍼파라미터 튜닝이나 가중치 감소 설정이 아니라 행-블록 대각 우세성에 대한 구체적인 의존성과 간소화된 아키텍처에서 비롯됨을 확인시켰습니다.

중요성과 주장

이 논문은 Nora 가 효율성, 안정성, 속도가 간단한 행별 기하학적 원리를 통해 통합될 수 있음을 보여준다고 주장합니다. 구조화된 전조건부를 근사하면서 가중치 노름과 각속도를 엄격히 안정화함으로써, Nora 는 "확장 가능한 옵티마이저 설계를 위한 실용적이고 원칙적인 방향"을 제시합니다. 저자들은 Nora 가 전체 행렬 직교화의 부담스러운 계산 오버헤드 없이 최첨단 데이터 효율성을 달성한다고 강조하며, 이를 대규모 LLM 학습을 위한 매우 유망한 후보로 제시합니다.