💬 NLP

GeoNorm: Unify Pre-Norm and Post-Norm with Geodesic Optimization

이 논문은 레이어 출력을 레이어별 감쇠가 있는 매니폴드 상의 측지선 업데이트로 해석함으로써 Pre-Norm과 Post-Norm 방식을 통합하고, 계산 오버헤드를 거의 발생시키지 않으면서 트랜스포머 모델에서 일관된 성능 향상을 달성하는 새로운 정규화 방법인 GeoNorm을 소개한다.

원저자: Chuanyang Zheng, Jiankai Sun, Yihang Gao, Chi Wang, Yuehao Wang, Jing Xiong, Liliang Ren, Bo Peng, Qingmei Wang, Xiaoran Shang, Mac Schwager, Anderson Schneider, Yuriy Nevmyvaka, Xiaodong Liu

게시일 2026-01-30

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Chuanyang Zheng, Jiankai Sun, Yihang Gao, Chi Wang, Yuehao Wang, Jing Xiong, Liliang Ren, Bo Peng, Qingmei Wang, Xiaoran Shang, Mac Schwager, Anderson Schneider, Yuriy Nevmyvaka, Xiaodong Liu

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 로봇에게 이야기를 쓰는 법을 가르치려고 한다고 상상해 보세요. 이를 위해 로봇은 **트랜스포머(Transformer)**라는 복잡한 기계를 사용합니다. 이 기계 안에는 많은 "일꾼들"(어텐션 일꾼과 피드포워드 일꾼 같은)이 있어 정보를 체인처럼 전달합니다.

일꾼이 다음 단계로 메시지를 전달할 때마다, 그 메시지는 "정규화(normalized)"되어야 합니다. 정규화를 볼륨 조절기나 자(ruler)라고 생각해 보세요. 이는 다음 단계로 넘어가기 전에 메시지가 너무 크거나(너무 큰 소리) 너무 작지(너무 작은 소리) 않도록 조절하는 역할을 합니다.

오랫동안 엔지니어들은 이 볼륨 조절기를 사용하는 두 가지 주요 방법을 가지고 있었습니다:

포스트 노름(Post-Norm): 일꾼이 자신의 일을 마치고 체인에 메시지를 더한 후에, 누군가가 볼륨을 확인하고 조절합니다.
프리 노름(Pre-Norm): 일꾼이 일을 시작하기 전에 누군가가 볼륨을 확인하여, 일꾼이 항상 완벽한 크기의 메시지로 작업을 시작할 수 있게 합니다.

두 방법 모두 작동하지만, 각각 결함이 있습니다. 포스트 노름은 가끔 볼륨이 갑자기 치솟을 수 있고(피드백 소음처럼), 프리 노름은 초기 일꾼들이 나중의 일꾼들에 비해 너무 크게 소리를 지르는 문제를 일으킬 수 있습니다.

새로운 아이디어: GeoNorm

이 논문의 저자들은 이렇게 말합니다: "왜 우리는 단순히 자를 가지고 볼륨만 체크하고 있나요? 메시지가 지나가는 경로를 생각해 봅시다."

그들은 이 메시지들이 움직이는 방식이 평평한 바닥이 아니라 지구본(구체)의 표면 위를 걷는 것과 같다는 사실을 깨달았습니다.

기존 방식 (투영, Projection): 당신이 지구본 위를 걷고 있다고 상상해 보세요. 당신은 직선으로 한 걸음을 내딛습니다(레이저 빔처럼). 만약 계속 똑바로 걷는다면, 결국 지구본 밖 우주로 떨어지게 될 것입니다. 이를 해결하기 위해 기존 방식은 "안 돼, 떨어졌어! 다시 바로 아래로 끌어내리자"라고 말합니다. 이것은 포스트 노름과 같은 것으로, 투박하고 갑작스러운 교정이며 방향을 왜곡할 수 있습니다.
새로운 방식 (측지선, Geodesic): 저자들은 직선으로 걷다가 떨어지는 대신, 지구본의 곡면을 따라 걷는 것을 제안합니다. 수학에서 곡면 위의 최단 경로는 **측지선(geodesic)**이라고 불립니다(비행기가 뉴욕에서 런던으로 갈 때 직선이 아닌 호를 그리며 비행하는 것과 같습니다).

GeoNorm은 투박하게 "다시 끌어내리는" 방식 대신 부드럽게 "곡선을 따라 걷는" 방식으로 대체합니다. 이 방식은 메시지가 자연스럽게 "지구본" 위에 머물며, 교정 없이도 곡선을 따라 흐를 수 있도록 **지수 사상(exponential map)**이라는 수학적 도구를 사용합니다.

"감쇠(Decay)" 기법

논문은 또한 "보폭(step size)"(로봇이 내딛는 걸음의 크기)을 다루는 스마트한 방법을 소개합니다.

당신이 산을 오르고 있다고 상상해 보세요. 산 아래에서는 크고 자신감 있는 보폭을 취할 수 있습니다. 하지만 더 높이 올라가서 지형이 까다로워질수록, 더 작고 신중한 발걸음을 내디뎌야 합니다.
GeoNorm은 이 논리를 적용합니다. 메시지가 네트워크의 더 깊은 층으로 이동함에 따라, 처음에는 큰 업데이트로 시작하여 점차 단계의 크기를 줄여나갑니다. 이는 로봇이 체인의 끝부분 근처에서 비틀거리거나 혼란에 빠지는 것을 방지합니다.

무엇을 발견했나요?

저자들은 이 새로운 방법을 다양한 "하이킹 코스"(Arxiv 및 Books3와 같은 데이터셋)와 다양한 크기의 로봇(작은 모델부터 거대한 모델까지)을 대상으로 테스트했습니다.

더 나은 성능: GeoNorm을 사용하는 로봇은 기존 방식들을 사용하는 로봇보다 일관되게 더 빨리 학습했으며, 더 높은 "점수"(더 낮은 에러율)를 얻었습니다.
안정성: 기존 방식들은 특히 로봇이 매우 깊거나 학습이 길어질 때 "손실 스파이크(loss spikes)"(성능의 갑작스러운 추락)를 일으키곤 했습니다. GeoNorm은 훨씬 더 매끄러웠으며 무너지지 않았습니다.
추가 비용 없음: 가장 좋은 점은? 이 새로운 방식으로 지구본 위를 걷는 방식은 로봇이 더 무거운 배낭을 멜 필요가 없다는 것입니다. 이는 추가적인 메모리를 요구하거나 컴퓨터를 느리게 만들지 않으며, 단지 로봇이 움직이는 방식을 바꿀 뿐입니다.

요약하자면

이 논문은 AI 메시지를 상자 안에 억지로 끼워 맞추는 대신(기존의 정규화 방식), 메시지가 마땅히 따라야 할 곡면을 따라 자연스럽게 흐르게 해야 한다고 주장합니다. 이렇게 함으로써 AI는 더 안정적이고, 더 잘 학습하며, 이를 달성하기 위해 추가적인 컴퓨팅 파워를 필요로 하지 않습니다.

기술 요약: GeoNorm: 지오데식 최적화를 통한 Pre-Norm과 Post-Norm의 통합

문제 정의

트랜스포머 아키텍처 내에서 정규화 레이어의 배치—구체적으로 Pre-Norm과 Post-Norm 사이의 선택—는 모델의 학습 안정성, 성능 및 그래디언트 흐름에 영향을 미치는 결정적인 설계 요소로 남아 있습니다. Pre-Norm은 현대 대규모 언어 모델(LLM)에서 안정성 덕분에 지배적인 선택이 되었으나, 하위 레이어가 상위 레이어보다 더 큰 업데이트를 받는 불균형한 그래디언트를 초래합니다. 반면, 본래 심층 네트워크 학습을 용이하게 하기 위해 설계된 Post-Norm은 학습 불안정성과 손실 스파이크(loss spikes) 현상이 발생하기 쉽습니다. DeepNorm이나 SandwichNorm과 같은 기존 솔루션들은 파라미터 초기화나 추가적인 정규화 레이어를 통해 안정성을 개선하지만, 이러한 메커니즘을 분석할 수 있는 통일된 이론적 프레임워크가 부족합니다.

방법론

저자들은 매니폴드 최적화(manifold optimization)에 기반한 새로운 정규화 방법인 GeoNorm을 제안합니다. 핵심적인 이론적 통찰은 표준 트랜스포머 업데이트 연산( $x + \text{FFN}(x)$ 및 $x + \text{Attention}(x)$ )을 구(sphere) 위에서의 최적화 단계로 재해석하는 것입니다. 이 관점에서 보면:

**토큰 임베딩(Token embeddings)**은 매니폴드 상의 초기 상태 역할을 합니다.
Attention 및 FFN 모듈은 업데이트 방향(추정된 그래디언트)을 생성합니다.
**정규화(Normalization)**는 제약 집합(구)으로의 투영(projection)으로 간략화됩니다.

표준 정규화(Post-Norm)는 제약 없는 업데이트를 수행한 후 구로의 유클리드 투영을 수행합니다. 저자들은 이 투영 과정이 기하학적 정보를 손실하고 업데이트 방향을 왜곡할 수 있다고 주장합니다. 대신, GeoNorm은 투영 단계를 지수 맵(exponential map)을 사용하는 **지오데식 업데이트(geodesic update)**로 대체합니다.

구 위의 점 $x$ 와 접벡터(tangent vector) $v$ (투영된 업데이트 방향)에 대하여, 업데이트는 지오데식을 따라 내재적으로 수행됩니다:
$\text{exp}_x(v) = \cos\left(\frac{\|v\|}{\|x\|}\right)x + \|x\|\sin\left(\frac{\|v\|}{\|x\|}\right)\frac{v}{\|v\|}$

이 공식은 표현(representation)이 특징 공간의 고유한 기하학적 구조를 보존하면서 매니폴드를 따라 부드럽게 이동하도록 보장합니다. 또한, 저자들은 학습률 스케줄과 유사하게 단계 크기( $\alpha_k$ )를 조절하는 레이어별 업데이트 감쇠(layer-wise update decay) 메커니즘을 도입합니다. 이들은 세 가지 감쇠 전략을 평가했습니다:

조화 감쇠(Harmonic): $\alpha_k = \alpha / k$
제곱근 감쇠(Square Root): $\alpha_k = \alpha / \sqrt{k}$
선형 감쇠(Linear): $\alpha_k = \alpha (T - k) / T$

또한, 논문은 Pre-Norm이 비적응적이고 깊이에 의존적인 각도를 가진 GeoNorm의 특수한 사례로 해석될 수 있음을 이론적으로 입증하여, 두 접근 방식을 단일 기하학적 프레임워크 아래 통합합니다.

주요 기여

이론적 프레임워크: 저자들은 트랜스포머 레이어를 구형 매니폴드 상의 반복적인 최적화 단계로 해석함으로써 Pre-Norm과 Post-Norm 사이의 간극을 메우는 통합된 이론적 관점을 제공합니다.
GeoNorm 알고리즘: 표준 투영 기반 정규화를 지수 맵을 통한 지오데식 업데이트로 대체하는 GeoNorm을 도입합니다. 이 방법은 추가적인 학습 가능 파라미터를 요구하지 않으며 계산 오버헤드도 무시할 수 있는 수준입니다.
레이어별 감쇠: 학습 역학을 안정화하기 위해 어텐션 및 FFN 구성 요소에 대한 새로운 레이어별 업데이트 감쇠를 제안합니다.
실험적 검증: 다양한 모델 크기(125M ~ 1.3B), 데이터셋(Arxiv, Books3, FinWeb-Edu), 그리고 학습 길이에 걸친 광범위한 실험을 통해 방법의 효능을 입증합니다.

실험 결과

논문은 GeoNorm이 테스트된 모든 구성에서 기존 정규화 방법(Pre-Norm, Post-Norm, DeepNorm, SandwichNorm)보다 일관되게 우수한 성능을 보였다고 보고합니다:

성능: 125M 모델을 사용한 Arxiv 및 Books3 데이터셋에서, GeoNorm은 모든 베이스라인과 비교하여 가장 낮은 검증 손실(Arxiv에서 1.8792, Books3에서 3.4040)을 달了一种.
확장성: 모델 크기가 커질수록 성능 우위가 지속되고 더욱 확대됩니다. 1.3B 모델의 경우, GeoNorm은 3.1759의 손실을 기록하며 가장 우수한 베이스라인인 Pre-Norm(3.2067)을 능가했습니다.
안정성: GeoNorm은 특히 긴 학습 과정(최대 4096 시퀀스 길이)에서 탁월한 학습 안정성을 보여주었습니다. Post-Norm이 긴 길이에서 손실 스파이크와 학습 붕괴를 보인 반와 달리, GeoNorm은 안정적인 수렴을 유지했습니다.
감쇠 메커니즘: 감쇠 전략 중 조화 감쇠(Harmonic decay, $\alpha/k$ )가 가장 좋은 성능을 보였으며, 테스트된 데이터셋에서 새로운 벤치마크를 수립했습니다.

의의 및 주장

본 논문은 GeoNorm이 핵심 블록(Attention 또는 FFN)의 수정 없이 표준 트랜스포머 아키텍처에 매끄러운 통합이 가능하며, 추가적인 학습 가능 파라미터를 도입하지 않는다고 주장합니다. 저자들은 지오데식 최적화를 활용함으로써 GeoNorm이 표현들이 구형 매니폴드를 따라 더 일관되게 이동할 수 있게 하여, 정보 전파와 학습 안정성을 개선한다고 단언합니다.

이 연구는 리만 기하학(Riemannian geometry)의 관점에서 정규화 메커니즘을 이해하기 위한 기초적인 단계로 자리매김합니다. Pre-Norm의 경험적 성공이 그 내부의 암시적인 단계 크기 감쇠(step-size decay)로 설명될 수 있음을 시사하며, GeoNorm은 이를 명시적이고 적응적으로 만듭니다. 저자들은 이러한 통합된 관점이 모델을 더 깊고 복잡하게 확장하는 데 있어 트랜스포머 아키텍처 설계의 미래 혁신을 위한 견고한 토대를 제공한다고 결론짓습니다.