💬 NLP

GeoNorm: Unify Pre-Norm and Post-Norm with Geodesic Optimization

本論文は、層ごとの減衰を伴う多様体上の測地線更新として層の出力を解釈することで、Pre-NormとPost-Normのアプローチを統合する新しい正規化手法であるGeoNormを導入し、Transformerモデルにおいて無視できるほどの計算オーバーヘッドで一貫した性能向上を実現する。

原著者： Chuanyang Zheng, Jiankai Sun, Yihang Gao, Chi Wang, Yuehao Wang, Jing Xiong, Liliang Ren, Bo Peng, Qingmei Wang, Xiaoran Shang, Mac Schwager, Anderson Schneider, Yuriy Nevmyvaka, Xiaodong Liu

公開日 2026-01-30

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Chuanyang Zheng, Jiankai Sun, Yihang Gao, Chi Wang, Yuehao Wang, Jing Xiong, Liliang Ren, Bo Peng, Qingmei Wang, Xiaoran Shang, Mac Schwager, Anderson Schneider, Yuriy Nevmyvaka, Xiaodong Liu

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

ロボットに物語の書き方を教えようとしている場面を想像してみてください。これを行うために、ロボットは「Transformer」という複雑な機械を使用します。この機械の中には、「アテンション・ワーカー」や「フィードフォワード・ワーカー」のような多くの「ワーカー（作業員）」の層があり、彼らが情報の鎖を次へと渡していきます。

ワーカーが次のワーカーへメッセージを渡すたびに、そのメッセージは「正規化（ノーマライズ）」される必要があります。正規化とは、メッセージが大きすぎたり（うるさすぎたり）、小さすぎたり（静かすぎたり）しないように調整する「音量つまみ」や「定規」のようなものです。

長い間、エンジニアにはこの音量つまみを調整する2つの主要な方法がありました。

Post-Norm: ワーカーが仕事を終え、メッセージを鎖に加えた「後」で、誰かが音量をチェックして調整します。
Pre-Norm: ワーカーが仕事を始める「前」に、誰かが音量をチェックし、ワーカーが常に完璧なサイズのメッセージからスタートできるようにします。

どちらの方法も機能しますが、それぞれに欠点があります。Post-Normは時として音量が激しく跳ね上がり（ハウリングのような現象）、Pre-Normは初期のワーカーが後半のワーカーに比べて叫びすぎてしまうことがあります。

新しいアイデア: GeoNorm

この論文の著者たちはこう言います。「なぜ私たちは単に定規で音量をチェックしているのでしょうか？メッセージが通る『経路』について考えましょう」

彼らは、これらのメッセージの動き方は、平らな床の上を歩くのではなく、**地球儀（球体）**の表面を歩くようなものであることに気づきました。

古い方法（投影）: あなたが地球儀の上を歩いていると想像してください。あなたは直線的な一歩を踏み出します（レーザー光線のように）。もし真っ直ぐ歩き続けると、あなたは地球儀から外れて宇宙へと落ちてしまいます。これを修正するために、古い手法は「おっと、落ちた！さあ、真っ直ぐ地面に引き戻そう」と言います。これは、方向を歪ませてしまうような、不器用で唐突な修正です。これが Post-Norm です。
新しい方法（測地線）: 著者たちは、直線的に進んで落ちてしまう代わりに、地球儀の曲面の表面に沿って歩くべきだと提案しています。数学において、曲面上の最短経路は**測地線（geodesic）**と呼ばれます（例えば、飛行機がニューヨークからロンドンへ移動する際、直線ではなく弧を描いて飛ぶのと同じです）。

GeoNorm は、この不器用な「引き戻す」方法を、スムーズな「曲線に沿って歩く」方法に置き換えます。これは、メッセージが自然に「地球儀」の上に留まり、唐突な修正を受けることなく曲線に従って進めるように、**指数写像（exponential map）**という数学的ツールを使用します。

「減衰（Decay）」のトリック

また、この論文では「ステップサイズ（ロボットが踏み出す歩幅）」を扱うスマートな方法も紹介しています。

山登りをしているところを想像してください。麓では、大きく自信に満せある足取りで進めます。しかし、高度が上がり地形が難しくなるにつれて、より小さく慎重なステップを踏むべきです。
GeoNormはこの論理を適用します。最初は大きな更新を行い、ネットワークの深い層へと進むにつれて、徐々にステップを小さくしていきます。これにより、ロボットが連鎖の終盤でつまずいたり混乱したりするのを防ぎます。

何が分かったのか？

著者たちは、この新しい方法をさまざまな「ハイキングコース（ArxivやBooks3などのデータセット）」と、さまざまな「ロボットのサイズ（小規模から巨大なモデルまで）」でテストしました。

優れたパフォーマンス: GeoNormを使用したロボットは、一貫して学習が速く、古い方法よりも優れた「スコア（エラー率の低さ）」に到達しました。
安定性: 古い手法は、特にロボットが非常に深く、あるいは学習が長時間に及ぶ場合、「損失スパイク（性能の突然の低下）」が発生することがありました。GeoNormは非常にスムーズで、クラッシュすることはありませんでした。
追加コストなし: 最も素晴らしい点は、この新しい「地球儀の上を歩く方法」は、ロボットに重いバックパックを背負わせる必要がないことです。これは、追加のメモリを必要としたり、コンピュータを遅くしたりすることはありません。単に、ロボットの「動き方」を変えるだけなのです。

要約すると

この論文は、AIのメッセージを箱の中に押し込める（古い正規化手法）のではなく、それらが本来進むべき曲面の表面に沿って自然に流れるべきだと主張しています。これを行うことで、AIはより安定し、より良く学習し、それを達成するために余分な計算能力を必要としません。

技術要約: GeoNorm: 測地線最適化による Pre-Norm と Post-Norm の統合

問題提起

Transformer アーキテクチャにおける正規化層の配置（具体的には Pre-Norm と Post-Norm の選択）は、学習の安定性、モデルの性能、および勾配の流れに影響を与える重要な設計上の決定事項であり続けている。Pre-Norm は、その安定性から現代の大規模言語モデル（LLM）において主流となっているが、下位レイヤーが上位レイヤーよりも大きな更新を受けるという不均衡な勾配を生じさせる。一方、Post-Norm は、深いネットワークの学習を促進するように設計されたものの、学習の不安定性や損失のスパイク（急上昇）を引き起こしやすい。DeepNorm や SandwichNorm といった既存の解決策は、パラメータの初期化や追加の正規化層を通じて安定性を向上させているが、これらのメカニズムを分析するための統一的な理論的枠組みを欠いている。

手法

著者らは、多様体最適化に基づいた新しい正規化手法である GeoNorm を提案している。その核心となる理論的洞察は、標準的な Transformer の更新操作（ $x + \text{FFN}(x)$ および $x + \text{Attention}(x)$ ）を、球面上での最適化ステップとして再解釈することである。この観点では：

トークン埋め込みは、多様体上の初期状態として機能する。
Attention および FFN モジュールは、更新方向（推定勾配）を生成する。
正規化は、制約集合（球体）への射影として捉えられる。

標準的な正規化（Post-Norm）は、制約のない更新を行った後、ユークリッド空間における球体への射影を行う。著者らは、この射影が幾何学的情報を破棄し、更新方向を歪ませる可能性があると主張している。代わりに、GeoNorm は射影ステップを、指数写像を用いた**測地線更新（geodesic update）**に置き換える。

点 $x$ （球面上）と接ベクトル $v$ （射影された更新方向）に対して、更新は測地線に沿って内因的に行われる：
$\text{exp}_x(v) = \cos\left(\frac{\|v\|}{\|x\|}\right)x + \|x\|\sin\left(\frac{\|v\|}{\|x\|}\right)\frac{v}{\|v\|}$

この定式化により、表現は多様体に沿って滑らかに移動し、特徴空間の内在的な幾何学性を保持することが保証される。さらに、著者らは学習率スケジュールの類推として、ステップサイズ（ $\alpha_k$ ）に対するレイヤーごとの更新減衰メカニズムを導入している。彼らは以下の3つの減衰戦略を評価した：

調和型 (Harmonic): $\alpha_k = \alpha / k$
平方根型 (Square Root): $\alpha_k = \alpha / \sqrt{k}$
線形型 (Linear): $\alpha_k = \alpha (T - k) / T$

また、本論文では、Pre-Norm が非適応的で深さに依存する角度を持つ GeoNorm の特殊なケースとして解釈できることを理論的に示し、これら2つのアプローチを単一の幾何学的枠組みの下で統一している。

主な貢献

理論的枠組み: 著者らは、Transformer レイヤーを球状多様体上の反復的な最適化ステップとして解釈することで、Pre-Norm と Post-Norm の間の溝を埋める統一的な理論的視点を提供する。
GeoNorm アルゴリズム: 標準的な射影ベースの正規化を、指数写像による測地線更新に置き換える GeoNorm を導入する。この手法は追加の学習可能パラメータを必要とせず、計算オーバーヘッドも極めて小さい。
レイヤーごとの減衰: 学習ダイナミクスを安定させるための、Attention および FFN コンポーネントに対するレイヤーごとの更新減衰の斬新な提案。
実証的検証: 様々なモデルサイズ（125M から 1.3B）、データセット（Arxiv, Books3, FinWeb-Edu）、および学習長にわたる広範な実験により、その有効性を実証している。

実験結果

本論文は、GeoNorm がテストされたすべての構成において、既存の正規化手法（Pre-Norm, Post-Norm, DeepNorm, SandwichNorm）を一貫して上回ることを報告している。

性能: 125M モデルを用いた Arxiv および Books3 データセットにおいて、GeoNorm はすべてのベースラインと比較して最も低い検証損失（Arxiv で 1.8792、Books3 で 3.4040）を達成した。
スケーラビリティ: モデルサイズが大きくなるにつれて、性能の優位性は維持され、さらに拡大する。1.3B モデルにおいて、GeoNorm は 3.1759 の損失を達成し、最良のベースライン（Pre-Norm の 3.2067）を上回った。
安定性: GeoNorm は、特に長い学習実行（シーケンス長 4096 まで）において、優れた学習安定性を示した。Post-Norm が長いシーケンス長で損失のスパイクや学習の崩壊を示した一方で、GeoNorm は安定した収束を維持した。
減衰メカニズム: 減衰戦略の中では、調和減衰（ $\alpha/k$ ）が最高の性能を示し、テストされたデータセットにおいて新たなベンチマークを確立した。

意義と主張

本論文は、GeoNorm がコアブロック（Attention または FFN）の変更を必要とせず、追加の学習可能パラメータも導入しない、標準的な Transformer アーキテクチャへのシームレスな統合を提供すると主張している。著者らは、測地線最適化を活用することで、GeoNorm が表現を球状多様体に沿ってより一貫して移動させ、情報の伝播と学習の安定性を向上させると断言している。

本研究は、リーマン幾何学の観点から正規化メカニズムを理解するための基礎的なステップとして位置づけられる。Pre-Norm の経験的な成功は、その暗黙的なステップサイズ減衰によって説明できることが示唆されており、GeoNorm はこれを明示的かつ適応的なものにする。著者らは、この統一的な視点が、特にモデルをより深い階層や複雑な構造へとスケールアップさせる際の、Transformer アーキテクチャ設計における将来の革新のための強固な基盤を提供すると結論付けている。