🤖 machine learning

No Subspace to Track: Non-Identifiability and Optimizer State in Low-Rank Training

本論文は、GaLoreのようなメモリ効率の高いオプティマイザによって追跡可能であると想定されている低ランク勾配部分空間が、高い推定ノイズのために根本的に識別不可能であることを示し、性能の向上は部分空間の安定性からではなく、部分空間のリフレッシュを跨いでオプティマイザの状態を正しく輸送することに由来することを明らかにしている。

原著者： Noel Thomas

公開日 2026-07-08

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Noel Thomas

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

本質的なアイデア：幽霊を追いかける

巨大なロボット（大規模言語モデル）に言葉を教えようとしている場面を想像してください。これを効率的に行うために、ロボットはGaLoreと呼ばれる特別なトリックを使います。

このトリックは次のような仕組みです。数分おきに、ロボットは直前に犯した「間違い」（勾配）を確認し、その間違いが発生している上位128個の方向を見つけ出そうとします。そして、それ以外のすべてを無視し、その128個の方向にのみ学習を進めます。ここでの前提は、これら128個の方向は「ゆっくりと動く川」のようなものであり、少しずつ漂いながらも、基本的には同じ場所に留まり続けるため、ロボットがそれらを「追跡（トラック）」できるというものです。

この論文の主要な発見は衝撃的です： その川はゆっくりと流れているのではありません。そもそも川ですらありません。それは、見るたびに形を完全に変えてしまう「滝」なのです。

著者たちは、約39個という極めて小さなコアを除いて、ロボットが選ぶ「上位128個の方向」は、本質的にはランダムなノイズであることを証明しました。もしロボットが今ある一連の方向を選び、その10秒後に別のセットを選んだとした場合、その2つのセットは（まるで2人の人が帽子から128個の数字をランダムに選んで、ほとんど一致しないのと同様に）ほぼ完全に異なるものになります。

では、なぜGaLoreは機能するのか？

あなたはこう疑問に思うかもしれません。「方向がランダムに変わり続けているなら、なぜロボットは学習できているのか？」

論文では、GaLoreが特定の経路を追跡しているからではなく、エネルギーを捉えているからだと説明しています。

比喩： バケツで雨を受け止めようとしている場面を想像してください。雨粒が正確にどこに落ちるかをすべて知る必要はありません。ただ、雨が降っているおおよその場所にバケツを構えておけばよいのです。
「上位128個の方向」が毎回完全に変わってしまうとしても、それらは間違いの総「エネルギー」（有用な情報）の約67〜73%を依然として捉えています。そのため、マップ（地図）を絶えず切り替えながらも、ロボットは学習を継続できるのです。

なぜ平均化は役に立たないのか

この「変化するマップ」の問題を解決するための自然なアイデアは、「過去10,000個のマップを見て、それらを平均することで安定した一つのマップを得よう」というものです。

著者らがこれをテストしたところ、うまくいかないことが判明しました。

比喩： 雨が単なるランダムなノイズではなく、特定の風や雲のパターン（信号）である場面を想像してください。時間をかけて雨を平均化しようとしても、雨が「どこにあるか」の明確な絵は得られず、ただぼやけた塊ができるだけです。
ロボットの間違いに含まれる「ノイズ」は、単なる静止したノイズではありません。それは、平均化しようとしても非常にゆっくりと縮小していく複雑な信号なのです。どれほど平均化しても、安定した「上位128個」のリストを作ることはできません。なぜなら、そのリスト自体が安定した形で存在していないからです。

真の問題：ロボットの記憶

真の問題はマップではなく、ロボットの記憶にあります。
ロボットはAdamというオプティマイザ（最適化アルゴリズム）を使用しており、これには長期的な記憶（過去1,000ステップの間違いを覚えている）があります。

問題点： ロボットがマップを更新（リフレッシュ）するたびに（160ステップごと）、マップは90度回転します。しかし、ロボットの記憶は依然として「古いマップ」を指したままです。これは、ステアリングホイール（ハンドル）が突然90度回転したのに、手はまだ古い位置でハンドルを握っている状態で車を運転しているようなものです。ロボットは、もはや存在しないマップに基づいて操縦しようとしているのです。

論文で見出された解決策

著者らは、この「ステアリングホイール」問題を解決するために2つの方法をテストしました。

記憶を回転させる（トランスポート）： 記憶を古い位置に置き去りにするのではなく、新しいマップに合わせて物理的に回転させるべきです。
- 結果： これは非常によく機能しました。これは、ハンドルが回転したことに気づき、すぐに自分の手を合わせて回転させた状態と同じです。
記憶を短縮する： ロボットの記憶は長すぎます（1,000ステップ前まで覚えている）。マップが160ステップごとに更新されることを考えると、1,000ステップ前を覚えていることは無意味です。なぜなら、それらの古いステップは全く別の世界のものであるからです。
- 結果： ロボットに（1,000ステップではなく）直近の100ステップだけを記憶させるように指示することで、古いマップに基づいて操縦しようとするのを防げます。これもまた、うまく機能しました。

ビルダーへの教訓

もしあなたがこれらの低ランク手法を利用したシステムを構築しているのであれば、論文からのアドバイスは以下の通りです。

部分空間（サブスペース）を追跡しようとしないでください。 それは幽霊です。変化が速すぎて追跡できません。
自身の「再現可能なランク（Reproducible Rank, $k^*$ ）」を確認してください。 128というランクを信頼する前に、実際にいくつの方向が「本物」であるかを確認してください。論文では、約39だけが本物であり、残りはノイズであることが示されました。
もし「真の数」よりも高いランクを使用する場合：
- 記憶を回転させる： オプティマイザの記憶が、新しいマップと共に移動するようにしてください。
- 記憶を短縮する： ロボットが遠すぎる過去まで記憶しないようにしてください。
- 平均化をやめる： マップを安定させるために平均化しようとして時間を無駄にしないでください。それはうまくいきません。

要約すると： 「低ランク部分空間」は、追いかけることができる安定した物体ではありません。それは急速に変化する雲のようなものです。これらのシステムを機能させるコツは、雲をより良く追跡することではなく、代わりに、絶え間ない変化に対処できるように記憶を調整することなのです。

技術要約：「追跡すべき部分空間は存在しない：低ランク学習における非識別性とオプティマイザの状態」

問題提起

GaLore (Zhao et al., 2024) のようなメモリ効率の高いオプティマイザは、勾配を周期的に再計算される低ランク部分空間（ランク $r$ ）に投影し、その部分空間内でAdamを実行することで、大規模言語モデルの学習におけるメモリフットプリントを削減する。この手法の根底にある幾何学的な前提は、上位 $r$ の勾配部分空間が、意味を持ち、かつ緩やかにドリフトするオブジェクトであり、リフレッシュ間隔（ $T$ ステップ）にわたって追跡可能であるというものである。もしこの前提が成立していれば、連続する部分空間の推定値は類似したものになり、リフレッシュを跨いでオプティマイザの状態（モーメント）を保持する場合でも、軽微な補正のみで済むはずである。

本論文はこの前提に異議を唱え、再現可能な小さなコアを除いて、上位 $r$ の部分空間は安定したオブジェクトではなく、統計的に非識別（non-identifiable）であることを主張する。したがって、各リフレッシュ時における部分空間の見かけ上の「回転」は、安定した幾何学的構造の動きではなく、推定器のノイズによって支配されているのである。

手法

著者らは、部分空間の安定性と非識別性がオプティマイザの性能に与える影響を定量化するために、厳密な測定フレームワークを採用している。

部分空間の回転測定: 著者らは、古い基底 ( $U_{old}$ ) と新しい基底 ( $U_{new}$ ) の間の回転を測定するための、符号補正済みコダル距離（chordal distance）指標 ( $\|\Delta U\|_F$ ) を導入した。この指標は 0（同一）から $\sqrt{2r}$ （直交）の範囲をとる。
同一ステップ・コントロール（「時間なし」テスト）: 真の経時的なドリフトと推定器のノイズを区別するため、著者らは単一のミニバッチを同じ学習ステップにおいて2つの互いに素な半分に分割した。そして、それぞれの半分に対して上位 $r$ の部分空間を計算し、その不一致を測定した。もし部分空間が勾配の安定した特性であるならば、同一ステップの推定値は一致するはずである。もしそれらが $T$ ステップ離れた推定値と同程度に不一致であるならば、その回転はノイズであると言える。
スペクトル分析: 勾配の特異値スペクトルを分析し、安定した部分空間のカットを正当化するようなスペクトルギャップが存在するかどうかを判定した。
平均化実験: 勾配を $N$ ステップにわたって平均化する（あるいは基底を時間軸で平均化する）ことで、スペクトルギャップを開き、識別性を「救済」できるかどうかを検証した。
救済策の評価: 部分空間の再描画によるコストを軽減するための3つの戦略をテストした。
- 基底の平均化: 共分散行列の指数移動平均（EMA）を用いて基底を安定させる。
- 状態の転送（State Transport）: 回転行列 $R = U_{new}^\top U_{old}$ を通じて、オプティマイザのモーメント（第1および第2モーメント）を明示的に転送する（LDAdamで行われている手法）。
- メモリの短縮: Adamの減衰パラメータ $\beta_2$ を減少させ、第2モーメントのメモリを短縮することで、以前の部分空間からの古い統計量の統合を防ぐ。

実験は、70Mから6.9Bのパラメータを持つ4つのモデルファミリー（Pythia, GPT-2, Qwen2.5, Llama-3）およびVision Transformer (ViT-B) にわたって実施された。

主な知見

1. 部分空間は非識別である

最大回転: すべてのリフレッシュにおいて、測定された回転 $\|\Delta U\|_F$ は、幾何学的な最大値 $\sqrt{2r}$ の96.7～99.6%に達する。新しい基底は、古い基底に対してほぼ直交している。
ノイズの支配: 同一ステップ・コントロールにより、同じバッチの互いに素な半分から得られた2つの推定値は $0.725\sqrt{2r}$ の不一致を示し、これは時間経過に伴う回転の $0.742\sqrt{2r}$ とほぼ同等であった。この「回転」は運動ではなく、推定器のノイズである。
再現可能なコア ( $k^\star$ ): 再現可能な方向はごくわずかである。 $r=128$ の場合、ミニバッチ間で一貫している方向は $k^\star \approx 39$ 程度であった。残りの $r - k^\star$ 方向は、実質的にランダムに抽出されたギャップのないテール成分である。

2. スペクトルの原因と平均化の失敗

ギャップのないスペクトル: 勾配のスペクトルは、少数の支配的なスパイク（数個から約20方向）に続いて、滑らかで等方的なテールが続く。 $r=128$ における隣接する特異値比は約1.005である。
信号であってノイズではない: 深いスペクトルのテールはサンプリングノイズではなく、べき乗則に従う信号である。 $N$ 回の平均化を行っても、このテールは純粋なノイズに期待される $N^{-1/2}$ ではなく、 $N^{-1/4}$ の速度でしか減少しない。したがって、有限の平均化予算では、ギャップを開いたり部分空間を安定させたりすることはできない。
平均化の失敗: 基底を10,000ステップにわたって平均化しても、リフレッシュあたりの回転はわずかに減少するのみ（97%から84%へ）であり、最終的なパープレキシティへの影響はほとんどなかった（差はわずか0.36）。

3. なぜ GaLore は機能するのか

部分空間の安定性が欠如しているにもかかわらず、GaLore が機能するのは、投影の主な役割が追跡ではなくエネルギーの捕捉だからである。勾配のテールはほぼ等方的であるため、支配的なスパイクを含む任意の $r$ 次元のフレームであれば、概ね一定の割合の勾配エネルギー（ $\gamma_g \approx 0.67–0.73$ ）を捕捉できる。降下方向を決める上では、特定の方向の選択は重要ではなく、エネルギーの割合が維持されている限り、どの方向であっても問題ではない。

4. 効果的な救済策

再描画のコストは、持ち運ばれるオプティマイザの状態、特に第2モーメント（分散）の鮮度（staleness）である。

状態の転送: 第1モーメントを $R$ によって転送し、第2モーメントを $R$ の要素の二乗によって転送することが最適である。第2モーメントを盲目的に持ち運ぶことは、理論的に $\approx (r - k^\star)/2$ の割合で劣る。制御されたテストにおいて、デフォルトの $\beta_2=0.999$ で状態を転送した場合、18.73 のパープレキシティを達成し、転送を行わない GaLore の 19.28 を上回った。
メモリの短縮: $\beta_2$ を 0.999 から 0.99 に下げることは、リフレッシュされるオプティマイザにとって、以前の部分空間から得られた古い統計量の蓄積を防ぐため、有効である。これにより、オプティマイザやレシピに応じてパープレキシティが1.8から26ポイント改善した。
基底平均化の無効性: 前述の通り、平均化によって基底を安定させようとする試みは、部分空間が根本的に非識別であるため、効果がない。

意義と主張

本論文は、低ランク勾配オプティマイザの背後にある幾何学的前提を直接測定した初めての研究であり、通常使用されるランクにおいてはその前提が偽であることを示した。

メカニズムの明確化: 本論文は、GaLore が安定した構造を追跡しているからではなく、事実上再描画されるフレームの中で一定の割合の勾配エネルギーを捕捉しているから機能するということを明らかにしている。
診断ツール: 著者らは実用的なプローブを提案している。バッチを分割して再現可能なランク $k^\star$ を測定することである。もし選択されたランク $r > k^\star$ であれば、超過した方向はノイズである。
エンジニアリングへの処方箋: 著者らは、低ランク学習に対する2つの実行可能な修正策を提示している。
1. 状態を盲目的に持ち運ぶのではなく、回転を通じて状態を転送する（LDAdamのように）。
2. 第2モーメントのメモリを減らすために $\beta_2$ を 0.99 に下げる。これにより、周期的な再描画による鮮度の低下を緩和する。
適用範囲: これらの知見は、勾配の部分空間を明示的に計算し更新するオプティマイザ（GaLore ファミリー）に特有のものである。LoRA のような、勾配の部分空間を計算しないパラメータ化には適用されない。

著者らは、「オブジェクト」（安定した低ランク部分空間）は小さなコアを除いて存在せず、それを追跡しようとする試みは幻影を追いかけるものであると結論づけている。進むべき道は、再描画を認め、それに合わせてオプティマイザの状態を適応させることにある。