技術要約: FOGO (Forgetting-aware Orthogonalization Optimizer)

1. 問題提起

本論文は、忘却（forgetting）が単に継続学習（CL）に特有の失敗モードではなく、標準的な確率的訓練に内在する根本的な最適化現象であると主張している。著者らは、標準的な訓練中、支配的なミニバッチ勾配が希少だが有用な更新方向を抑制し、その結果、あらゆるステップで短期的な忘却が発生していると断定している。これらの抑制された方向が再び参照されないとき、損失は累積し、継続学習における古典的な失敗モードである長期的な忘却へとつながる。

既存の解決策は、標準的な訓練とタスク逐次的なCLを別個の問題として扱うことが多い。勾配干渉手法（OGDやGEMなど）は衝突の解決を試みるが、生のデータやフルランクの勾配基底の保存に依存することが多く、これらは数十億パラメータを持つモデルにはスケールしない。対照的に、行列を意識したオプティマイザ（Muonなど）は直交化によってコンディショニングを改善するが、時間の経過とともに歴史的な更新方向を明示的に保持するメカニズムを欠いている。

2. 手法: FOGO

著者らは、標準的な学習および継続学習の両方のレジームにおいて、勾配干渉を継続的に検出し解決するように設計されたスケーラブルなオプティマイザであるFOGOを導入する。FOGOは生のデータを保存することなく、勾配方向のコンパクトな投影メモリに依存して動作する。

コアメカニズム

1. スペクトル直交化 (Spectral Orthogonalization):
   FOGOは、支配的な特異方向が最適化の軌跡を独占することを防ぐために、モーメントムの更新を直交化する。ニュートン・シュルツ反復（Newton–Schulz iterations）を用いて特異スペクトルを平坦化することで、弱いが一貫性のある更新方向が、高エネルギーモードによって上書きされることなく、可視性を保ち、更新に寄与することを保証する。

2. デュアルストリーム・モーメンタム (Dual-Stream Momentum):
   安定した傾向と新たな方向の両方を捉えるために、FOGOは2つのモーメンタム状態を維持する：

   • スロー・ストリーム ($B^{(s)}$): 持続的な傾向を捉える。
   • ファスト・ストリーム ($B^{(f)}$): 最近の変化を追跡する。
     これらは、可塑性と安定性のバランスをとるために、球面線形補間（SLERP）を介して融合される。

3. ランダム投影によるコンパクトな方向メモリ (Compact Directional Memory via Random Projection):
   生の勾配を保存する代わりに、FOGOは固定されたラデマッハー・ランダム投影行列 $\Pi$ を使用して、高次元の更新を低次元空間（$d \ll |\theta|$）に投影する。

   • 理論的根拠: ジョンソン＝リンデンストラウスの補題を活用することで、この投影は高い確率で勾配ベクトル間のペアワイズ距離を保持し、勾配分布の幾何学的構造を維持する。
   • コードブック: 投影された更新は、指数移動平均（EMA）統計量を用いた球面コードブック（セントロイド）へと要約される。このコードブックは、代表的な過去の方向のメモリとして機能する。

4. 衝突解決 (Conflict Resolution):
   各ステップにおいて、FOGOは現在の直交化された更新をコードブックと比較して衝突を解決する：

   • 短期フィルタリング: 保存された方向と逆方向（衝突）である成分、または支配的な局所方向と過度に一致（崩壊のリスク）している成分を特定し、抑制する。これは、投影空間における軽量な直交補正を通じて実現される。
   • 長期保護: タスク完了後、重要なセントロイドは重要度重みと共に凍結される。後続のタスクにおいて、更新はこれらの凍結された方向に対してほぼ直交し続けるよう制約され、敏感な過去のタスク知識の破滅的な忘却を防ぐ。

5. 近接リフティング (Proximal Lifting):
   ランダム投影 $\Pi$ は逆行列を持たないため、投影空間での補正された更新は、近接最小二乗ステップを介して元の高次元パラメータ空間へとリフトされる。これにより、元の空間における歪みを最小限に抑えつつ、投影された制約と一貫した補正が行われることが保証される。

3. 主な貢献

• 忘却の統一的視点: 本論文は、忘却を、継続学習という特定のCL問題としてではなく、勾配干渉から生じる一般的な最適化問題として再定義している。
• スケーラブルなオプティマイザレベルのメモリ: FOGOは、低次元の投影空間内で完全に動作するメモリメカニズムを導入している。これにより、生のデータを保存したり高価なフルランク分解を行ったりすることなく、勾配の幾何学的な追跡と衝突解決が可能になり、大規模モデル（LLaVA-7B、GPT-2など）へのスケーラビリティを実現している。
• デュアルメカニズム設計: スペクトル直交化（希少な方向を露出させるため）と方向メモリ（それらを保持するため）の組み合わせは、短期的な抑制と長期的な忘却の蓄積の両方に対処する。
• 理論的保証: 本論文は、標準的なモーメンタムの下でオフサブスペース方向がいかに抑制されるか、またFOGOのメモリ保護がいかに未制約のサブスペースを適応のために自由なままにしつつ、学習された方向を保持するかを示す理論的分析（定理1、系2および3）を提供している。

4. 実験結果

FOGOは4つの異なる設定で評価され、AdamおよびMuon（ならびにUPGD、CBP、FIREなどの他のCLベースライン）を一貫して上回った：

• クラス不均衡分類 (CIFAR-10): 希少クラス（データ量の10%）を含む設定において、FOGOは希少クラスの精度を約2〜3%向上させ、AdamおよびMuonと比較して希少クラスの忘却を約6%減少させた。アブレーション研究により、短期フィルタリングがこの改善の主要な要因であることが確認された。
• 継続的視覚学習 (Continual Visual Learning):
  • Domain-IL (PACS): FOGOは、リプレイなしの条件下で最も低い平均忘却（AF）を達成し、MuonをAFにおいて2.67ポイント上回った。リプレイ（ER）を用いることで、さらなる性能向上を実現した。
  • Class-IL (CIFAR-10): FOGOは、Adam、Muon、およびUPGDよりも高い精度と低い忘却率を達成した。
• 継続的ファインチューニング (LLaVA-7B): 継続的VisualQAベンチマーク（10の推論タスク）において、FOGOはAdamWおよびMuonと比較して、平均性能を約2ポイント向上させ、総忘却量を約10ポイント減少させた。分析によれば、FOGOはよりバランスの取れたエキスパート特徴の分散を誘導し、エキスパートの崩壊を緩和している。
• 言語事前学習 (GPT-2): OpenWebTextを用いた標準的な教師なし事前学習において、FOGOはAdamおよびMuonよりも早く収束した。これは特に初期段階（最初の30Kステップ）において顕著であり、非継続的設定においても恩恵があることを示唆している。

5. 意義と主張

本論文は、忘却はオプティマイザレベルで解決可能な一般的な最適化問題であると主張している。スペクトル直交化とコンパクトでデータフリーな方向メモリを通じて勾配干渉を解決することにより、FOGOは、標準的な学習と継続学習の両方のシナリオにおいて知識を保持するための実用的な経路を提供する。

著者らは、FOGOが生のデータやモデルのスナップショットを保存する必要がないことを強調しており、メモリが制約となる大規模モデルに適しているとしている。FOGOは、デュアルストリーム直交化と投影操作により、Adamと比較してわずかな計算オーバーヘッドを導入するが、論文では、収束、性能、および知識保持の一貫した向上を考慮すれば、これは許容範囲内であると論じている。本研究は、忘却に対する将来の解決策が、最適化戦略とアーキテクチャおよびデータの戦略を統合すべきであり、FOGOはその中の「最適化」の軸に対処するものであることを示唆している。