技術概要：マルチモーダルモデルにおけるモダリティ競合に対する第二階次マルチレベル分散補正

問題定義

画像生成と言語理解を単一の自己回帰的次トークン予測パラダイム下に統合することは、「モダリティ競合」と呼ばれる重要な課題をもたらした。このアーキテクチャの収束は、シームレスなマルチモーダル基盤モデルを可能にする一方で、事前学習中に深刻な不安定性を引き起こす。核心的な問題は「勾配の不均質性」に起因する。視覚的タスクは通常、高次元で空間的に拡散した予測誤差を伴い、高い分散を示すのに対し、言語的タスクは分散の低いコンパクトな意味多様体に集中する。

AdamW などの標準的な第一階次オプティマイザは対角モーメント推定に依存するため、この幾何学的な不一致は最適化軌道の非最適化を招く。オプティマイザは、複雑で非対角なクロスモーダル共分散構造をモデル化できない。その結果、分散の大きいモダリティ（通常は視覚）がパラメータ更新に不釣り合いな影響を及ぼし、分散は低いが意味的に高密度な言語からの信号を抑制する。これにより、視覚的生成の改善が言語的理解の低下を招き、その逆もまた然りというトレードオフが生じる。さらに、これらのモデルを超巨大なグローバルバッチサイズ（例：8192）にスケーリングすると、粗い集積境界でのみ適用される標準的な分散補正法が微細な勾配の差異を保持できないため、これらの問題は悪化する。

手法

著者らは、マルチレベル分散補正を通じてマルチモーダルアライメントを安定化するように設計された第二階次最適化フレームワーク ML-FOP-SOAP を提案する。この手法は以下の 3 つの柱に基づいている。

1. SOAP による第二階次前処理

第一階次手法の限界に対処するため、本論文は SOAP オプティマイザを活用する。Shampoo が初期段階の視覚的外れ値に脆弱な中心化されていない第二モーメントを使用するのに対し、SOAP は勾配を歪んだ固有基底に射影し、座標ごとの適応的正規化を適用する。これにより、完全なフィッシャー情報行列（FIM）の逆行列計算に伴う prohibitive なメモリコストなしに局所曲率を効果的に捉える、メモリ効率に優れた堅牢な自然勾配（$P(g) \approx F^{-1}g$）の代理が提供される。

2. フィッシャー直交射影（FOP）

SOAP は安定したベースラインを提供するが、モダリティ間のトレードオフを完全に解決するものではない。著者らは、クロスモーダル競合を能動的に中和するために フィッシャー直交射影（FOP） を導入する。

• メカニズム: 平均化されたバッチ勾配にのみ前処理を適用するのではなく、FOP は集積ウィンドウ内のマイクロバッチ間の勾配差（$g_{diff}$）に対して動作する。
• 射影: 内部状態のテンソル前処理器を用いて軽量な前方メトリック代理 $M(v) \approx Fv$ を構築する。差分ベクトルは、フィッシャーメトリックによって定義されたリーマン多様体において、平均降下方向（$g_{avg}$）に対して直交するように射影される。
• 結果: これにより、主要な最適化軌道を妨げることなく、純粋なクロスモーダル分散（$g_{diff}^\perp$）が分離される。最終的な更新方向は、平均勾配とこの分散認識の残差を組み合わせることで、バッチ平均の 1 次元部分空間を超えて探索空間を実質的に拡張する。

3. マルチレベル階層的折りたたみ（ML-FOP）

巨大な勾配集積（バッチサイズ 8192 などで必要とされる）の下で FOP を実行可能にするため、著者らはマルチレベルモンテカルロ（MLMC）パラダイムに着想を得た マルチレベル階層的折りたたみ メカニズムを提案する。

• 戦略: 各マイクロステップで射影を適用する（高いウォールクロックオーバーヘッドを招く）か、あるいはウィンドウ境界でのみ適用する（微細な情報が失われる）のではなく、本手法は集積ウィンドウを二項階層に離散化する。
• 実行: 計算的に軽量な累積スナップショットを再帰的に融合してセグメントレベルの平均を再構成する。これらのマルチスケール要約は、FOP 演算子を用いてボトムアップで処理される。このアプローチは、計算コストを均質化しつつ、集積階層全体にわたる微細なクロスモーダル分散を捉える。

主要な貢献

1. モダリティ競合に対する第二階次最適化: 本論文は体系的に、第一階次手法（AdamW）や標準的な中心化されていない第二階次手法（Shampoo）が極端な視覚的勾配外れ値に直面して困難を抱えるのに対し、SOAP オプティマイザがマルチモーダルアライメントのための堅牢な基盤を確立することを示す。
2. FOP による分散制御: 勾配差を主要な降下軌道に対して直交するように射影する、幾何学的認識を持つ フィッシャー直交射影 メカニズムの導入。これにより、言語的理解と視覚的生成の間の従来のトレードオフが排除され、厳密なパレート改善が達成される。
3. 効率的なマルチレベル FOP: 過剰な計算オーバーヘッドなしに巨大な勾配集積下で分散補正を可能にする、新しい ML-FOP 階層的折りたたみ戦略。これにより、ステップ内のマルチスケール分散が保持される。
4. 超巨大バッチベンチマーク: 統一アーキテクチャ（Janus および Emu3）におけるグローバルバッチサイズ 8192 までのスケーリングによるフレームワークの検証。この領域では既存のオプティマイザは壊滅的な劣化に陥る。

実験結果

実験は、LLaVA-3M および LLaVA-12M データセットの組み合わせで学習された Janus-400M および Emu3-600M モデルで行われた。

• サンプル効率: AdamW と比較して、ML-FOP-SOAP フレームワークはサンプル効率を最大 1.4 倍 向上させる。例えば、Janus-400M において、AdamW が 45 億トークンで収束閾値に達するのに対し、本手法は約 31 億トークンで収束閾値に達する。
• ウォールクロック時間: この手法はエンドツーエンドの学習を最大 1.5 倍 加速する（例：Janus-400M の学習時間を 8.3 時間から 5.5 時間に短縮）。
• モダリティバランス: 画像からテキスト（I2T）およびテキストから画像（T2I）タスクの分離された損失曲線は、標準的な SOAP が T2I 生成を改善する一方で I2T ではしばしばプラトーに陥ることを示す。ML-FOP-SOAP は両方の損失を同時に下方に駆動することに成功し、厳密なパレート改善を達成する。
• スケーラビリティ: グローバルバッチサイズ 8192 において、AdamW および標準的な SOAP は早期のプラトー化に陥る。ML-FOP-SOAP のみが連続的な下降軌道を維持し、超巨大バッチ領域における堅牢な安定性を示す。

意義と主張

本論文は、マルチモーダル基盤モデルのスケーリングのための堅牢なオプティマイザを提供すると主張する。その意義は、モダリティ競合への解決策をアーキテクチャの変更（例：デカップルドエンコーダ）から、最適化インフラそのものへシフトさせる点にある。

著者らは、第二階次前処理とフィッシャー認識分散補正を統合することで、以下のことが可能になると主張する。

1. 視覚的および言語的勾配の固有の幾何学的不一致に対する、統一された自己回帰モデルの学習を安定化させること。
2. モダリティ間のトレードオフを解決し、生成タスクと理解タスクの同時改善を可能にすること。
3. 標準的なオプティマイザで見られる壊滅的な劣化なしに、前例のないバッチサイズ（8192）での学習を実現し、現代の GPU クラスターにおけるハードウェア利用率を向上させること。

この研究は、将来の大規模マルチモーダル事前学習において、モデルアーキテクチャと同様にオプティマイザの選択が重要であり、第二階次かつ分散認識の手法が、安定かつ効率的なスケーリングのための必要な道筋を提供することを示唆している。