技術要約：高忠実度な暗黙的ニューラル表現のためのランク最適化

1. 問題提起

暗黙的ニューラル表現（Implicit Neural Representations; INR）は、形状、画像、シーン、医療データなどの多様な信号モダリティをモデル化するための多才なフレームワークとして普及しています。しかし、標準的なReLU活性化関数を用いたバニラな多層パーセプトロン（MLP）は、「スペクトルバイアス」に苦しむことが広く知られています。これは、高周波成分を効果的に表現することを妨げる本質的なアーキテクチャの限界です。

その結果、この分野では、フーリエ特徴量のような座標エンコーディングや、特殊な活性化関数（SIREN、WIREなど）といったアーキテクチャによる介入に焦点が当てられてきました。これらの手法は表現力を向上させますが、新たな課題も導入します。すなわち、非常に表現力の高いアーキテクチャは暗黙的な正則化を欠きやすく、不良設定の逆問題において振動パターンを引き起こす一方、低周波バイアスを持つアーキテクチャは微細なディテールを適合させることに失敗する可能性があるという点です。

本論文は、低周波バイアスがアーキテクチャ自体の欠陥であるという一般的な見解に異議を唱えます。著者らは、バニラなMLPが高周波信号を適合できない理由は、ネットワークのアーキテクチャ自体ではなく、**安定ランクの崩壊（stable rank degradation）**にあると主張しています。彼らは、バニラなMLPが高周波信号を適合できないのは、重みの更新における有効次元数の崩壊に起因すると考えています。

2. 手法：安定ランクの観点から

著者らは、フォーカスをアーキテクチャ設計から最適化のダイナミクスへと移し、「安定ランク（stable rank）」という概念を統一的な指標として活用しています。

2.1 理論的枠組み

本論文は、活性化と重み更新の間の線形代数的な関連性を確立しています。層 $l$ において、重みに関する勾配は、アップストリームの勾配と入力活性化の外積として定義されます：$\nabla W_l \mathcal{L} = G_{l+1} H_l^\top$。

• ランク制約: 重み更新の行空間は、バッチ活性化の張る空間に含まれます（$rowspace(\nabla W_l \mathcal{L}) \subseteq colspace(H_l)$）。
• 劣化: 座標ベースのネットワークでは、入力活性化が低次元の部分空間に存在することがよくあります。層を通じて信号が伝播する際、非線形性は局所的にランクを増加させることがありますが、特定の介入がない限り、ネットワークは漸次的に低次元の部分空間で動作する傾向があり、これが「ランク崩壊」を招きます。
• 安定ランク: 著者らは、これらの更新の有効次元量を定量化するために、安定ランク $s(A) = \frac{\|A\|_F^2}{\|A\|_2^2}$ を使用します。低い安定ランクは、更新が少数の特異方向に集中していることを示しており、これがネットワークが高周波の詳細を学習する能力を制限しています。

2.2 既存の介入の再解釈

著者らは、一般的なアーキテクチャの修正をこのレンズを通して再解釈しています。

• 入力レベル（例：フーリエ特徴量）: これらは入力バッチ行列 $H_0$ を拡張し、第1層の更新における安定ランクの上限を増加させます。
• 活性化レベル（例：SIREN、BatchNorm）: これらは、ネットワーク全体を通じて活性化の張る空間 $H_l$ を維持することを目指し、深さとともにランクが減少するのを防ぎます。

2.3 提案される解決策：Muon オプティマイザ

本論文は、最も直接的な解決策はオプティマイザのレベルで介入することであると提案しています。著者らは、勾配更新における等方性（isotropy）を明示的に強制するように設計された直交化オプティマイザである Muon を導入します。

• メカニズム: 重み更新行列 $U$ に対して、Muon はそれを最も近い半直交行列 $Ortho(U)$ へと写像します（SVDを近似するニュートン・シュルツ反復を使用）。これにより、更新がすべての特異方向に均等に分散されるよう強制され、更新の安定ランクを $\min(d_l, d_{l+1})$ まで最大化します。
• 実装: Muon は隠れ層の重み行列に適用されますが、安定性と効率性を維持するために、バイアスおよび入出力パラメータには標準的な Adam が保持されます。このアプローチはモデルに依存せず（model-agnostic）、実際のステップごとの勾配に対して動作します。

3. 主な貢献

1. 統一指標としての安定ランク: 本論文は、INRにおける表現力の鍵となる指標として安定ランクを提案し、バニラなMLPにおける低周波バイアスの主な原因はアーキテクチャの制限ではなく、学習中のランク劣化であると主張しています。
2. 統一的なフレームワーク: 多様なアーキテクチャの修正（座標エンコーディング、代替活性化関数）が、安定ランクを増加または維持するための手法として機能することを説明するフレームワークを提供します。
3. Muon オプティマイザ: ランク崩壊を明示的に防ぐ直交化オプティマイザである Muon を提案し、アーキテクチャを変更することなく高忠実度な信号学習を実現する自然な解決策を提供します。
4. 実証的検証: 広範な実験により、Muon がテストされたすべてのアーキテクチャ（ReLU MLP、SIREN、FINERなど）およびモダリティ（画像、音声、3D形状、医療CT、NeRF）において性能を大幅に向上させることを示しています。

4. 実験結果

著者らは、4つのドメインにおいて Muon を Adam（および Lion）と比較評価しました。

• 画像過学習（Kodak データセット）:

  • Muon は、バニラな ReLU MLP の PSNR を 約7〜8 dB（約22.8 から 30.0 dB へ）向上させ、Adam で訓練されたフーリエ特徴量ネットワーク（FFN）と同等の性能を実現しました。
  • ガウス型 MLP、SIREN、FINER においても、大幅な利得（2〜4 dB）が観察されました。
  • 安定ランク分析により、Adam や Lion が顕著なランク崩壊を示すのに対し、Muon は隠れ層において高いランクを維持していることが示されました。

• 音声過学習:

  • Muon は、すべてのアーキテクチャにおいて大幅に高い信号対雑音比（SNR）を達成しました。ReLU FFN の場合、SNR は +12.5 dB 向上しました。
  • バニラな ReLU MLP は Adam では長い音声クリップの再構成に失敗しましたが、Muon を用いると（短いセグメントにおいて）成功しました。これは、失敗の原因が容量の限界ではなく、最適化の不安定性にあったことを示唆しています。

• 符号付き距離関数 (SDF):

  • Armadillo および Thai Statue データセットにおいて、Muon は Chamfer 距離を減少させ、IoU を向上させました。これは特に小さなアーキテクチャ（8x32）において顕著でした。

• 逆問題:

  • CT 再構成: スパースビューCT再構成において、Muon は ReLU MLP の PSNR を最大 +7 dB 向上させ、不均質な構造におけるアーチファクトを減少させました。
  • 単一画像超解像 (SISR): Muon は ReLU FFN を特に効果的にし、一部の指標において、強い高周波バイアスを持つアーキテクチャ（FINER など）を上回りました。これは、ReLU の有益な低周波バイアスと直交更新の組み合わせによるものと考えられます。
  • Neural Radiance Fields (NeRF): Muong は合成シーン（Chair, Hotdog など）において再構成アーチファクトを減少させ、PSNR を最大 +9 dB 向上させ、より忠実なシーン再構成を実現しました。

5. 重要性と主張

本論文は、最適化は、入力および活性化レベルの介入と補完的な関係にある、INR 設計における第3の、未開拓の軸であると主張しています。

• アーキテクチャ決定論への挑戦: 結果は、アーキテクチャの変更が INR の性能を左右する主要な要因であるという認識に疑問を投げかけています。著者らは、最適化だけでモデルの忠実度に大きな影響を与え、単純な ReLU MLP が高周波信号を高精度に表現できることを証明しました。
• 加算的効果: 本論文は、入力レベル、活性化レベル、および最適化レベルの介入が、それぞれ異なる補完的な軸として作用すると論じています。これらを組み合わせる（例：Fourier Features と Muon を併用する）ことで、最も忠実な再構成が得られます。
• 実用的影響: Muon を使用することで、実務者は、高度に表現力があり特殊なネットワークに見られるような振動パターンが起こりにくい、より単純で堅牢なアーキテクチャ（ReLU MLP など）を用いて、高忠実度の結果を得ることができます。

6. 限界

著者らはいくつかの限界を認めています。

• ターゲットランク: 安定ランクの枠組みは診断ツールとしては機能しますが、最適なターゲットランクを予測するものではありません。一部の不良設定の逆問題においては、誘導された低い安定ランクが有益な暗黙的正則化として機能する可能性があります。
• 近似: Muon は直交化のためにニュートン・シュルツ近似を使用しています。本論文では、Muon を最終的な最適解ではなく、より広い設計空間の一点として捉えており、この近似の影響については深く研究していません。
• チューニングの複雑さ: Muon は、学習率スケジュールの調整（Muon 用と補助的な Adam パラメータ用の別々のレート）に関する追加の複雑さをもたらします。
• 表現力のギャップ: Muon は格差を縮めますが、ReLU MLP で訓練されたモデルは、あらゆる設定において SIREN や FINER といった特殊なアーキテクチャよりも表現力が劣ります。