技術要約: FiRe (Frequency Reparameterization)

1. 問題提起

SIRENやFINERのような周期的な暗黙的ニューラル表現（Implicit Neural Representations; INRs）は、標準的なReLU活性化関数の代わりに正弦波を用いることで、連続的な信号をエンコードするように設計されている。しかし、これらのアーキテクチャは**スペクトルバイアス（spectral bias）**という現象に苦しんでいる。これは、勾配降下法が自然に低周波成分を先に適合させ、高周波の詳細（微細なテクスチャや鋭いエッジ）の回復が遅くなる現象である。

既存の周期的なINRにおける核心的な限界は、すべてのニューロンに対して単一のグローバルな周波数乗数 ($\omega_0$) を割り当てている点にある。このアプローチは、信号の異なる部分（例：鋭いエッジと滑らかな背景）が異なる局所周波数を必要とする中で、表現能力の予算を非効率的に配分してしまう。FINERのような手法は、前活性化の振幅を周波数のエンベロープにフィードバックすることで周波数を入力依存にしようと試みているが、依然として固定されたグローバルパラメータや特定の活性化構造に依存している。課題は、グローバルな周波数乗数を単純に増大させる（これにより関数クラスが変わってしまう）ことや、過剰なパラメータを追加することなく、いかにしてニューロンごとの周波数を学習可能かつ入力依存にすることかである。

2. 手法: FiRe (Frequency Reparameterization)

FiReは、各ニューロンに対して有界で入力依存の周波数スケールを割り当てることにより、周期的なINRの周波数を再パラメータ化するメカニズムを導入する。

コアメカニズム

周波数をメインの重み行列の中に折り込む代わりに、FiReは活性化関数の前の前活性化に対して、低ランクのゲーティングパスを挿入して乗算を行う。
標準的なSIRENの活性化 $h = \sin(\omega_0(Wx + b))$ に対し、FiReはこれを以下のように変更する：
$$h = \sin(\omega_0 \cdot s(x) \odot (Wx + b))$$
ここで、$s(x) \in (0, 2)$ は低ランクのボトルネックとして実装された学習可能なゲートである：
$$s(x) = 2 \sigma(U_{\uparrow} U_{\downarrow} x + b_{\uparrow})$$
ここで、$U_{\uparrow}$ と $U_{\downarrow}$ は低ランク行列であり、$\sigma$ はロジスティックシグモイドである。この構造により、周波数が有界かつ安定に保たれることが保証される。

初期化と制御

• 初期化: ゲートは $U_{\uparrow} = 0$ および $b_{\uparrow} = 1$ となるように初期化され、これにより開始時のゲート値は定数 $s_i \approx 1.46$ となる。これにより、FiReは初期状態において、スケーリングされた周波数を持つ標準的な周期ネットワークとして開始される。
• 周波数等価化 ($w_{scale}$): 得られた性能向上が単にグローバルな周波数の上昇によるものではないことを確実にするため、著者らは重みの再スケーリング制御を採用している。ベースラインネットワークの重みを $1/1.46$ 倍することで、初期状態におけるベースラインの実現されたニューロンごとの周波数が、FiReと正確に一致するようにしている。
• パラメータ・マッチング: ベースラインは、FiReのパラメータ数と一致するように（ランクに応じて1.4%～7.7%のオーバーヘッドを加えて）拡張されており、性能向上が容量の増加によるものではないことを保証している。

3. 理論的メカニズム: NTK分解

本論文は、ニューラルタンジェントカーネル (Neural Tangent Kernel; NTK) に基づく理論的な説明を提供している。

• 加法的分解: ゲートパスのパラメータ ($\theta_g$) とキャリア/信号パスのパラメータ ($\theta_c$) が互いに独立であるため、経験的NTK ($K$) は正確に加法的な和へと分解される：
  $$K = K_c + K_g$$
• 暗黙的なプリコンディショニング: ゲートパスは、カーネルに対して正定値ブロック ($K_g$) を寄与する。ゲートは機能的には初期状態で定数であるが、自身のパラメータに対する勾配はゼロではない。これにより、フォワードマップを変更することなく、最適化のランドスケープに新しい接方向（tangent directions）が追加される。
• スペクトル効果: ウェイルの不等式（Weyl's inequality）によれば、$K_g$ を加えることは全カーネルの固有値を上昇させる。これにより、最適化問題の**有効ランク（effective rank）**が増大し（実験では23〜44%向上）、最適化のコンディショニングが改善される。
• 収束への示唆: 「レイジー（lazy）」なNTKレジームにおいて、より高い固有値と有効ランクを持つカーネルは、より多くの固有方向に対して残差誤差をより速く減衰させる。これが、高周波成分（より遅い減衰を示す固有モードに対応する）に対してFiReが初期訓練の収束を加速させる理由である。

4. 主な結果

著者らは、DIV2KおよびKodakデータセットを用い、様々な解像度（256², 512², 1024²）およびランクにおいて、2D画像フィッティングタスクでFiReを評価した。

• 収束の加速: FiReは、訓練の初期段階（INRフィッティングにおける典型的な短い予算設定）において、パラメータが一致したベースラインを大幅に上回る。
  • 256²解像度において、FiRe-SIRENおよびFiRe-FINERは、2000エポック時点でベースラインに対して +0.5から+0.7 dB のPSNR向上を達成した。
  • この優位性は、低ランク（1–4）において最も顕著であり、ランクが増大する（例：ランク8）につれて減少する。これは、恩恵が生の容量ではなく、コヒーレントなプリコンディショニングモードから来ていることを示唆している。
• 解像度依存性: 画像解像度が高くなるにつれて、性能向上は縮小する。これは、高解像度が固定された予算内では収束から遠い位置にあるためであり、FiReによって提供される「先行逃げ切り（head start）」が、最適化に必要な総量のうち占める割合が小さくなることに起因する。
• スペクトル局在化: ゲインは高周波帯域に集中している。スペクトル解析によれば、FiReはベースラインよりもグラウンドトゥルースの高周波パワーをより正確に追跡しているが、低・中周波については両者とも同等に適合している。
• 漸近的な優位性の欠如: 決定的なことに、訓練が進み完全な収束に至ると（例：8000エポック）、パラメータが一致したベースラインが最終的にFiReを追い越す。これは、FiReが関数クラスや最終解を変更するのではなく、むしろ最適化の軌道に対するプリコンディショナーとして機能していることを裏付けている。
• 安定性: 実現された周波数は訓練中を通じてベースラインと一致し続けており、性能向上が隠れた周波数のシフトによるものではなく、再パラメータ化によるものであることを確認している。

5. 意義と主張

本論文は、FiReをネットワークの表現容量を拡大するための手法ではなく、最適化を加速させるための手法として位置づけている。

• メカニズムの分離: 著者らは、これまでのINR研究における見かけ上の性能向上が、制御されていないグローバルな周波数の増大やパラメータ数の増加によって混同されていた可能性があると強調している。これらの要因を厳密に制御することで、ゲートによる最適化幾何学の効果を孤立させている。
• 暗黙的なプリコンディショニング: FiReは、初期状態におけるNTKのコンディショニングを改善する暗黙的なプリコンディショナーとして特定された。これは、再パラメータ化と高速な収束（特に高周波領域において）との間の理論的な架け橋を提供する。
• 実用的な有用性: この手法は、完全な収束を目指すのではなく、固定された短い予算（実務で一般的）で訓練されるINRのシナリオにおいて最も価値がある。このような設定において、FiReは微細なディテールやテクスチャのより高品質な再構成を実現する。
• 謙虚な姿勢: 著者らは、FiReが完全な収束において優位性を持たないこと、およびNTKに基づく説明が訓練が進むにつれて弱まる「レイジーレジーム」の近似に基づいていることを明示している。また、本手法は現在2D画像フィッティングに限定されており、3D（SDFやNeRF）への拡張は未解決の課題である。

要約すると、FiReは、周期的なニューロンの周波数を低ランクゲートを介して再パラメータ化することで、最適化のランドスケープのコンディショニングを大幅に改善し、厳密に周波数およびパラメータが一致したベースラインと比較した場合に、高周波の再構成における高速な収束をもたらすことを示している。