技術的概要：暗黙的ニューラル表現におけるスペクトルエネルギー重心

問題定義

暗黙的ニューラル表現（INR）は、マルチレイヤーパーセプトロン（MLP）を用いて連続信号をモデル化し、シーンモデリングや画像復元などのタスクに対してコンパクトかつ微分可能な表現を提供する。しかし、標準的な MLP は「スペクトルバイアス」、すなわち信号の低周波成分を高周波成分よりも迅速に学習する傾向を示す。このバイアスは微細な细节の捕捉を妨げるため、Siren における $\omega_s$ や Fourier における $\sigma$ などの特定のハイパーパラメータによって制御される高周波入力マッピング（埋め込み）の使用が必要となる。

特定された核心的な課題は、最適な埋め込み周波数パラメータを選択することの難しさである。以前の研究（例：FreSh）は、未学習モデルの出力スペクトルをターゲット画像と整合させることでこれを自動化しようとしたが、これらのヒューリスティックは、特に深さ（depth）に起因するモデルアーキテクチャの重要な影響を考慮していない。既存の手法は、スペクトルバイアスが異なるモデルサイズ間で静的であると仮定することが多く、その結果、より深いモデルは能力に対して周波数が低すぎる（未設定）という不適切な構成になり、より小さなモデルは過剰設定されるという非最適な構成を招いている。さらに、完全な周波数スペクトルの多次元的性質は、直接の比較や最適化への利用を困難にしている。

手法

これらの限界に対処するため、著者らはターゲット画像の周波数内容と INR モデルのスペクトルバイアスの両方を定量化するように設計されたスカラー指標である**スペクトルエネルギー重心（SEC）**を導入する。

1. スペクトルエネルギー重心（SEC）

SEC は画像の離散フーリエ変換（DFT）から導出される。そのプロセスは以下の通りである：

• エネルギースペクトルの計算: フーリエ係数の絶対値の二乗を計算し、半径周波数 $r$ ごとに集約してエネルギースペクトル $E(A, r)$ を形成する。
• 正規化: エネルギースペクトルを正規化し、確率分布 $\tilde{E}(A)$ を作成する。
• 重心の計算: この分布の下での周波数の加重平均を計算する：
  $$SEC(A) = \sum_{r=1}^{R} r \cdot \tilde{E}(A, r)$$
  これにより、信号電力によって加重された「平均周波数」を表す単一のスカラー値が得られる。著者らはこの指標を用いて、ターゲット画像と未学習モデルの出力（そのスペクトルバイアスを近似するため）の両方を特徴づける。

2. SEC-Conf（データ駆動型構成）

著者らは、少量の較正セットを活用するハイパーパラメータ選択戦略であるSEC-confを提案する。

• 較正: 画像のセットを用いて、グリッドサーチを通じて最適な埋め込み周波数パラメータを特定する。これらの（画像 SEC、最適パラメータ）のペアは、ルックアップテーブルを形成する。
• 選択: 新しいターゲット画像に対して、その SEC を計算する。SEC 値に基づいて較正セット内の最近傍を検索することで、最適パラメータを取得する。
• 根拠: このアプローチは、類似した SEC スコアを持つ画像は、与えられたアーキテクチャに対して類似した最適構成を共有すると仮定しており、スペクトル特性とモデル挙動の間の関係を効果的に学習する。

3. 周波数整合

多様な INR アーキテクチャ（例：Siren、Fourier、Finer、Wire）間で公平な比較を可能にするため、著者らは周波数整合を提案する。この手法は、ターゲットパラメータ $F$ において SEC 値の差を最小化することで、ターゲットモデルのスペクトルバイアスを参照モデルと整合させる：
$$Fit_{Ref}(F) = \arg \min_F |SEC(Model_F) - SEC(Ref_{F_{ref}})|$$
これにより、研究者はモデルが比較可能なスペクトルバイアスから開始することを保証することで、チューニング効果からアーキテクチャ効果を分離できる。

主要な貢献

1. スペクトルバイアスの定量化: 本論文は SEC を用いて、モデルの深さとスペクトルバイアスの間の、以前は見落とされていた強い依存関係を明らかにする。実験により、モデルの深さが増すにつれて、モデルの固有のスペクトルバイアスはより高周波数へシフトし、最適な性能を維持するためにより高い埋め込みパラメータが必要であることが示された。
2. SEC-conf 戦略: モデルサイズを考慮することで既存のヒューリスティック（FreSh など）を上回る、埋め込み層構成のための堅牢なデータ駆動型手法。特に大規模モデルにおいて、最適構成を特定するヒット率が優れていることを実証する。
3. 複雑性の代理指標としての SEC: 著者らは SEC を信号の複雑さに対する信頼性の高い代理指標として検証し、SEC 値と復元品質（PSNR）の間に強い負の相関があることを示す。高い SEC 値（複雑なテクスチャや微細な细节を示唆）は、低い復元性能に対応する。
4. アーキテクチャ間整合: 異なるアーキテクチャ間でスペクトルバイアスを整合させるためのフレームワーク。スペクトルバイアスが適切に整合されれば、古いモデルや標準的なモデルが（Finer のような）新しいモデルと同等の性能を達成し得ることを実証する。

実験結果

著者らは、LIU4K-v2 データセットからの 100 枚の画像からなるベンチマークにおいて、4 つのアーキテクチャ（Siren、Fourier、Finer、Wire）と 3 つのモデルスケール（Small、Medium、Large）でアプローチを評価した。

• 性能向上: SEC-conf は、ベースラインのデフォルト値および FreSh ヒューリスティックを一貫して上回った。例えば、Large（L）Siren 構成において、SEC-conf は 34.49 の PSNR を達成したのに対し、FreSh は 34.07、デフォルト値は 32.06 であった。
• アーキテクチャに関する知見:
  • 深さ対幅: SEC はモデルの深さとともに顕著に増加し、深いモデルに対して周波数を低下させる FreSh が失敗する理由を説明する。逆に、モデルの幅はほとんどのアーキテクチャにおいてスペクトルバイアスにほとんど影響を与えず、幅のスケーリングはより予測可能であることを示唆している。
  • Wire の外れ値: Wire アーキテクチャは全サイズで極めて高い SEC 値を示し、これは低い性能と相関しており、そのデフォルトの高周波バイアスが有害であることを示唆している。
• 精度: SEC-conf は、特に FreSh の静的バイアス仮定が重大な誤差につながる大規模モデルにおいて、最適パラメータの予測において FreSh よりも著しく高い精度を示した。
• 整合: Siren および Fourier モデルを Finer アーキテクチャに周波数整合させた場合、大規模設定において Finer と同等の性能を達成し、Finer の優位性がその本質的なアーキテクチャの優位性というよりも、より攻撃的なデフォルトのスペクトルバイアスに部分的に起因することを証明した。

意義と主張

本論文は、SEC がアーキテクチャの深さを無視するヒューリスティックの限界を超えて INR の挙動を分析するための「より明確なレンズ」を提供すると主張する。複雑な周波数スペクトルを単一の解釈可能なスカラーに還元することで、SEC は信号の複雑さ、モデル容量、および復元品質の間の関係に対する理解を深める。

著者らは、SEC-conf がデータフリーの FreSh とは異なりオフライン較正セットに依存するが、このトレードオフは、さまざまなアーキテクチャおよび深さにわたるスペクトル特性とモデル挙動の間の一般化可能な関係を捉えるために必要であると強調する。この研究の主な価値は、特定の構成戦略そのものにあるのではなく、将来のスペクトルバイアスおよび INR 設計の研究のための基礎的なツールとして SEC を確立することにある。

認められた限界:

• SEC は 1 次元の要約であり、異なるスペクトル形状が同じ重心にマッピングされる可能性がある。
• SEC-conf は較正セットを生成するための事前コストを必要とするのに対し、FreSh は事前データなしで単一の画像上で動作する。
• この手法は、類似した SEC スコアが類似した最適構成を意味すると仮定しており、これは近似である。