Neural Field Tokenizations with Hierarchy and Spatial Locality Priors

技術要約：階層性と空間的局所性事前分布を用いたニューラルフィールド・トークナイゼーション

問題提起

ニューラルフィールドは、データを座標から値への連続関数（例：$f_\theta: [0, 1]^2 \to \mathbb{R}^3$）としてパラメータ化し、あらゆるモダリティの表現学習を統一的に扱うフレームワークを提供する。しかし、Functaとその派生形のような既存のモダリティ非依存のアプローチは、潜在表現を推論するためにサンプルごとのメタ学習（例：MAMLやオートデコーディング）に大きく依存している。このパラダイムには、以下の3つの決定的な制限がある：

1. スケーラビリティのボトルネック： メタ学習は、二次の勾配を計算するために内ループの最適化における完全な計算グラフを保持する必要がある。これはバッチサイズとメモリ効率を著しく制限し、高解像度や大規模データセットへのスケーリングを妨げる。
2. 構造の欠如： 最適化によって導出された潜在空間は、明示的な構造的事前分布を欠いていることが多く、分類などのダウンストリームタスクにおいて学習が非効率になり、結果として得られる表現の利用が困難になる。
3. トレードオフ： 有用な構造的事前分布（局所性や階層性など）を導入することと、モダリティ非依存性を維持することの間には、根本的な緊張関係が存在する。構造を導入するほとんどの手法（例：2Dグリッド、点群）は、任意の座標ドメインを扱う能力を犠牲にしている。

手法：LH-NeF

著者らは、モダリティ非依存性を損なうことなく、連続信号の汎用的なトークン化表現を学習するフレームワークであるLH-NeF (Locality-preserving Hierarchical Neural Fields) を提案する。この手法は、サンプルごとの最適化を、学習済みのエンコーダ・デコーダ・アーキテクチャによる単一のフォワードパスに置き換える。

1. LH-NeF トークナイザ（エンコーダ）
トークナイザは、階層的パーシーバー（HiP）をベースとしつつ、座標空間の局所性を尊重するように改良されている：

• 局所性を保存する順序付け： 標準的なHiPは固定のラスタースキャンを使用するが（これは座標空間における空間的局所性を損なう）、LH-NeFは空間充填曲線（例：ユークリッド領域に対するMorton/Z-order、球状データに対するS2 Hilbert曲線）から導出される局所性を保存する置換 $\pi$ を用いて、入力観測値 $\{(x_i, v_i)\}$ を再配置する。これにより、トークンシーケンスにおける連続したグループが、座標ドメインにおけるコンパクトな空間領域に対応することが保証される。
• 階層的グループ・アテンション： 再配置されたシーケンスは、$L$ 個のグループ・アテンション・ブロックを通じて処理される。トークンは、細粒度のグループから粗粒度のグループへと段階的に統合される。
• 空間メタデータ： 最終出力は、グループ化されたトークンの集合 $Y^{(L)}$ と、それに付随するルーティング・メタデータ（グループ内の座標のフレーシェ平均である重心 $\mu_g$、および空間的な半径またはバウンディングボックスである広がり $\lambda_g$）で構成される。これにより、表現はサンプリング密度や幾何学的形状に適応できる。

2. LH-NeF レンダラー（デコーダ）
トークン化された情報とクエリ座標 $x$ が与えられると、レンダラーは以下の3ステップを経て、フィールドの値 $f_\theta(x)$ を再構成する：

• k-グループ・ソフトルーティング： クエリ $x$ は、$x$ と各グループの重心 $\mu_g$ との距離に基づき、$k$ 個の近傍グループへとルーティングされる。学習可能なガウスカーネルがこれらのグループに対してソフトな重み $w_g(x)$ を割り当てることで、連続性を確保し、グループ間の急激な切り替えを回避する。
• クロスアテンション集約： ルーティングされた各グループに対して、クエリ埋め込みとグループのトークンとの間でクロスアテンションが行われる。出力は加重和によって集約される。
• 幾何学条件付き変調： 集約された特徴ベクトルは、最近傍グループ内のクエリの相対位置 $\tilde{x}$（グループの広がりによって正規化されたもの）を条件とするFiLM形式のメカニズムを用いて変調される。これにより、並進およびスケーリングに対する不変性が提供され、ネットワークは異なるグループ間で汎化可能なローカルパターンを学習できる。

主な貢献

1. トレードオフの特定： 本論文は、ニューラルフィールド学習におけるスケーラビリティ、構造的事前分布、およびモダリティ非依存性の間の緊張関係を特定し、階層性と局所性はモダリティ固有の仮定なしに導入できることを論じている。
2. LH-NeF フレームワーク： 空間的に構造化されたグループ・トークン化を実現する新しいアーキテクチャを提示する。これは、ソフト・グループ・ルーティングとクロスアテンションを介して、任意の座標でフィールドをデコードするレンダラーを条件付ける。これにより、サンプルごとの最適化を排除する。
3. 効率性と性能： メモリ消費の激しいメタ学習の内ループを単一のフォワードパスに置き換えることで、学習効率を大幅に向上させ、最先端の性能に匹敵またはそれを上回る成果を実現した。

実験結果

著者らは、画像（CIFAR-10, CelebA-HQ, ImageNet）、3D形状（ShapeNet）、および気象場（ERA5）を用いてLH-NeFを評価した。

• 再構成： LH-NeFは、モダリティ非依存の手法の中で最先端の性能を達成した。例えば、CelebA-HQ (64²) において、わずか198K個のパラメータで 44.4 dB PSNR を達成し、Functa (38.1 dB, 2.6M params) や ENF (42.2 dB, 522K params) を上回った。
• ダウンストリームタスク：
  • 生成： CelebA-HQにおいて、LH-NeFは FID 9.7 を達成し、特化した生成ニューラルフィールド手法およびモダリティ非依存のベースラインを凌駕した。
  • 分類： ShapeNet16において、凍結されたトークンを用いた軽量な分類器は 96.8% の精度 に達し、ENF (96.6%) や Functa (90.3%) を上回った。
  • 予測： ERA5において、LH-NeFは温度予測においてFunctaを改善したが、対称性特有の事前分布を用いるENFには及ばなかった。
• 効率性： メタ学習の内ループを取り除くことで、LH-NeFは、同一ハードウェア上の最強のモダリティ非依存ベースライン（ENF）と比較して、約42倍少ないメモリを使用し、133倍大きなバッチサイズ（266 vs 2）をサポートした。

意義と主張

本論文は、LH-NeFがニューラルフィールド表現学習のためのスケーラブルでモダリティ非依存な基礎的手法として機能すると主張している。階層性と局所性を誘導バイアスとして活用することで、本フレームワークは、フォワードパス推論の効率性とニューラルフィールドの柔軟性の間の溝を埋めることに成功している。

著者らは、本手法が均一にサンプリングされたデータ（画像、グリッド）には非常に効果的であり、不規則なサンプリング（点群）にも適応するが、極めて不規則なデータ（例：LiDAR）における局所性の保持は期待値においてのみ成立することを指摘している。また、将来の研究として、設計されたバイアスを学習するのではなく、どのバイアスがタスク間で汎化するかを学習することや、単に最終層だけでなく全エンコーダレベルからの情報を活用するように条件付けメカニズムを拡張することなどが挙げられている。

本研究は、すべての表現学習問題を解決すると主張するものではなく、構造化されたトークン化が、マルチモーダルなアプリケーションに必要な汎用性を損なうことなく、最適化ベースの潜在適合を代替できることを実証している。