Neurally-plausible radial basis kernels using distributed Fourier embeddings

技術サマリー：分散フーリエ埋め込みを用いた神経学的に妥当なラジアル基底カーネル

問題定義
認知システムは、等距離の点が方向に関係なく等距離であるという感覚を維持する、多次元空間の統合的かつ連続的な表現を必要とする。ランダムフーリエ特徴量（RFFs）や標準的な空間意味ポインタ（SSP）といった従来のフーリエベースの埋め込みは、通常、単一次元のカーネルを実現する。これらを組み合わせて高次元表現を形成すると、得られる内積類似度は個々のカーネルの積となる。その結果、等距離の点間の類似度は、それらを結ぶベクトルの大きさだけでなく方向にも依存し、真の放射対称性を達成できない。六角形空間意味ポインタ（HexSSP）がラジアル基底関数（RBF）のような挙動を示すことが観察されているが、それらが誘発するカーネルの正確な解析的性質は未解明のままである。さらに、グリッド細胞に似た表現を用いた代替サンプリング手法が、任意のラジアル基底カーネルをどのように近似できるかも不明である。

手法
本論文は、Bochner の定理を用いて、フーリエ空間における確率分布とそれに対応するシフト不変カーネルとの間の数学的架け橋を確立する。核心的なアプローチは、位相空間上の確率密度関数 $p(\boldsymbol{\omega})$ の逆フーリエ変換としてカーネル $K(\mathbf{x})$ を特徴づけることである。

方向に依存しない等方性のラジアル基底カーネル（等方類似度）を達成するために、著者らは、回転不変（等方）な同時確率分布から位相行列 $\mathbf{A}$ の行をサンプリングすることを提案する。これには、位相ベクトルの分布が、独立した大きさ成分（$r = \|\boldsymbol{\omega}\|_2$）と方向成分（$\hat{\boldsymbol{\omega}}$）に分離可能であることが必要であり、その方向成分は $n$-球の表面上で一様に分布しなければならない。

本論文は、$n$ 次元特徴空間における類似度カーネルの一般的な積分形式を導出した：
$$K(\mathbf{x}) = \Gamma\left(\frac{n}{2}\right) \int_0^\infty p(r) \left( \frac{2}{r\|\mathbf{x}\|_2} \right)^{\frac{n}{2}-1} J_{\frac{n}{2}-1}(r\|\mathbf{x}\|_2) \, dr$$
ここで、$J$ は第一種ベッセル関数である。

著者らは、その後、大きさ $r$ に対する 3 つの特定のサンプリング分布にこの枠組みを適用した：

1. 一様分布（$r \sim U(0, \lambda)$）： シンプレックススケールが一様にサンプリングされる標準的な HexSSP 実装に対応する。
2. カイ分布（$r \sim \chi(n)$）： 等方ガウス分布からのサンプリングに対応する。
3. スケーリングされたベータ分布（$r \sim \beta_\lambda(n, 1)$）： $n$-球内での一様サンプリングに対応する。

主要な貢献と結果

1. HexSSP カーネルの解析的特徴付け：
   本論文は、標準的な HexSSP（大きさが一様に分布するもの）が誘発するカーネルの最初の解析的導出を提供する。得られたカーネルは、統合超幾何カーネル（または単に「超幾何カーネル」）として特定された。

   • このカーネルは、ポッハハマー記号を含むべき級数として表現される。
   • 解析により、次元数 $n$ が増加するにつれてカーネルは広がり、振動は減少し、定数値 1 に近づくことが示された。これは、十分に高い特徴次元において、埋め込み空間が点間の区別能力を失うことを意味し、これはガウスカーネルには存在しない限界である。

2. 代替カーネルの導出：
   著者らは、HexSSP 枠組み内で大きさのサンプリング分布を変更することで、異なるラジアル基底カーネルを実現できることを示した。

   • ガウスカーネル： 大きさをカイ分布（$r \sim \chi(n)$）からサンプリングすることで、標準的なガウスカーネル $K(\mathbf{x}) = e^{-\|\mathbf{x}\|^2/2}$ が実現される。超幾何カーネルとは異なり、この形式は $r$ の分布が適切にスケーリングされる限り、次元数 $n$ の変化に対して形状において頑健である。
   • $n$-jinc カーネル： 大きさをスケーリングされたベータ分布（$r \sim \beta_\lambda(n, 1)$）からサンプリングすることで、減衰するベッセル関数カーネル、すなわち「$n$-jinc カーネル」が実現される。このカーネルは $n=2$ の場合、jinc 関数（$x^{-1}J_0(x)$）のように振る舞う。超幾何カーネルと同様に、その形状は次元数 $n$ に依存する。

3. グリッド細胞に似た表現の最適性：
   本論文は、中心化されたシンプレックス（グリッド細胞の発火野に相当）から構築される HexSSP の幾何学的構造が、ラジアル基底関数を近似するための最適なプリミティブであると論じる。シンプレックスの形状は、すべての方向のすべての点からの等しい寄与を確保しつつ、$n$ 次元特徴空間を覆うために必要な点の数を最小化する。複数のグリッド細胞の向きとスケールの組み合わせにより、システムは任意の対称的な中心化された確率分布 $p(r)$、したがって任意のラジアル基底カーネルを近似できる。

意義と主張
本論文は、グリッド細胞に似た位相構造を持つ神経学的に妥当な表現が、任意のラジアル基底関数を近似するために十分である（「それだけで十分」）ことを実証すると主張する。超幾何カーネルの解析的特徴付けと、ガウスおよび $n$-jinc の代替案の導出を通じて、この研究は、抽象的な分散表現（SSP）と生物学的妥当性（グリッド細胞）の間のギャップを埋める。

著者らは、この研究の目的は、高次元最適化や認知モデリングに関わるタスクにおいて、神経学的に妥当な表現がどのように構築されるかについての考慮を促すことであると述べている。本論文は、グリッド細胞に似た表現がラジアル基底カーネルを実現する能力があるだけでなく、それを実現する上で最適であり、物理的および知覚的現象を単一の表現空間に統合するための統一された枠組みを提供することを強調している。