Neurally-plausible radial basis kernels using distributed Fourier embeddings

技术摘要：基于分布式傅里叶嵌入的神经可解释径向基核

问题陈述
认知系统需要多维空间的连贯、连续表示，其中等距点无论方向如何，都应保持其等距感。传统的基于傅里叶的嵌入方法，如随机傅里叶特征（RFFs）和标准空间语义指针（SSPs），通常实现单维核。当这些方法被组合以形成高维表示时，所得的内积相似度变为各个核的乘积。因此，等距点之间的相似度取决于连接它们的向量的大小和方向，无法实现真正的径向对称性。虽然已观察到六边形空间语义指针（HexSSPs）表现出类似径向基函数（RBF）的行为，但其诱导核的确切解析性质尚未被表征。此外，尚不清楚利用类似网格细胞表示的替代采样方法如何近似任意径向基核。

方法论
本文利用博赫纳定理（Bochner's theorem）在傅里叶空间中的概率分布与其对应的平移不变核之间建立数学桥梁。核心方法是将核 $K(\mathbf{x})$ 表征为相空间中概率密度函数 $p(\boldsymbol{\omega})$ 的逆傅里叶变换。

为了实现径向基核（即与方向无关的各向同性相似度），作者提出从旋转不变（各向同性）的联合概率分布中采样相位矩阵 $\mathbf{A}$ 的行。这要求相位向量的分布可分解为独立的幅度（$r = \|\boldsymbol{\omega}\|_2$）和方向（$\hat{\boldsymbol{\omega}}$）分量，其中方向分量均匀分布在 $n$ 维球体的表面上。

本文推导了 $n$ 维特征空间中相似度核的一般积分形式：
$$K(\mathbf{x}) = \Gamma\left(\frac{n}{2}\right) \int_0^\infty p(r) \left( \frac{2}{r\|\mathbf{x}\|_2} \right)^{\frac{n}{2}-1} J_{\frac{n}{2}-1}(r\|\mathbf{x}\|_2) \, dr$$
其中 $J$ 是第一类贝塞尔函数。

随后，作者将该框架应用于三种特定的幅度 $r$ 采样分布：

1. 均匀分布（$r \sim U(0, \lambda)$）： 对应于标准 HexSSP 实现，其中单纯形尺度被均匀采样。
2. 卡方分布（$r \sim \chi(n)$）： 对应于从各向同性高斯分布中采样。
3. 缩放 Beta 分布（$r \sim \beta_\lambda(n, 1)$）： 对应于在 $n$ 维球体内进行均匀采样。

主要贡献与结果

1. HexSSP 核的解析表征：
   本文首次提供了标准 HexSSP（其中幅度均匀分布）所诱导核的解析推导。所得核被识别为积分超几何核（或简称为“超几何核”）。

   • 该核表示为涉及 Pochhammer 符号的幂级数。
   • 分析表明，随着维度 $n$ 的增加，核变宽且振荡减少，趋近于常数 1。这意味着对于足够高的特征维度，嵌入空间将失去区分不同点的能力，这是高斯核中不存在的一个局限性。

2. 替代核的推导：
   作者证明，通过在 HexSSP 框架内改变幅度采样分布，可以实现不同的径向基核：

   • 高斯核： 通过从卡方分布（$r \sim \chi(n)$）采样幅度，该框架实现了标准高斯核 $K(\mathbf{x}) = e^{-\|\mathbf{x}\|^2/2}$。与超几何核不同，只要 $r$ 的分布按比例适当缩放，这种形式在维度 $n$ 变化时对其形状具有鲁棒性。
   • $n$-jinc 核： 通过从缩放 Beta 分布（$r \sim \beta_\lambda(n, 1)$）采样幅度，该框架实现了衰减的贝塞尔函数核，称为"$n$-jinc 核”。当 $n=2$ 时，该核的行为类似于 jinc 函数（$x^{-1}J_0(x)$）。与超几何核一样，其形状依赖于维度 $n$。

3. 类网格细胞表示的最优性：
   本文论证，HexSSPs 的几何结构——由中心单纯形（类比于网格细胞发放场）构建——提供了近似径向基函数的最优基元。单纯形形状确保了所有方向上所有点的贡献均等，同时最小化覆盖 $n$ 维特征空间所需的点数。多个网格细胞朝向和尺度的组合使得系统能够近似任何对称的、居中的概率分布 $p(r)$，从而近似任何径向基核。

意义与主张
本文声称证明了具有类网格细胞相位结构的神经可解释表示足以（“仅此而已”）近似任何径向基函数。通过解析表征超几何核并推导高斯核和 $n$-jinc 替代方案，这项工作弥合了抽象分布式表示（SSPs）与生物可解释性（网格细胞）之间的差距。

作者指出，这项工作旨在激发人们更多地考虑如何为涉及高维优化和认知建模的任务构建神经可解释的表示。本文强调，类网格细胞表示不仅能够实现径向基核，而且是实现这一目标的最优方案，为将物理和感知现象综合到单一表示空间中提供了一个统一的框架。