On periodic distributed representations using Fourier embeddings

技术摘要：基于傅里叶嵌入的周期性分布式表示

问题陈述
周期性信号，如方向角、昼夜节律和音乐模式，是物理和感知现象的基础。然而，使用标量实数角度度量（例如弧度或度）来表示这些信号会引入显著的挑战。具体而言，标量表示难以区分或处理当绝对差值超过 $\pi$ 时的邻近角度，从而导致在信号周期极限处出现尖锐的不连续性。例如，$\epsilon$ 与 $2\pi - \epsilon$ 之间的角距离在物理上很小，但它们的标量差值却很大（$|2\pi - 2\epsilon|$）。现有的分布式嵌入方法，如随机傅里叶特征（RFFs），通常侧重于将无限数线映射到高维轨迹的连续特征表示，而对于这些嵌入的周期性版本及其诱导核的表征与分析尚未得到充分探索。

方法论
作者提出构建高维空间中的实值周期性嵌入，以解决标量不连续性问题。核心表示定义为 $\phi(\mathbf{x}) = \mathcal{F}^{-1}\{e^{j\mathbf{A}\mathbf{x}}\}$，其中 $\mathbf{x} \in \mathbb{R}^n$，$j$ 是虚数单位，$\mathbf{A} \in \mathbb{R}^{d \times n}$ 是一个共轭对称的相位矩阵。这些嵌入被识别为空间语义指针（SSPs），因其神经可行性和组合结构而被选用。

为确保嵌入具有特定周期 $t^\circ \in \mathbb{R}^+$，矩阵 $\mathbf{A}$ 的所有条目必须是周期缩放傅里叶根（$2\pi n t^{\circ -1}$）的整数倍。可能的条目集合 $\Omega$ 从离散集合 $S^\circ(t^\circ)$ 中采样。

两点 $\mathbf{x}$ 和 $\mathbf{y}$ 之间的相似度通过其嵌入的点积来衡量，该点积近似于一个平移不变核 $K(\mathbf{x} - \mathbf{y})$。由于 $\mathbf{A}$ 的列是独立同分布（i.i.d.）的，$n$ 维核是各个一维核的乘积：$K(\mathbf{x}) = \prod_{i=1}^n k(x_i)$。单个核 $k(x)$ 的形状由用于采样 $\mathbf{A}$ 条目的概率质量函数（PMF）的逆傅里叶变换决定。

本文基于 $\mathbf{A}$ 的不同采样分布，形式化了两种特定的核形状：

1. 狄利克雷核（Dirichlet Kernel）：通过在频带 $B$ 内均匀采样傅里叶根的整数倍生成。所得核为归一化的狄利克雷核（等价于重复的 sinc 函数）。
2. 周期性高斯核（Periodic Gaussian Kernel）：通过在相同频带内的整数上从中心伪正态分布中采样条目生成。所得核近似于 theta 函数的比率，产生周期性高斯相似度核。

主要贡献

• 周期性 SSP 的形式化：该工作提供了一个形式化框架，用于使用空间语义指针构建高维周期性嵌入，确保表示是实值且循环的。
• 核表征：作者推导了周期性嵌入诱导核的具体数学形式。他们证明，对相位矩阵进行均匀采样会产生狄利克雷核的乘积，而类正态采样则会产生周期性高斯核的乘积。
• 对核形状的控制：本文强调，通过控制相位矩阵 $\mathbf{A}$ 的采样分布，可以构建各种不同形状的核（例如狄利克雷核与高斯核），以适应不同的建模需求。
• 解决维度问题：作者指出，虽然狄利克雷核乘积具有高度振荡性且非径向对称（使其不太适合等距特征空间），但高斯核乘积提供了一种更平滑、非负的替代方案，尽管它仍然保持径向不对称性。

结果
本文展示了理论推导和可视化结果（图 1），比较了归一化的周期性高斯核与狄利克雷核。可视化结果证实：

• 狄利克雷核（来自均匀采样）在零附近表现出显著的负瓣和高频振荡，这对于表示连续的多维特征空间可能不是最优的，因为在这些空间中，等距特征应具有同等的相似度。
• 周期性高斯核（来自正态采样）更平滑且处处非负，提供了更稳定的相似度度量，尽管它保留了与其狄利克雷对应物相似的径向不对称性。

意义与主张
本文声称提供了一种构建固有循环的高维表示的方法，从而避免了与标量角度表示相关的不连续性。通过表征高维特征空间的重复核，该工作提供了一种控制点积相似度性质的机制。作者指出，这些技术旨在应用于涉及方向、朝向和刺激感知（如颜色）的认知模型，以创建能够表现出类人行为的模型。该工作是在神经可实现的表示方案背景下形式化狄利克雷核和周期性高斯核的基础性步骤。