技术摘要：远距离作用：基于多项式对齐与 IMQ 距离的通用再生核希尔伯特空间

问题陈述

标准多层感知机（MLP）层缺乏规范的希尔伯特空间范数。训练后网络的泛化界限通常依赖于权重矩阵的 Lipschitz 或谱代理，这些是松散构建且与特定单元无关的函数级对象。这种结构性差距源于标准标量激活函数（如 ReLU、GELU、sigmoid）是内积 $\sigma(w^\top x)$ 的函数，而非联合变量 $(w, x)$ 的对称核截面。因此，训练后层的读出结果不属于任何再生核希尔伯特空间（RKHS）的有限元素，致使模型无法利用闭式范数、固定核通用性及特征性等工具。

现有的 Mercer 截面原语存在一种权衡：

1. 径向核（高斯 RBF、逆多二次/IMQ）具有局部性和希尔伯特结构，但缺乏“对齐”（核对角线为常数，多项式对齐项 $(w^\top x + b)^2$ 不起作用）。
2. 对齐核（通用点积核）具有对齐性和希尔伯特结构，但缺乏距离局部性（无 $\|x-w\|$ 衰减）。

本文指出，需要一种有限、可训练的隐藏单元原语，能够同时结合局部性、对齐性和希尔伯特结构。

方法论

作者引入了Yat 核（$k_\Upsilon$），这是一种有理隐藏单元原语，定义为：
$$k_{b,\varepsilon}(w, x) = \frac{(w^\top x + b)^2}{\|x - w\|^2 + \varepsilon}, \quad b \ge 0, \varepsilon > 0$$
该核是多项式对齐分子 $p_b(x, w) = (x^\top w + b)^2$ 与逆多二次（IMQ）分母 $h_\varepsilon(x, w) = (\|x - w\|^2 + \varepsilon)^{-1}$ 的 Schur 积。

方法论通过四个主要理论支柱展开：

1. Mercer 结构与通用性：本文证明，对于 $b \ge 0$，该核是半正定（PSD）的，因此是 Mercer 核。关键在于，对于 $b > 0$，Yat 核Loewner 支配一个缩放后的 IMQ 核（$b^2 h_\varepsilon \preceq k_{b,\varepsilon}$）。根据 Aronszajn 包含定理，这意味着 Yat RKHS（$\mathcal{H}_{b,\varepsilon}$）包含 IMQ RKHS，继承了其通用性和特征性属性。
2. 非径向对齐结构：与纯径向核不同，Yat 原子在无穷远处保留了“方向性二次阴影”。沿射线 $ru$的渐近迹为$T_\infty g_\varepsilon(u) = (u^\top w)^2$，独立于$b$和$\varepsilon$。这开启了有限 IMQ 展开中所缺失的非径向对齐通道，后者在无穷远处衰减至零。
3. 代数 IMQ 嵌入：本文提供了构造性证明，表明任何 IMQ 原子均可通过偏置参数 $b$ 的二阶有限差分，由三个 Yat 原子精确恢复：
   $$g_\varepsilon(\cdot; w, 3h) - 2g_\varepsilon(\cdot; w, 2h) + g_\varepsilon(\cdot; w, h) = 2h^2 k_\varepsilon^{\text{IMQ}}(\cdot, w)$$
   该恒等式是精确的；两个原子不足以复现一个 IMQ 截面。
4. 层局部 RKHS 容量：对于具有共享 $(b, \varepsilon)$ 的训练层，有限展开 $f = \sum \alpha_j k_{b,\varepsilon}(w_j, \cdot)$ 的平方 RKHS 范数具有闭式表达式：$\|f\|^2 = \alpha^\top K \alpha$，其中 $K$ 是训练权重的 Gram 矩阵。这使得泛化界限能够直接由核对角线 $k_{b,\varepsilon}(x, x) = (\|x\|^2 + b)^2 / \varepsilon$ 驱动的 Rademacher 泛化界限所决定。

主要贡献

1. Yat 核：一种有理、有限、可训练的原语，统一了多项式对齐与 IMQ 局部性。
2. 固定核通用性：证明单个固定 Yat 核（$b>0$）在每个紧域上都是通用的，而不仅仅是通用家族的成员。
3. 方向性远场迹：识别出一种结构不变量，即 Yat 原子在无穷远处保持非零二次迹，使其区别于所有有限径向组合。
4. 精确 IMQ 恢复：一个代数恒等式表明，IMQ 原子可由三个 Yat 原子精确构造，将 IMQ 的近似率转移至 Yat，仅增加 3 倍的宽度开销。
5. 闭式范数与界限：推导了精确的 RKHS 范数（$\alpha^\top K \alpha$）和单层 Rademacher 界限，该界限显式依赖于超参数 $b$ 和 $\varepsilon$ 以及输入范数 $\|x\|$，提供了标准 MLP 中所缺乏的透明度。

结果

• 理论属性：本文确立了 Yat 核对于 $b > 0$ 是 PSD、特征性的且严格正定的。它们满足严格的 RKHS 包含关系 $\mathcal{H}_{\text{IMQ}} \subsetneq \mathcal{H}_{b,\varepsilon}$。
• 近似率：通过有限差分恒等式，任何 IMQ 近似率均可转移至 Yat。反之，本文展示了“宽度 - 复杂度差距”：单个 Yat 原子可以任意精度近似二次脊函数，而具有有界变差的 IMQ 展开则需要随环境维度指数级增长的原子数量。
• 泛化界限：推导出的 Rademacher 界限按 $B(R^2 + b)/(\sqrt{n}\sqrt{\varepsilon})$ 缩放。与高斯 RBF（常数对角线）或 IMQ（常数对角线 $\varepsilon^{-1}$）不同，Yat 对角线多项式依赖于 $\|x\|$，使得 $b$ 和 $\varepsilon$ 成为显式的正则化目标。
• 实证诊断：
  • CLIP 探针：在 ImageNet-1k 上使用冻结的 CLIP 特征，单层 Yat 分类器（训练中心）达到了 73.9% 的准确率，优于纯多项式核（72.5%）和具有冻结随机中心的 Yat 变体（69.5%），隔离了 IMQ 分母和中心优化的优势。
  • 因果语言模型：一个 2.61 亿参数的因果语言模型，将 GELU MLP 块替换为 Yat 原语，达到了 GELU 基线准确率范围（匹配种子方差），同时在 WikiText-103 和长程任务上实现了更低的困惑度。每层的闭式 RKHS 范数依然适用。

意义与主张

本文主张，Yat 核是首个同时具备以下特性的有限、可训练隐藏单元原语：

1. 对于 $b \ge 0$ 具有PSD/Mercer 结构。
2. 通过 Loewner 支配，对于 $b > 0$ 具有固定核通用性。
3. 具有非径向对齐及非零方向性远场迹。
4. 具有 IMQ 原子的精确代数嵌入（在三个原子处精确）。
5. 具有显式依赖超参数的闭式、层局部 RKHS 范数。

作者强调，虽然这些属性适用于单层，但它们不扩展到深度网络的全局理论。不存在能够捕获深度 Yat 堆栈 Gram 结构的参数无关 Mercer 核。深层理论仅限于：

• 前缀条件拉回：如果前层固定，则存在有效的 RKHS 结构。
• 环境索伯列夫包含：有界深度的堆栈位于固定的索伯列夫 RKHS 中，但容量界限是定性的，且随深度呈超指数级增长。

这项工作将 Yat 定位为并非在所有上下文中替代标准 MLP，而是作为一种具有理论基础的替代方案，恢复了神经单元与 RKHS 理论之间的联系，提供了标准标量激活函数所无法获得的显式范数和泛化界限。