🤖 machine learning

HalfNet: Randomized Neural Networks with Learned Subspace Geometry

本文介绍了 HalfNet，这是一种通过学习协方差矩阵的低秩分解来生成数据依赖型随机权重的神经网络方法，通过利用权重空间的几何特性，在参数量显著减少的情况下实现了与全量训练模型相当的性能。

原作者： Ethem Alpaydin

发布于 2026-06-04

📖 1 分钟阅读☕ 轻松阅读

原作者： Ethem Alpaydin

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在试图教一个机器人识别猫和狗的照片。通常情况下，为了做到这一点，你必须从头开始教机器人每一个细节。你必须给它看数百万个例子，并逐一调整数百万个微小的旋钮（称为“权重”），直到它掌握正确的方法。这需要耗费大量的时间、内存和计算能力。

这篇论文介绍了一种名为 HalfNet 的新方法。HalfNet 不再是教机器人每一个旋钮，而是教机器人一套规则手册，告诉它如何以一种聪明的方式随机设置这些旋钮。

以下是其工作原理的拆解，使用了简单的类比：

1. “随机猜测” vs. “聪明的随机”

传统上，一些研究人员尝试直接将旋钮设置为随机数字，然后观察机器人能否学习剩余的部分。这就像给学生做测试，题目是随机的，但学生可以学习答案。这种方法效果还可以，但并不理想。

HalfNet 说：“让我们保持问题的随机性，但我们要教学生问题之间是如何相互关联的。”

类比： 想象你在向一个靶盘投掷飞镖。
- 标准随机： 你被蒙着眼睛投掷飞镖，完全随机地落在靶盘的任何位置。
- HalfNet： 你虽然也被蒙着眼睛，但有人告诉你：“嘿，这个靶盘是倾斜的。大多数飞镖都会落在特定的椭圆形区域内。”你不知道每枚飞镖会精确落在哪里，但你知道它们可能落下的形状。HalfNet 从数据中学习到了这个“椭圆形形状”（即几何结构）。

2. “低秩”（Low-Rank）捷径

论文解释说，即使在复杂的神经网络中，那些“重要”的信息通常也存在于一个更小、更简单的空间里。

类比： 想象一张高分辨率的日落照片。它有数百万个像素。但如果你眯起眼睛看，你会发现整张图片基本上只是橙色和紫色的一种渐变。你不需要记住每个像素的确切颜色就能理解这是一场日落。
HalfNet 的妙招： 它意识到机器人的“旋钮”并不需要是独立的。它们可以被组合在一起。与其学习 1,000 个独立的规则，HalfNet 只需学习 10 或 20 个“主规则”（称为秩/rank），这些规则描述了 1,000 个旋钮应该如何协同工作。

3. 它是如何节省空间的

因为 HalfNet 只需要学习这些“主规则”（分布的形状）而不是每一个单独的旋钮，所以它使用的参数量要少得多。

结果： 论文在两个著名的图像数据集（手写数字 MNIST 和彩色玩具图像 CIFAR-10）上进行了测试。
- 在 MNIST 上，HalfNet 达到了与经过充分训练的重型机器人相同的准确率，但仅使用了一半数量的设置进行调整。
- 在 CIFAR-10 上，它在性能上媲美了大型机器人，同时使用的参数减少了 8 倍。

4. 这究竟意味着什么？

作者们进行了“谱分析”（本质上是观察了背后的数学逻辑），发现经过训练的神经网络的大部分“脑力”实际上在于权重的几何结构（形状和关系），而不在于每个数字的具体数值。

隐喻： 这就像盖房子。标准的建筑工人会将每一块砖都切割成特定的尺寸。HalfNet 则说：“让我们只做一个模具，用来制造出正确形状和模式的砖块。我们不需要单独测量每一块砖；模具会完成这项工作。”

5. 其他酷炫的特性

论文还展示了这种思想的灵活性：

二值权重（Binary Weights）： 你甚至可以让机器人只使用“是/否”（1 或 -1）开关，而不是复杂的数字，这能进一步节省内存，且 HalfNet 依然表现出色。
层级结构（Layers）： 你可以将这些“聪明的随机”层堆叠在一起，或者将它们放在标准图像滤波器（卷积）之后。

总结

HalfNet 是一种构建 AI 的新方式，它认为：“不要死记硬背每一个细节。相反，去学习细节应该如何排列的模式。”

通过学习随机性的“形状”而非随机性本身，AI 变得更加高效。它在识别图像方面能达到与笨重、缓慢的模型相当的水平，但它所消耗的内存和计算能力仅为后者的极小部分。论文得出结论：对于具有强烈模式的任务（如图像），学习这种“几何结构”是实现高效的关键秘诀。

技术摘要：HALFNET：具有学习子空间几何结构的随机神经网络

1. 问题陈述

传统的神经网络训练涉及对每一个权重参数进行单独优化，这在计算上可能非常昂贵且参数量庞大。相反，随机神经网络（例如极限学习机）将权重固定为从标准分布（如 $N(0, I)$ ）中抽取的数值，从而简化了优化过程，但往往会牺牲预测能力，因为随机几何结构可能无法与数据结构对齐。

本文解决的核心问题是：如何在保留随机网络简洁性的同时，捕捉实现高精度所需的依赖于数据的结构。具体而言，本文研究了权重的几何结构（协方差结构）是否比单个权重的精确值对于预测性能更为关键，以及这种几何结构是否可以被高效地学习。

2. 方法论：HalfNet

所提出的 HalfNet 框架引入了一种随机参数化方法，其权重并非固定于标准分布，也非单独学习，而是从学习到的分布 $N(0, \Sigma)$ 中采样。

2.1 模型公式化

对于具有输入 $x$ 的隐藏单元 $h$ ，其激活函数定义为：
$y_h = g(u_h(r_h^\top x) + u_{h0})$
其中 $g$ 是激活函数（如 ReLU）， $u_h$ 和 $u_{h0}$ 是特定于该单元的学习缩放和平移参数。

随机投影向量 $r_h$ 通过低秩分解生成：
$r_h = B z_h + \text{diag}(\sigma) \epsilon_h$
其中：

$z_h \sim N_k(0, I)$ 和 $\epsilon_h \sim N_d(0, I)$ 是采样一次后固定的随机向量。
$B \in \mathbb{R}^{d \times k}$ （其中 $k < d$ ）和 $\sigma \in \mathbb{R}^d$ 是在层内所有单元间共享的学习参数。
生成的分布为 $r_h \sim N_d(0, \Sigma)$ ，其中 $\Sigma = BB^\top + \text{diag}(\sigma^2)$ 。

这种方法将随机性（向量 $z_h, \epsilon_h$ ）与几何结构（矩阵 $B$ 和缩放因子 $\sigma$ ）解耦。秩 $k$ 是一个控制模型复杂度的超参数，它在完全随机的单元（ $k \to 0$ ）与完全可训练的网络之间进行插值。

2.2 扩展

该框架被扩展至：

二值权重： 通过对生成的向量应用符号函数（sign function），HalfNet 可以产生二值（ $\pm 1$ ）权重。符号操作保留了由学习到的协方差 $\Sigma$ 定义的角度关系，使得模型即使在二值化状态下也能学习依赖关系。
卷积层： 滤波器通过相同的低秩分解生成，假设层内的滤波器共享相同的协方差结构。
多层架构： 可以堆叠多个 HalfNet 层，每一层都有独立的学习参数。

3. 核心贡献

学习协方差结构： HalfNet 学习的是随机投影的协方差结构，而非单个权重，从而有效地实现了依赖于数据的随机嵌入。
随秩平滑缩放： 本文证明了准确率随协方差因子秩 $k$ 平滑缩放，这表明训练层的大部分预测能力存在于低维几何结构中。
通用性： 研究表明该框架适用于全连接层、卷积前向层以及二值权重网络。
理论解释： 该方法具有三种互补的解释视角：
- 随机投影： 学习一个线性嵌入 $x' = B^\top x$ ，随后进行固定的随机投影。
- 度量学习： 学习一个马氏距离（Mahalanobis metric），其中 $B$ 决定了哪些输入方向被强调。
- 核方法： 通过隐式学习投影向量的分布来学习核函数。

4. 实验结果

4.1 MNIST 实验

单隐藏层（784–64–10）： 带有学习参数 $\sigma$ 和低秩 $B$ 的 HalfNet 变体显著优于纯随机网络。当秩 $k=4$ 时，HalfNet 的准确率可媲美参数量仅为其近一半的线性感知器（LP）。当 $k=16$ 时，它能以相当的参数量匹配完全训练的多层感知器（MLP）。
谱分析： 对完全训练的 MLP 的权重进行奇异值分解（SVD）显示，60% 的谱能量集中在前 9 个方向，80% 集中在前 17 个方向。这证实了训练后的权重位于低维子空间内，而 HalfNet 正是显式地对该空间进行参数化。
卷积前向层： 添加一个卷积层（16 个滤波器）提升了所有模型的表现。HalfNet 受益显著，即使在低秩（ $k=1$ ）情况下也能获得高准确率，因为其复杂度取决于有效秩而非增加的扇入数（fan-in）。
两隐藏层： 堆叠 HalfNet 层（784–64–64–10）保持了准确率随秩增加而提升的趋势，证明了该方法在深度网络中的可扩展性。
二值权重： 虽然在极低秩（ $k=2$ ）下的二值化会导致由于特征多样性坍缩而引起的准确率下降，但 $k \ge 4$ 时取得了强劲的结果。在 $k=16$ 时，二值 HalfNet 达到了 94.87% 的准确率，接近其连续版本对应的 95.30%。

4.2 CIFAR-10 实验

架构： 一个包含单个卷积层（32 个滤波器）后接大型全连接层的简单网络。该全连接层包含超过 99% 的参数。
性能： “Full–Half”配置（可训练卷积层 + HalfNet 全连接层）在秩 $k_f=32$ 时，能以约 8 倍更少的参数量 匹配完全训练的“Full–Full”基准模型。在 $k_f=48$ 时，其性能略微超过了基准模型。
卷积 HalfNet： 将 HalfNet 应用于卷积层（“Half–Half”）最初降低了性能并减慢了训练速度，这表明低秩假设对于已经具备强结构约束（局部性、权重共享）的层来说可能过于严格。

5. 重要性与主张

论文声称，HalfNet 证明了学习投影分布的几何结构可以捕捉到完全训练的神经网络层的大部分预测能力，同时使用显著更少的参数。

作者强调的关键结论包括：

几何结构优于数值： 神经网络的预测能力更多地在于权重空间的几何结构（协方差结构），而非单个参数的精确值。
效率： HalfNet 在固定随机特征与完全可训练网络之间提供了一个平滑的权衡，允许从业者通过秩参数 $k$ 来调节模型容量。
与低秩分解的区别： 不同于确定性的低秩方法（例如 $W=UV$ 且两者均可学习），HalfNet 学习的是用于生成权重的分布，从而保持了投影向量的随机性。这使该方法与随机特征和核学习联系起来。
局限性： 其优势在具有强数据相关性的高扇入（high fan-in）设置中（如处理图像数据的全连接层）最为明显。论文指出，在相关性较弱的设置中，性能增益可能会降低，仍需在更多样化的数据集上进行进一步评估。

这项工作不仅将 HalfNet 定位为一种架构层面的压缩技巧，更将其视为一种通过随机嵌入来学习数据底层度量与核结构的根本性转变。