📊 statistics

A Composite Activation Function for Learning Stable Binary Representations

本文提出了重尾激活函数（HTAF），这是一种对阶跃函数的平滑复合近似，能够支持二值神经网络和脉冲神经网络的稳定梯度训练，并证明了其在构建具有离散特征表示的可解释隐式概念瓶颈模型方面的有效性。

原作者： Seokhun Park, Choeun Kim, Kwanho Lee, Sehyun Park, Insung Kong, Yongdai Kim

发布于 2026-05-13

📖 1 分钟阅读☕ 轻松阅读

原作者： Seokhun Park, Choeun Kim, Kwanho Lee, Sehyun Park, Insung Kong, Yongdai Kim

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是论文《用于学习稳定二进制表示的复合激活函数》的通俗解释，辅以创意类比。

核心难题：那个会“弄坏”大脑的“开/关”开关

想象一下，神经网络（一种人工智能）是一个巨大的工人团队，他们通过互相传递便条来解一道谜题。为了做出决策，这些工人使用“激活函数”，它们就像电灯开关。

标准人工智能：使用调光开关。它们可以微亮、半亮或全亮。这使得团队很容易学习，因为如果一名工人犯了错，他们可以轻轻地将开关向上或向下推来修正错误。
目标（二进制人工智能）：研究人员希望使用开/关开关（类似于阶跃函数）。这非常棒，因为它能节省巨大的内存和能量（就像一盏要么全亮要么全灭的灯泡）。同时，这也让人工智能的思考过程更易于理解。
棘手之处：你无法轻轻推动一个开/关开关。如果它是关的，它就保持关闭。如果你试图计算如何修正错误（使用梯度），数学就会崩溃，因为开关不会平滑移动。这就像试图驾驶一辆只有“走”和“停”按钮而没有方向盘的汽车。

解决方案：“重尾”开关（HTAF）

作者创造了一种名为HTAF（重尾激活函数）的新型开关。把它想象成一个智能混合开关，它能欺骗训练过程。

“甜蜜点”（接近零时）：当输入值很小（接近零）时，这个开关表现得像一条陡峭、激进的斜坡。它允许“学习信号”（梯度）强力通过。这确保了人工智能能够快速学习并修正错误，就像标准的调光开关一样。
“尾部”（远离零时）：当输入值变得非常大时，大多数标准开关（如 Sigmoid 函数）会完全变平，导致学习信号消失（即“梯度消失问题”）。HTAF 则不同。它拥有重尾，意味着即使数值变得巨大，它也能保持学习信号的流动。这就像一条长长的、平缓的斜坡，永远不会完全变平，从而确保人工智能永远不会“卡住”或迷失方向。

类比：想象一个游乐场的滑梯。

标准开关就像是一个滑到底部变得极其平坦的滑梯，你会卡住，无法继续滑下去（梯度消失）。
HTAF则是一个顶部陡峭（让你起步快）但底部有一条长长的、平缓曲线的滑梯，无论起点多高，它都能让你一直滑到终点。

他们如何使用它：两个主要技巧

这篇论文展示了他们使用这种新开关的两种方式：

1. 在不破坏网络的情况下训练“二进制”网络

他们使用 HTAF 来训练那些想要成为二进制的网络（脉冲神经网络、二进制神经网络和深度阶跃网络）。

训练期间：他们使用平滑的 HTAF 开关。人工智能正常学习，因为数学运算是有效的。
测试期间（推理）：一旦学习完成，他们就将 HTAF 开关替换为严格的开/关开关。
结果：人工智能最终拥有了一个二进制大脑（节省内存和能量），但学习效果和标准人工智能一样好。在他们的测试中，这种方法比之前的技巧（如“直通估计器”）效果更好，后者往往会产生混乱或有偏差的结果。

2. “隐式概念瓶颈模型”（ICBMs）

这是最具创意的应用。通常，为了让人工智能具有可解释性（让人类理解它为什么做出某个决定），我们必须手动标记人工智能在寻找什么（例如，“这只鸟有红色的喙吗？”）。这既昂贵又缓慢。

作者构建了一个名为ICBM的模型，能够自主发现这些概念：

过程：他们利用 HTAF 强制人工智能内部的“思想”（特征）变为二进制（0 或 1）。
魔力：由于人工智能被迫做出二进制决定，它自然地将图像分组为“具有此特征”或“不具有此特征”。
解释：一旦人工智能学会了这些二进制分组，他们就要求一个大语言模型（像一个聪明的聊天机器人）查看这些分组并给它们命名。
- 示例：人工智能可能会发现一组“在地面上”的鸟与“在水中”的鸟。聊天机器人将这个概念命名为“生态形态生态位”。
优势：他们获得了一个与标准“黑盒”人工智能一样准确的模型，但它还能提供人类可读的决策理由列表，而无需人类事先标记概念。

总结

这篇论文介绍了一种新的数学工具（HTAF），它充当了一座桥梁。它允许研究人员使用标准的平滑数学来训练人工智能模型，然后在最终产品中将其“ snap"（切换）为僵硬的二进制状态。

为何重要：它使人工智能运行更快、成本更低、更易于理解，同时不牺牲其性能。
主张：他们从数学上证明了这种开关能防止“学习信号”消亡，并通过实验表明，它在图像（如识别鸟类或汽车）甚至大语言模型上都能发挥作用。

注意：该论文完全专注于图像数据集（如 CIFAR、CUB-200）和文本数据集（如 Winogrande）。它并未声称适用于医疗诊断或临床用途，也未预测超出其具体实验范围的未来应用。

技术摘要：用于学习稳定二元表示的复合激活函数

问题陈述

激活函数对神经网络性能至关重要，影响着预测精度、鲁棒性和可解释性。尽管赫维赛德（Heaviside）激活函数（ $x \mapsto \mathbb{I}(x \geq 0)$ ）在计算效率、内存使用和可解释性方面具有显著优势，使其成为脉冲神经网络（SNN）、二元神经网络（BNN）和深度赫维赛德神经网络（DHN）的理想选择，但其本质上不可微。这种不可微性阻碍了标准基于梯度的优化方法的使用。

现有解决方案面临关键局限：

代理梯度（例如：直通估计器 - STE）：这些方法在反向传播期间近似梯度，但引入了前向传播与反向传播之间的不匹配，往往导致有偏的优化和次优性能。
平滑代理（例如：Sigmoid）：用平滑函数（如 Sigmoid）替代赫维赛德函数虽能启用梯度下降，但会遭受严重的梯度消失问题，特别是在函数被陡峭化以逼近二元阶跃时。这导致训练动态不稳定。

核心挑战在于设计一种激活函数，既能紧密逼近赫维赛德函数（从而实现二元表示），又能保持适合深度网络训练的、稳定的、不消失的梯度流。

方法论：重尾激活函数（HTAF）

作者提出了一种名为**重尾激活函数（HTAF）**的新型平滑复合函数，定义如下：
$\text{HTAF}(x|\alpha_0, \alpha_1) := \sigma(\alpha_1 \psi(\alpha_0 x))$
其中 $\sigma$ 是 Sigmoid 函数， $\psi$ 是双曲正切函数， $\alpha_0, \alpha_1 \in \mathbb{R}^+$ 为超参数。

理论性质

HTAF 的设计通过以下两种关键机制解决了二元逼近与梯度稳定性之间的权衡：

二元逼近：理论分析（命题 3.1）表明，通过适当选择 $\alpha_0$ 和 $\alpha_1$ ，HTAF 在原点任意小邻域之外均匀逼近赫维赛德函数。
重尾梯度行为：
- 接近零处： $x=0$ 处的梯度由乘积 $\alpha_0 \alpha_1$ 决定（定理 3.2b），允许在决策边界附近产生较大的梯度幅值以促进学习。
- 在尾部：对于较大的 $|x|$ ，梯度按 $C(\alpha_0, \alpha_1)\exp(-2\alpha_0|x|)$ 衰减（定理 3.2a）。关键在于，通过选择较小的 $\alpha_0$ ，与标准缩放 Sigmoid 函数相比，尾部区域的梯度衰减显著减缓，从而防止梯度过早消失。
- 参数控制：作者表明 $\alpha_0$ 控制尾部衰减速率，而 $\alpha_1$ 控制原点处的斜率。这种解耦使得网络能够在零点保持较大梯度的同时，确保对于大输入值梯度不会过快消失。

应用

本文将 HTAF 应用于两个主要领域：

训练具有赫维赛德激活的神经网络：HTAF 在训练期间替代 SNN、BNN 和 DHN 中的赫维赛德函数。这使得无需代理梯度即可使用标准梯度下降进行端到端优化。在推理阶段，HTAF 被还原为精确的赫维赛德函数，从而产生离散的、内存高效的激活值。
隐式概念瓶颈模型（ICBMs）：作者引入了 ICBM，这是概念瓶颈模型（CBM）的扩展。在 ICBM 中，特征提取器的最后一层在训练期间使用 HTAF，以诱导离散的、近二元的潜在表示（隐式概念）。在推理时，应用赫维赛德函数以生成精确的二元特征。与传统 CBM 不同，ICBM 不需要预定义的概念标注；相反，它们直接从数据中学习概念，随后由大型语言模型（LLM）进行解释。

主要贡献

新型激活函数：引入 HTAF，这是一种赫维赛德函数的平滑近似，它在零点附近保留大梯度，同时在尾部区域表现出缓慢的梯度衰减。
理论依据：证明了 HTAF 能以 $O(\epsilon)$ 的误差逼近赫维赛德函数，并从理论上展示了参数调整如何控制梯度衰减以实现稳定的深度学习。
无代理训练：证明了 HTAF 能够实现 SNN、BNN 和 DHN 的稳定端到端基于梯度的训练，在预测精度和稳定性方面优于 STE 和缩放 Sigmoid（SS）等现有方法。
可解释模型：提出了 ICBM，利用 HTAF 在不依赖人工标注的情况下学习离散的、特定于类别的隐式概念，在实现具有竞争力的预测性能的同时提供可解释性。

实验结果

作者在多种架构和数据集上进行了广泛实验：

赫维赛德网络训练：
- 在 CIFAR-10 和 CIFAR-100 上，HTAF 训练的 SNN 取得了与 STE 具有竞争力的性能（CIFAR-10 上分别为 91.0% 和 91.2%）。
- 对于 BNN 和 DHN，HTAF 始终优于 STE 和缩放 Sigmoid。例如，在 CIFAR-100 上，HTAF 训练的 BNN 达到了 46.1% 的准确率，而 STE 为 45.2%，SS 为 31.3%。作者将 SS 的糟糕表现归因于梯度消失。
隐式概念瓶颈模型（ICBMs）：
- 将特征提取器（ResNet、WideResNet、ViT）的最后一层激活函数替换为 HTAF，并未降低在 CIFAR-10、CIFAR-100、CUB-200 和 Tiny-ImageNet 上的预测性能。在某些情况下（例如使用 WideResNet 的 CIFAR-100），性能甚至有所提升。
- 类别特异性：分析表明，ICBM 学习到的隐式概念具有高度的类别特异性，其激活值针对特定类别集中在 0 或 1 附近，这与标准模型不同。
- 可解释性：利用 LLM 解释二元潜在节点，作者成功识别出具有语义意义的概念（例如“生态位形态”、“喙部形态”），这些概念与数据的视觉特征相一致。
大型语言模型（LLMs）：
- 将 Llama-2-7b 和 Qwen-3.5-9b 最后 $k$ 层中的激活函数替换为 HTAF 的实验表明，HTAF 提供了比 STE 更稳定的替代方案，随着被替换层数的增加，其性能下降幅度更小。

意义与主张

本文主张 HTAF 为训练具有二元激活的神经网络这一长期存在的难题提供了原则性解决方案。通过理论和实证证明 HTAF 在逼近赫维赛德函数的同时保持了尾部区域的梯度流，作者实现了：

稳定优化：训练深度二元网络，避免了代理梯度引入的偏差或陡峭 Sigmoid 近似带来的不稳定性。
效率与可解释性：能够部署内存高效的离散模型（SNN、BNN）和可解释模型（ICBM），而无需牺牲预测精度。
数据驱动的概念：为 CBM 提供了一种新范式，直接从数据中学习概念，绕过了人工或 AI 生成概念标注的成本和不可靠性。

作者指出，虽然 HTAF 通过参数调整缓解了梯度消失问题，但并未完全消除它，且确定 ICBM 中的最佳概念数量仍是未来研究的一个开放方向。