💻 computer science

RSU: A Novel RectifiedSineUnit Activation Function for Robust Pathological Diagnosis Across Multi-Cancer Datasets

本文提出了一种新颖的整流正弦单元（RSU）激活函数，该函数显著提升了卷积神经网络在四个不同癌症数据集上进行自动化病理诊断的性能，且与 ReLU 和 Leaky ReLU 等标准激活函数相比实现了更高的准确率。

原作者： Muhammad Saood Sarwar, Shahzaib ur Rehman

发布于 2026-07-29

📖 1 分钟阅读☕ 轻松阅读

原作者： Muhammad Saood Sarwar, Shahzaib ur Rehman

原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图教一个机器人如何观察世界，不仅是将其视为形状的集合，而是将其视为一个充满隐藏细节的故事。这就是深度学习（Deep Learning）的核心——它是人工智能的一个分支，计算机通过观察成千上万个示例来学习，就像学生为一场大考而学习一样。这个机器人的“大脑”被称为卷积神经网络（Convolutional Neural Network, CNN）。你可以把 CNN 想象成一个由小小侦探组成的团队，每个侦探都在观察图像的一小部分，以寻找像边缘、纹理或颜色之类的线索。

但问题在于：这些侦探需要一种方式来决定某个线索是否重要到足以传递给下一个侦探。这种决策工具被称为激活函数（Activation Function）。长期以来，最受欢迎的工具是被称为 ReLU（Rectified Linear Unit） 的东西。你可以把 ReLU 想象成一个严格的守门人：如果线索是正向的（好的），它就让其通过；如果线索是负向的（坏的），它就完全关闭大门，不传递任何信息。虽然这很有效，但它有一个缺陷：有时它把门关得太死，导致机器人停止学习，因为它得不到任何反馈。这个领域的重大问题是：我们能否构建一个更聪明的守门人，让机器人学习得更快，并能发现医学图像中即使是最微小、最令人困惑的细节？

新的守门人：认识 RSU

在这篇论文中，两位研究人员 Muhammad Saood Sarwar 和 Shahzaib ur Rehman 提出了一种全新的守门人，叫做 RSU（Rectified Sine Unit）。RSU 不仅仅像 ReLU 那样是一个简单的开关，它更像是一种乐器。它使用正弦波（sine wave）（你在声波中看到的平滑、波浪状线条）来决定传递什么信息。

用通俗易懂的语言来说，它是这样工作的：

旧方法 (ReLU)： 想象一个夜店的保安，他只允许微笑的人进入。如果你在皱眉，你就得不到任何关注。有时，保安变得如此严苛，以至于没有人有机会学会如何微笑。
新方法 (RSU)： RSU 是一个倾听人群节奏的保安。即使输入很棘手，RSU 也会通过摆动和振荡（像波浪一样上下移动）而不是直接关闭，而不是仅仅关闭。这种“摆动”有助于机器人持续学习，即使线索是微妙或令人困惑的。

为什么这对癌症研究至关重要？

研究人员将这种新的 RSU 守门人应用于一项非常严肃的任务：从医学图像中诊断癌症。他们想看看 RSU 是否能比旧方法更好地帮助计算机识别脑部、肺部、结肠和乳腺扫描中的肿瘤。医学图像极其复杂；肿瘤看起来可能与健康组织非常相似，错过一个微小的细节可能是危险的。研究人员认为，由于 R秒 RSU 以波浪形式运动，它可能更擅长捕捉那些 ReLU 这种直线型守门人可能会错过的“波动性”、高频细节。

他们的发现

团队构建了一个标准的计算机视觉模型，并将旧的守门人（ReLU、Leaky ReLU 和 ELU）替换为他们的新 RSU。然后，他们将模型运行在四个不同的医学数据集上，以观察其表现如何。以下是数据展示的结果：

脑癌 (MRI)： RSU 模型达到了 85.31% 的准确率。这优于标准的 ReLU 模型，后者仅达到 83.00%。RSU 在区分不同类型的脑肿瘤方面表现更好。
肺癌 (CT)： 这是一个巨大的胜利。RSU 模型实现了 99.55% 的准确率，击败了达到 98.64% 的 Leaky ReLU 模型。它在识别肺部问题方面几乎达到了完美。
乳腺癌： RSU 模型得分 97.88%，再次击败了 Leaky ReLU 的 97.27%。
结肠癌： RSU 模型展现了惊人的稳定性，在测试集上达到了 99.77% 的准确率。

为什么 RSU 与众不同

论文指出，秘诀在于正弦波的周期性特征。因为 RSU 会振荡，它不仅仅是“开启”或“关闭”。它创造了一种平滑、连续的信息流。

没有“死亡”神经元： 在旧的 ReLU 模型中，如果输入是负值，网络的某些部分有时会变得“死亡”（完全停止学习）。RSU 保持了梯度（学习信号）的流动，防止了这些死亡区域的出现。
捕捉微妙之处： 研究人员发现，RSU 特别擅长区分看起来非常相似的组织。例如，在脑部扫描中，ReLU 有时会混淆两种类型的肿瘤，但 RSU 能将它们区分开来。

总结

作者得出结论，用这种新的、波浪形的 RSU 函数取代标准的、直线型的守门人，使计算机视觉模型更加稳健且准确。他们认为，这种简单的改变有助于 AI “看到”医学图像中复杂的、有节奏的模式，而这些模式是它之前无法捕捉到的。虽然他们并未声称已经完全解决了癌症诊断问题，但他们的实验有力地表明，这种新的激活函数是一个强大的工具，有望在未来带来更可靠的自动化诊断系统。他们工作的代码已开放，供他人检查和构建，为这种“波动式”的新思维方式打开了大门。

技术摘要：RSU —— 一种用于稳健病理诊断的新型整流正弦单元激活函数

1. 问题陈述

深度学习，特别是卷积神经网络（CNN），已成为自动化医学图像分析的标准。然而，这些网络的性能在很大程度上取决于激活函数的选择。虽然 ReLU、Leaky ReLU 和 ELU 等标准函数已取得成功，但它们存在固有的局限性：

线性与单调性： 标准函数通常是单调的，这可能会限制它们捕捉医学影像中固有的复杂、非线性及振荡模式（例如：细微的组织纹理、细胞异常）的能力。
梯度问题： ReLU 存在“神经元死亡”问题，即对于负输入，梯度变为零，从而导致学习停止。虽然 Leaky ReLU 和 ELU 试图缓解这一问题，但它们在高度非线性的区域仍可能表现出收敛缓慢或难以处理的问题。
特征提取差距： 在探索能够更好地利用不同癌症类型（脑、肺、结肠和乳腺）中病理数据所包含的复杂空间和高频特征的替代激活函数方面，仍存在研究空白。

2. 方法论

2.1 提出的激活函数：整流正弦单元 (RSU)

作者提出了一种新型激活函数——整流正弦单元（RSU），其数学定义为一个分段函数：
$f(x) = \begin{cases} 0 & \text{若 } x < 0 \\ 2 \sin^2(x) & \text{若 } x \geq 0 \end{cases}$
关键数学特性：

非线性： 经证明该函数是非线性的，因为它未通过线性函数所需的加法性和齐次性测试。这使得网络能够建模复杂的、非单调的关系。
有界性： 输出严格限定在 $[0, 2]$ 区间内。系数 2 的缩放提供了比标准类 Sigmoid 单元 $[0, 1]$ 更宽的动态范围。
可微性： 该函数处处光滑且可微，其导数为 $f'(x) = 4\sin(x)\cos(x) = 2\sin(2x)$ （当 $x \geq 0$ 时）。这确保了连续的梯度流。
周期性： 正弦性质引入了周期性，作者认为这起到了一种隐式正则化的作用，有助于防止过拟合并辅助探索损失平面。
梯度保留： 与 ReLU 不同（ReLU 对负输入输出零梯度），RSU 在正输入时保持非零梯度，并避免了“死神经元”现象。

2.2 实验设置

为了验证 RSU，作者在四个不同的医学影像数据集上进行了受控对比研究：

脑癌 (MRI)： 3 类（胶质瘤、脑膜瘤、肿瘤）。
肺癌 (CT)： 3 类（良性、正常、恶性）。
结肠癌 (组织病理学)： 2 类（非癌症、癌症）。
乳腺癌 (组织病理学)： 2 类（非癌症、癌症）。

架构与协议：

为所有实验从头构建了一个标准化的 CNN 架构，以隔离激活函数的影响。
输入： 图像尺寸调整为 $64 \times 64 \times 3$ 。
结构： 两个卷积块（分别为 128 个滤波器和 64 个滤波器），使用 $3 \times 3$ 卷积核，随后是最大池化层、展平层和全连接层（128 个神经元）。
对比： 在相同的架构中，系统地将 RSU 替换为 ReLU、Leaky ReLU 和 ELU。
训练： 使用 Adam 优化器和分类交叉熵损失函数进行 10 个 epoch 的训练。
指标： 评估指标包括准确率（Accuracy）、精确率（Precision）、召回率（Recall）、F1 分数（宏平均）以及损失收敛分析。

3. 核心贡献

新型激活函数： 引入了 RSU，它将整流与正弦变换相结合，创建了一个非单调、周期的激活单元。
理论分析： 对函数的非线性、有界性和可微性进行了形式化证明，并对其梯度流特性进行了分析，表明其具有抗梯度消失能力。
全面基准测试： 在四个多样化的癌症数据集（MRI、CT 和组织病理学）上进行了严格评估，证明了该函数并不局限于单一模态。
性能验证： 实证结果表明，RSU 在准确率、收敛速度和稳定性方面始终优于或高度竞争于最先进的标准激活函数。

4. 结果

实验结果表明，集成 RSU 的 CNN 实现了优于或高度竞争于使用 ReLU、Leaky ReLU 或 ELU 模型的性能：

准确率：
- 脑癌： RSU 达到 85.31%，优于 ReLU (83.00%)。
- 肺癌： RSU 达到 99.55%，超过了 Leaky ReLU (98.64%)，并显著优于 ELU (87.73%)。
- 结肠癌： RSU 达到 99.77%，展示了高稳健性（与 ReLU 的 99.88% 相当，但具有更稳定的早期收敛性）。
- 乳腺癌： RUS 达到 97.88%，超过了 Leaky ReLU (97.27%)。
收敛与损失：
- RSU 模型在所有数据集中都表现出更快的收敛速度和更低的最终损失值。例如，在脑癌数据集中，RSU 将损失从 0.68 降至 0.02，而 ReLU 仍维持在 0.33。
- RSU 的损失曲线更平滑且更稳定，表明其具有稳健的梯度流并有效缓解了梯度消失问题。
精确率与召回率：
- RSU 展示了更优的宏平均精确率、召回率和 F1 分数。在肺癌数据集中，RSU 的召回率达到了 0.9861，这对于最大限度减少筛查中的假阴性至关重要。
混淆矩阵分析：
- 在脑癌数据集中，RSU 显示出更优的对角线占优性，能够比 ReLU 更准确地分类脑膜瘤和胶质瘤病例，而 ReLU 在区分这些特定组织类型方面表现欠佳。

5. 意义与主张

本文认为，RSU 激活函数为自动化医学诊断提供了一个极具吸引力的替代方案。这项工作的意义在于以下主张：

增强特征提取： 正弦函数的周期性允许网络捕捉复杂的、高频的空间特征和细微的病理特征（如细胞形态、组织密度），而单调函数可能会平滑掉或忽略这些特征。
稳健性与稳定性： 通过保持非零梯度并在零点附近提供平滑过渡，RSU 确保了稳定的训练动态，并防止了“死神经元”问题，从而实现深度网络中更可靠的收敛。
泛化能力： 在四种不同癌症类型和成像模态上的持续表现表明，RSU 是一个通用的组件，可以提高 CNN 在高风险临床环境中的可靠性。
高效性： 研究表明，通过修改基础网络组件（激活函数）而非仅仅依赖于增加架构复杂度或使用大规模预训练集成，即可获得显著的性能提升。

作者总结道，采用 RSU 可以建立更灵敏的诊断系统，通过更好地区分复杂的重叠病理特征，从而降低肿瘤学的误诊率。未来的工作建议探索 RSU 在多模态融合和基于 Transformer 架构中的应用。