💻 computer science

Compound and Parallel Modes of Tropical Convolutional Neural Networks

本文介绍了复合与并行热带卷积神经网络（cTCNN 和 pTCNN），它们通过结合 min-plus 和 max-plus 运算，在显著减少密集乘法计算的同时，保持了与标准 CNN 相比具有竞争力的准确率，这一点已通过广泛的实验以及一个开源的 PyTorch 实现得到了证实。

原作者： Mingbo Li, Liying Liu, Charles Wiranto, Ye Luo

发布于 2026-08-05

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Mingbo Li, Liying Liu, Charles Wiranto, Ye Luo

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下你正在试图教会一个机器人如何观察世界。为了做到这一点，我们通常会给它一个由“卷积神经网络”（CNNs）构成的“大脑”。把这些网络想象成一群微小、动作极快的厨师团队。他们的工作是观察一张图片，将其切成小块，然后将它们混合在一起，以弄清楚它们正在看的是什么。他们食谱中的秘密酱汁是什么？他们使用了大量的乘法。他们从图片中取出一个数字，乘以他们食谱书中的一个数字，然后将其相加。这就像是在瞬间完成成千上上的道数学题。

问题在于，乘法是非常昂贵的。它需要消耗大量能量和强大的、发热的计算机（比如数据中心里的那些）。如果你想把这个机器人大脑放入一个微小的设备中，比如智能手表或手机，而这些设备没有巨大的电池，那么乘法运算就会变得过于沉重。电池会耗尽，手机会发烫。科学家们一直试图寻找一种方法，让这些厨师在不需要进行这么多乘法运算的情况下工作。他们尝试过使用更简单的数学，比如仅仅是加法或者寻找一组数中的最大值，但通常，当他们把数学简化得太过头时，机器人就会感到困惑并开始犯错。这就像是试图只用一把勺子而不用炉灶来烹饪一道美食；虽然效率很高，但食物的味道并不对。

这篇论文介绍了一种试图兼顾两全其美的聪明新方法。作者 Mingbo Li 及其来自厦门大学的团队提出了两种被称为复合热带卷积（Compound Tropical Convolution）和并行热带卷积（Parallel Tropical Convolution）的新“食谱”。他们并没有仅仅使用标准的、依赖大量乘法的传统方法，也没有仅仅使用简单的“寻找最大值”的方法，而是将它们结合了起来。想象一位厨师可以瞬间找到碗里最热的食材以及最冷的食材，然后用一种特殊的技巧将它们混合在一起。这使得机器人能够在不需要进行消耗电池的重型乘法运算的情况下，清晰地观察到细节。他们构建了一个工具包来测试它，并在著名的图像谜题上运行了测试，发现这些新方法可以像旧有的重型模型一样聪明，但对能量的消耗要轻得多。

新的“热带”转折

这里的核心思想依赖于一种被称为“热带代数”（Tropical Algebra）的东西。在普通的数学世界里，我们进行乘法和加法。在这个“热带”世界里，规则被互换了：乘法变成了加法，加法变成了寻找最小值或最大值。

把这想象成一场“热与冷”的游戏。

标准 CNNs 就像一台计算器，它会乘计算它看到的每一个数字。它很精确，但速度慢且渴望能量。
旧的热带 CNNs 就像一场游戏，你只需要喊出一组数中的“最热”（最大）或“最冷”（最小）的数字。它速度极快，几乎不消耗能量，但有时会错过细微的细节，让机器人变得笨拙。

作者意识到，仅仅依靠“最热”或仅仅依靠“最冷”的数字是不够的。因此，他们发明了两个新招式：

复合热带卷积 (cTCNN)： 这就像一位厨师观察一组食材，然后说：“我会取走最热的一个，但我也会留意最冷的那个，并用一种特殊的食谱将它们混合在一起。”他们对“热”和“冷”的检查使用相同的“食谱书”（权重），通过融合结果来获得更丰富的风味。
并行热带卷积 (pTCNN)： 这更加灵活。想象两个厨师并排工作。一个厨师在寻找最热的食材，而另一个厨师在寻找最冷的食材。他们各自拥有独特的食谱书。最后，他们结合各自的发现。这给了机器人更多观察世界的方式，使其变得更聪明，而不会增加沉重的乘法负担。

厨房测试：成功了吗？

团队不仅仅是凭空构想；他们建立了一个真实的厨房（软件框架）来进行测试。他们创建了一个与 PyTorch（一种流行的构建 AI 的工具）兼容的工具包，甚至编写了特殊的代码让它能在图形处理器（GPUs）上快速运行。他们在各种任务上测试了他们的新型“复合型”和“并行型”厨师：

识别数字： 他们在 MNIST（手写数字）和 Fashion-MNIST（服装图片）上进行了测试。新方法表现得极其准确，通常能匹配标准的重型模型。例如，在 Fashion-MNIST 测试中，他们最好的模型达到了 91.11% 的准确率，这非常接近标准模型。
更复杂的图片： 他们尝试了 CIFAR-10（汽车、动物和飞机的彩色图片）和 SVHN（街头数字）。这些更难。标准模型有些吃力，但新的热带方法挺住了。在 CIFAR-10 上，他们最好的模型达到了 66.82% 的准确率。虽然这还不完美，但相比早期的热带尝试是一个巨大的进步，并表明它们可以处理复杂的图像。
医学扫描： 他们甚至在 3D 医学图像（如脑部扫描）上进行了尝试，使用了名为 Med只会MedMNIST 的数据集。在这里，新方法显示出可以非常有效，某些模型在心跳数据上的准确率超过了 98%。

权衡：速度 vs. 智能

论文指出，这些新方法提供了一种“有利的权衡”。这意味着你在不支付全额“能量成本”（乘法）的情况下，获得了大量的“智能”（准确度）。

好消息： 新模型显著减少了乘法次数。在某些情况下，他们将卷积部分的乘法次数降为零，取而代之的是简单的加法和最大/最小值检查。这对电池寿命非常有益。
现实检查： 作者谨慎地指出，虽然他们的数学逻辑很高效，但目前的计算机芯片（GPUs）是为超快速乘法而设计的。它们并不是为了“寻找最大或最小值”而设计的。因此，目前这些新方法在数学上更轻量，但在现有的手机或电脑上运行起来可能在物理上并不更快，因为硬件还没有专门的“热带模式”。然而，作者建议，如果硬件制造商制造出理解这种新数学的芯片，这些模型将会非常快速且高效。

他们没发现什么（以及他们排除了什么）

了解这篇论文没有做哪些事情也很重要。

他们并没有声称这些方法是所有东西的完美替代品。在最难的数据集上，标准的重型模型有时仍然胜出。
他们也没有说仅仅使用“热带”数学就是灵丹妙药。他们的实验表明，如果你只使用旧的、简单的“最小加法”或“最大加法”方法，模型往往无法学习复杂的模式。正是这种结合（复合与并行）才产生了区别。
他们还测试了一种称为“AdderNet”的方法（它使用加法而不是乘法），并发现，在针对 ResNet 模型的特定测试中，他们的热带方法通常比 AdderNet 版本表现更好。

总结

这篇论文表明，通过以一种聪明的方式混合“热”与“冷”的数学，我们可以构建出对小型、电池供电设备更加友好的 AI 大脑。作者展示了复合和并行热带卷积可以在大幅减少沉重的乘法运算的同时，在图像分类和医学任务中实现具有竞争力的结果。这是一个充满希望的步骤，旨在让智能 AI 能够在你的手表或手机上运行而不会耗尽电池，前提是我们最终能够制造出能够高效运行这种新数学形式的硬件。

技术摘要：热带卷积神经网络的复合与并行模式

问题陈述

卷积神经网络（CNN）是尖端计算机视觉的基础，但它们高度依赖于密集型乘法计算，这为在资源受限的边缘设备上的部署带来了巨大挑战。虽然现有的技术（如二值网络或 AdderNet）试图减少乘法，但它们往往会损害特征提取能力或依赖于量化权衡。热带卷积神经网络（TCNNs）提供了一种替代方案，通过使用更廉高效的 min/max-plus 操作来取代乘法；然而，标准的 TCNNs 往往由于网络结构过于简单，无法平衡计算复杂度与表示能力，从而导致模型准确率下降。

方法论

作者提出了两种新型的热带卷积扩展：复合热带卷积 (cTCNN) 和 并行热带卷积 (pTCNN)，旨在解决准确率与效率之间的权衡问题。

核心概念

这项工作基于热带代数，其中加法被 min/max 操作取代，而乘法被标准加法取代。

复合热带卷积 (cTCNN)： 该算子在单个卷积层中使用相同的权重核，将 min-plus 和 max-plus 操作结合在一起。它被定义为两种操作的线性组合：
$(f \otimes (g, \alpha, \beta))(t) = \alpha \cdot (f \otimes_{\min} g)(t) + \beta \cdot (f \otimes_{\max} g)(t)$
这使得该层能够同时从两种代数结构中捕获多样化的特征。其特例包括共享参数（ $\beta = \alpha$ ）、相反符号（ $\beta = -\alpha$ ）以及互补权重（ $\beta = 1 - \alpha$ ）。
并行热带卷积 (pTCNN)： 该算子在同一层内使用不同的权重核（ $W_1$ 和 $W_2$ ）结合 min-plus 和 max-plus 操作。它提供了更可调的参数和潜在的更多样化的特征提取能力：
$(f \otimes (g_1, g_2, \alpha, \beta))(t) = \alpha \cdot (f \otimes_{\min} g_1)(t) + \beta \cdot (f \otimes_{\max} g_2)(t)$

实现与框架

作者开发了一个名为 tcnn 的兼容 PyTorch 的框架。

优化： 为了缓解标准 PyTorch 实现（会产生许多中间张量）的低效问题，核心操作是使用 TileLang 实现的，这是一种用于生成优化 GPU 核函数的领域特定语言。
兼容性： 该框架被设计为标准 nn.Conv2d 层的掉入式替换方案，支持 1D、2D 和 3D 卷积。它能无缝集成到包括自动微分和 GPU 加速在内的现有 PyTorch 生态系统中。
混合模型： 研究调查了将这些热带算子集成到更深层的骨干网络（ResNet、MobileNetV2）以及语义分割架构（U-Net、DeepLabV3）中的情况，通常采用与标准卷积的混合配置。

核心贡献

新型算子： 引入了 cTCNN 和 pTCNN，通过结合 min-plus 和 max-plus 代数操作来泛化热带卷积，从而在不重新引入沉重乘法成本的情况下增强表示能力。
开源框架： 提供了一个基于 PyTorch 的实现，通过 TileLang 实现优化的 GPU 核函数，支持 1D、2D 和 3D 任务，并允许无缝集成到现有模型中。
全面评估： 在多个基准测试（MNIST、FashionMNIST、SVHN、CIFAR-10/100、Tiny ImageNet、CamVid、Pascal VOC、UrbanSound8K、ECG 和 MedMNIST v2）中进行了广泛实验，涵盖图像分类、语义分割以及 1D/3D 数据任务。
混合架构分析： 证明了将热带算子与标准 CNN 层相结合（混合模型）可以获得与独立基准模型相比具有竞争优势甚至更优的表现。

实验结果

论文报告了各种数据集和架构的结果：

轻量级模型 (LeNet)： 在 MNIST 上，大多数模型实现了接近完美的准确率。在更复杂的任务如 CIFAR-10 和 SVHN 上，混合模型（例如 LeNet-PM- $\alpha/\beta$ ）和复合变体通常优于标准的 LeNet-ReLU 或纯热带变体，在准确率与计算成本（以统一操作 $\Omega_u$ 衡量）之间取得了良好的平衡。
深层骨干网络 (ResNet/MobileNetV2)：
- ResNet： 在 CIFAR-10 上，ResNet34-Compound-I 实现了 93.21% 的准确率（自定义配置），超过了标准 ResNet34 基准（92.58%）。在 CIFAR-100 上，热带变体显示出相对于基准的显著改进，尤其是在自定义配置中。
- MobileNetV2： 使用复合热带卷积替换深度卷积（depthwise convolutions），使 CIFAR-10 的准确率从 82.74% 提升至 85.05%（ImageNet 配置）以及从 89.90% 提升至 90.24%（自定义配置）。
语义分割： 在 CamVid 上，以 cTCNN 为骨干网络的 ResNet18 版 U-Net 在验证集上达到了 66.03% 的 mIoU，优于标准基准（64.05%）。在 Pascal VOC 上，基于 cTCNN 的 DeepLabV3 保持了与标准 CNN 基准相当的竞争力。
1D 和 3D 任务： 这些算子成功扩展到了音频（UrbanSound8K、Speech Commands）、ECG 和 3D 医学成像（MedMNIST v2）。在许多情况下，热带变体在大幅减少乘法操作的同时，匹配或超过了标准 CNN 的性能。
简化结构： 通过移除可学习参数（ $\alpha, \beta$ ）转而使用直接求和的实验表明，简化后的模型可以以更少的参数保持极具竞争力的准确率，凸显了其在高度受限环境下的潜力。

重要性与主张

论文声称热带卷积变体（cTCNN 和 pTCNN）是构建高效深度学习模型的可行且有效的组件。其主要意义在于证明了：

准确率-效率权衡： 通过结合 min-plus 和 max-plus 操作，这些模型可以在保持低乘法计数的同时，恢复标准 TCNNs 所损失的表示能力。
硬件无关性（软件层面）： 提出的框架允许使用标准硬件（GPU）将热带算子集成到现代深度学习流水线中，尽管目前仍缺乏针对 min/max-plus 操作的专用硬件加速。
互补性： 混合模型表明，热带算子可以作为标准卷积的补充，为在不牺牲复杂任务所需的特征提取能力的前提下实现高效模型提供了一条路径。

作者对硬件限制保持谦逊，承认目前的 GPU 针对乘加（MAC）操作进行了优化，因此在没有专用 MaxPlus/MinPlus 加速单元的情况下，尚无法完全发挥热带卷积的全部计算优势。然而，这项工作为未来的硬件感知优化和探索替代算子设计奠定了坚实的实践基础。