Loss-Aware Feature-Map Pruning in Convolutional Neural Networks Using Multi-Armed Bandits
本文提出了一种针对卷积神经网络的损失感知特征图剪枝框架，该框架利用多臂老虎机算法（具体为 UCB1 和 Thompson Sampling），旨在高效识别并移除冗余的卷积通道，同时在各种数据集上保持模型的准确性。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，你正试图教一个超级聪明的机器人如何识别猫、狗或花朵的照片。为了做到这一点，这个机器人使用了一个由数学构成的“大脑”，称为卷积神经网络（简称 ConvNet）。你可以把这个大脑想象成一个拥有数千名微型工人（称为过滤器）和传送带（称为特征图）的大型工厂，这些工人和传送带逐层处理图像。工厂拥有的工人与传送带越多，它捕捉细节的能力就越强，但它也会变得越笨重、运行越慢。如果你试图在智能手机或无人机这类小型电池驱动设备上运行这个工厂，它可能会因为太重而无法携带，或者反应太慢而无法及时应对。
为了解决这个问题，科学家们使用了名为“剪枝”（pruning）的技术。想象一下你是一位正在修剪一株巨大的、过度生长的灌木丛的园丁。你想要剪掉那些枯死或无用的枝条，使植物变得更小、更容易管理，但你必须小心，不要剪掉那些真正结果的部分。在人工智能的世界里，这意味着移除网络中那些对识别任务没有帮助的部分。棘手之处在于，如何确定要剪掉哪些枝条。如果你剪错了，机器人就会忘记如何识别猫；如果你剪得太多，它就会变得困惑。大问题在于：如何在不花费数年时间去逐一测试每一根枝条的情况下，找到那些无用的部分？
这篇论文介绍了一种巧妙的、类似于游戏的策略来解决这个问题。作者 Salem Ameen 和 Sunil Vadera 提议使用一种被称为“多臂土匪”（Multi-Armed Bandits）的数学概念。想象一下你身处一家赌场，面前有一排老虎机（即“机械臂”）。你拥有的金币数量有限（即“预算”）。你的目标是找出哪些机器的赔率最高，但你并没有足够的钱去玩每一台机器一千次。相反，你会玩几次，看看哪些机器看起来比较幸运，然后将剩余的金币集中在表现最好的那些机器上。
在这项研究中，“老虎机”就是人工智能大脑中的特征图（即传送带）。“金币”则是计算机的时间和能量。研究人员建立了一个系统，让计算机不再仅仅根据特征图的大小（这是一种常见但往往不准确的方法）来猜测该剪掉哪些图，而是玩一场游戏：它会暂时隐藏其中一个特征图，观察机器人是否仍能正确识别图片，然后将该特征图恢复。如果隐藏该特征图没有损害机器人的性能，那么该特征图就会获得一个“可以安全移除”的分数。多臂土匪算法就像一个聪明的经理，它会根据目前所学到的知识来决定下一步测试哪些特征图，而不是随机或按固定顺序进行测试。
研究发现，这种“聪明经理”的方法非常有效。当他们在各种图像数据集（如用于手写数字的 MNIST、用于日常物品的 CIFAR，甚至是特定的鸟类和花卉数据集）上进行测试时，该方法成功地移除了网络中的很大一部分——在某些情况下，甚至达到了约 29% 的特征图——且没有降低机器人的工作能力。事实上，在许多情况下，剪枝后的机器人与原始的、未经修剪的版本一样准确。
研究人员将他们的方法与另外两种常见的剪枝方式进行了对比：“贪婪”（greedy）剪枝（即只剪掉当前看起来最容易剪掉的部分）和“量级”（magnitude）剪枝（即剪掉看起来最小的部分）。他们的“土匪”方法始终优于这些旧方法。它的表现非常出色，从统计学上看，其表现与原始的、未剪枝的模型一样好，但拥有一个更小、更快的“大脑”。论文指出，通过使用这种自适应的、基于损失感知的策略，我们可以缩小强大的 AI 模型，使其适配更小的设备，同时不会牺牲其智能，并且与以往那种逐一测试每个部分的“蛮力”方法相比，还能节省时间和能量。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。