Sparse by Command: Task-Conditional Compute Skipping for Multi-Task Inference Accelerators
本文提出了“指令驱动稀疏化”（Sparse by Command），这是一种通过利用任务指令，经由轻量级门控网络和专用分块加速器来动态跳过不必要计算的软硬件协同设计方法，在不改变模型架构的情况下，实现了多任务推理中高达 76% 的 FLOP 减少和 2.4 倍的延迟加速。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，你是一位大型高科技管弦乐团的指挥家。在人工智能的世界里，这个管弦乐团就是一个“神经网络”，一个旨在做出决策的类脑计算机程序。通常情况下，当这个管弦乐团演奏一段音乐时，每一位乐手都会拿起他们的乐器并演奏，无论正在表演的是什么样的曲目。如果是一首温柔的摇篮曲，沉重的鼓声和嘹亮的喇叭声依然会全功率演奏，尽管这首歌并不需要它们。这是极其浪费的。它消耗了大量的能量，并且耗费了很长时间，就像开着一辆巨大的卡车去街角商店只为了买一个苹果一样。
在“多任务推理”（multi-task inference）这个特定领域，这个问题变得更大了。在这里，单个计算机大脑被要求同时执行许多不同的工作，比如转向、刹车或左转。问题在于，计算机直到开始工作时才知道自己正在做什么任务，所以它会为所有任务同时做准备，从而在不需要的任务上浪费电力。科学家们曾尝试通过让计算机变得“稀疏”（sparse）来解决这个问题，这是一个形容“空旷”的高级词汇。他们曾尝试告诉计算机跳过某些音符，但通常情况下，计算机仍然必须检查每一个音符，以确定是否应该跳过，这既耗时又耗能。这篇论文提出了一个简单的问题：如果计算机在开始演奏之前，就已经确切知道自己要做哪项工作，它就能在乐手们拿起乐器之前，就告诉他们放下乐器，那会怎样呢？
来自香港和华为的研究团队开发了一个聪明的系统，名为“指令驱动稀疏化”（Sparse by Command），解决了这个问题。他们意识到，在像自动驾驶这样的任务中，“指令”（比如“左转”或“刹车”）在计算机开始观察道路之前就已经已知了。他们利用这一免费的信息创建了一个智能开关台。与其让计算机去猜测大脑的哪些部分需要使用，不如用一个微小、超快速的辅助网络来观察指令，并瞬间拨动开关，关闭主脑在当前时刻不需要的特定部分。
把它想象成一个智能家居。如果你告诉你的房子“我要睡觉了”，系统不仅会调暗客厅的灯光，它还知道你不在厨房，因此会在你走进厨房之前就完全切断厨房的电源。作者们构建了一个特殊的计算机芯片（基于 FPGA，这是一种类似于电子领域的可编程乐高板）来理解这些开关。当指令显示为“刹车”时，芯片会跳过 76% 的工作；当指令显示为“左转”时，它会跳过大约 71% 的工作。因为该芯片是在物理层面停止工作的发生，而不仅仅是假装在做，所以它节省了大量的时间和电池电量。
结果非常令人印象深刻。当他们在名为 CARLA 的模拟驾驶游戏中进行测试时，该系统变得更快了。做出决策所需的时间从 9.12 毫秒降至 3.74 到 4.44 毫秒之间。这意味着实现了约 2.1 到 2.4 倍的加速！它也使用了不到一半的能量，从每次决策 263 毫焦降至约 108–128 毫焦。至关重要的是，汽车并没有撞车或迷路；它仍然完美地完成了 100% 的驾驶路线。
这篇论文还展示了为什么这种方法比旧方法更好。他们尝试过仅仅进行“剪枝”（prune，即永久性地切除）大脑的部分，就像永久移除管弦乐团中的鼓一样。但这样做效果并不好，因为有时候你需要鼓，而有时候你不需要。如果你永久移除了它们，管弦乐团就无法演奏那些需要鼓的曲目了。“指令驱动稀疏化”系统则更加聪明，因为它让所有的乐手都处于待命状态，但只有在特定的曲目需要时才召唤他们。他们甚至在另一种类型的计算机大脑（Transformer）上进行了测试，发现该方法同样适用，这表明这个想法可以用于许多不同类型的智能机器，而不局限于汽车。
简而言之，这篇论文证明了，如果你给计算机一个清晰的指令，你就可以告诉它跳过所有不需要的忙碌工作。通过构建一个能够倾听这些指令并物理性跳过不必要工作的定制芯片，他们打造出了一个更快速、运行成本更低且同样出色的智能系统。这提醒我们，有时候，实现高效的最佳方式不是更努力地工作，而是明确知道什么是不需要做的事情。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。