MiCoPro: End-to-End Mixed Precision HW/SW Co-design with HW-aware Proxy Model
本文提出了 MiCoPro，这是一个端到端的软硬件协同设计框架，该框架利用硬件感知代理模型和一种新型优化算法来高效搜索混合精度量化方案，从而实现边缘 AI 模型的快速部署，并显著降低延迟且最大限度地减少精度损失。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，你正试图将一部体积巨大的高清电影塞进一个极其微小的、老式的 MP3 播放器中。这部电影是一个“神经网络”，即一种能够学习识别猫、翻译语言或驾驶汽车的计算机大脑。问题在于，这些大脑通常是使用沉重的浮点数（如 32 位或 64 位）构建的，这占用了大量空间并需要消耗大量能量进行处理。为了让它们能在智能手表或无人机等小型设备上运行，工程师们使用了“量化”（Quantization）。你可以把这想象成压缩电影：与其使用数百万种颜色，不如强制图像只使用几种灰色调。这让文件更小、播放速度更快，但如果压缩过度，画面就会变得模糊，AI 也会停止识别那只猫。
长期以来，工程师们一直尝试将整个电影压缩到相同的低质量水平，就像把每一帧都变成 4 位的素描图。但这就像是强行让慢动作动作场面和安静的对话场景都拥有相同的低分辨率；这在安静的部分浪费了空间，而在动作场面则毁掉了画质。一个更聪明的想法是“混合精度量化”（Mixed Precision Quantization, MPQ）。这就像是一种智能压缩算法，它能保持动作场面为高清晰度（8 位），同时将无聊的对话场景缩小为微小的素描（2 位）。挑战在于，如何准确地判断哪些场景应该被压缩以及压缩到什么程度。如果你猜错了，电影看起来会很糟糕；如果你猜对了，你就能得到一个体积微小但依然效果惊人的文件。这正是这篇论文的研究人员试图解决的谜题。
该论文介绍了一个名为 MiCo（及其升级版 MiCoPro）的新工具包来自动解决这个谜题。与其让一个人手动调整神经网络的每一层——这就像试图逐帧编辑一部 100 小时的电影——MiCo 系统更像是一个超级聪明、能快进的剪辑师。它使用了一个“代理模型”（proxy model），这本质上是一个“水晶球”，经过训练后可以预测特定压缩方案在真实硬件上的运行速度，而无需实际运行它。
研究人员发现，旧的猜测速度的方法就像是通过数书中的单词量来猜测阅读一本书需要多长时间。这只是一个粗略的估计，因为它忽略了字体是否较小、读者是否疲劳或者书本是否沉重。论文指出，这种旧方法（称为“位运算”或 BOPs）经常导致错误的决策，因为它不了解硬件的具体特性。MiCoPro 则为每个特定设备构建了一个定制的“速度计”。它学习不同的硬件如何处理不同类型的数学运算，从而能够找到高精度与低精度的完美组合，使 AI 运行得最快且不损失准确性。
在实验中，团队在各种 AI 模型上测试了该系统，从简单的图像识别器到大型语言模型。他们发现，通过使用这种全新的“硬件感知代理”（Hardware-Aware Proxy），他们可以在仅损失不到 3% 准确性的情况下，将 AI 的思考时间（延迟）缩短高达 40%。这就像是找到了一种方法，让你的手机电池续航时间延长 40%，而不会让屏幕变暗。
论文还强调，这不仅仅是一个理论；他们实际上构建了软件，可以将用 Python（一种流行的编程语言）设计的模型转化为可以直接在芯片上运行的原始、底层 C 代码，包括专门的加速器和修改后的 RISC-V 处理器。他们证明了其方法优于之前的“搜索”算法，因为那些算法往往会在海量的组合中迷失方向。通过使用一种称为“近约束采样”（Near-Constraint Sampling）的技术，MiCo 将搜索重点放在了紧邻速度限制的“甜点区”（sweet spot），而不是在检查那些太慢或太快的选项上浪费时间。
最终，这篇论文表明，为了在小型设备上充分发挥 AI 的性能，我们不能再对神经网络的所有层一视同仁。通过使用智能的、硬件感知的引导来混合匹配精度水平，我们可以让 AI 变得更快、更高效。作者证明了这种方法具有鲁棒性，适用于不同类型的芯片和模型，并提供了一个开源框架供他人使用。虽然结果是基于模拟和特定的硬件测试，但这种在不同场景下的持续成功表明，这种“智能压缩”策略是边缘 AI 未来的有力工具。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。