Meganeura: Portable GPU Training and Inference through Vulkan and Metal
Meganeura 证明了利用 Vulkan 和 Metal 的紧凑型原生编译器可以有效地跨越不同消费级 GPU 的训练和推理阶段，实现具有竞争力的性能，并且与 PyTorch 相比显著缩短了编译时间，同时识别出内核覆盖率和调度是主要的剩余瓶颈。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，你有一个超级聪明的机器人大脑，它学会了识别猫、驾驶汽车或编写故事。通常情况下，这个大脑的工作方式存在一个巨大的、混乱的分裂。首先，它要去一个大型的、恒温恒湿的数据中心进行学习（训练），使用只有大公司才拥有的重型工具。然后，为了让它在你的手机或玩具上实际运行，你必须把它缩小，将其翻译成一种新的语言，并祈祷它仍然有效。这就像是在专业的厨房里烤一个巨大的蛋糕，然后试图把这个食谱塞进野餐用的微型午餐盒里，同时希望蛋糕不会碎掉。
这篇论文生活在计算机科学的世界中，具体来说是“机器学习”（教计算机从数据中学习）和“图形编程”（告诉计算机芯片如何绘制图像）领域。其核心思想是：那些驱动你的视频游戏和手机屏幕的计算机芯片，在数学运算方面极其强大。这篇论文提出了一个简单的问题：我们能否跳过那个混乱的翻译步骤？我们能否使用同一个“食谱”来训练机器人大脑，然后直接在你的设备上运行它，而不需要中间经过庞大的数据中心或 Python 这种计算机语言？如果我们能做到这一点，就意味着你的设备可以在你所在的地方即时学习新技能，而无需将数据传回服务器。
研究人员构建了一个名为 Meganeura 的新工具来测试这一点。把 Meganeura 想象成一个集通用翻译官和顶级大厨于一身的角色。Meganeura 不使用通常的重型工具（比如 PyTorch，这是标准的 AI“厨房”），而是使用视频游戏引擎已经在使用的标准语言：Vulkan 和 Metal。这些是图形卡用于渲染 3D 世界的语言。团队想要看看他们是否可以编写一个单一的程序，既能进行“学习”（训练），又能进行“执行”（推理），且几乎适用于任何现代计算机芯片，从高端游戏显卡到你手机或笔记本电脑里的微型芯片。
他们将 Meganeura 与行业标准 PyTorch 在五种不同类型的设备上进行了对比测试：强大的 NVIDIA 和 AMD 显卡、笔记本内置的 AMD 芯片、Intel 图形芯片以及 Apple 的硅芯片。他们运行了五种不同的 AI 任务，从识别图像到理解语音。
好消息是：
Meganeura 是有效的！在许多情况下，它的速度与那些重型标准工具一样快，有时甚至更快。在 AMD 设备上，它通常比竞争对手更快。例如，在 AMD 显卡上，Meganeura 训练某些模型的速度比标准工具快了 1.3 倍。在 Apple M3 芯片上，它的表现具有竞争力，尽管有时稍慢一些。最棒的部分是，Meganeura 非常小巧。整个程序只有 13 MiB（大约是几张高质量照片的大小），而标准工具则需要数 GB 的软件才能安装。它能在几秒钟内（0.1 到 2.4 秒）完成新任务的编译，而不是花费数分钟。
“视情况而定”的消息是：
它并非在所有地方都完美获胜。在 NVIDIA 显卡和 Apple 芯片上，Meganeura 有时会慢一些，尤其是在处理像深度学习模型训练这样复杂的任务时。研究人员发现，速度差异并不是因为图形语言（Vulkan/Metal）本身很弱，而是因为 Meganeura 的“厨房”还没有拥有大公司多年来构建的所有专业化工具（算子/kernels）。例如，在 NVIDIA 显卡上，最慢的部分是特定于卷积（一种图像处理类型）的数学运算，在某些加速模式下，Meganeura 比标准工具慢了约 4.6 倍。
“现实世界”的测试：
为了证明这不仅仅是实验室里的技巧，他们为 VR 头显（Meta Quest 3）构建了一个名为 DinoVision 的真实应用。他们在计算机上训练了一个解码器，保存了那个“大脑”，然后直接使用 Meganeura 在头显上运行。它运行得非常完美，与游戏渲染共享同一个图形队列。这证明了你可以在同一台设备上进行训练和部署，而无需独立的服务器。
代价（注意事项）：
研究人员非常谨慎。他们发现有两种特定情况下的结果与标准工具并不完全匹配。他们怀疑在这些特定案例中，可能是标准工具本身存在 Bug，但如果没有第三方的意见，他们无法 100% 确定。他们还指出，Meganeura 目前还不准备取代用于大规模分布式训练的巨型数据中心工具；它是为那些希望将一切都打包在一个整洁包中的小型、便携式应用而设计的。
底线是：
Meganeura 表明，你不需要一个庞大且专门的数据中心来在你的设备上训练和运行 AI。通过使用已经驱动游戏的图形语言，你可以创建一个微型且便携的系统，它几乎可以在任何现代芯片上学习和运行。虽然它目前在某些场景下还不是最快的，但它证明了“训练并部署”这一技术栈是可行的，这为设备能够实现随时随地学习和适应的能力打开了大门。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。