In-Network Collective Operations: Game Changer or Challenge for AI Workloads?
本文通过区分边缘内网集合操作（Edge-INC）与核心内网集合操作（Core-INC），分析其性能优势及六个关键采用挑战，并对它们在人工智能工作负载中的作用进行未来预测，向广大受众介绍了内网集合操作（INC）。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，你正在主持一场规模宏大的烹饪大赛，目标是创造出世界上最棒的 AI “菜肴”（即大语言模型）。成千上万名厨师（GPU）在巨大的厨房里协同工作。为了制作这道菜，他们需要不断地分享食材、互相品尝彼此的作品，并将他们的成果结合在一起。
这篇论文由来自微软、AMD 和 Broadcom 等科技巨头以及大学的专家团队撰写，提出了一个重大问题：如果我们能让厨房的管道和布线（网络）帮我们分担一些烹饪工作，会怎样？
以下是他们想法、挑战和预测的简单拆解。
加速厨房的两条途径
论文描述了利用网络协助厨师的两种方式：
Edge-INC（智能围裙）：
想象给每位厨师发一件“智能围裙”（一种特殊的网卡），它可以在食材进入厨师的主工作区之前就对食材进行数学运算。不再是厨师端起一桶水，倒进碗里，测量，然后再倒出来；而是智能围裙在水流经时就瞬间完成了测量和混合。- 益处： 厨师（计算机）不必停下手中的工作来处理数据。这节省了他们的时间和内存。
Core-INC（神奇的中央管道）：
想象连接厨师的管道不仅仅是空的管子，而是“神奇的管道”，它们可以在流动过程中混合食材。如果厨师 A 送来一杯糖，厨师 B 送来一杯面粉，管道会在到达下一个工位之前，在管道内部将它们混合成面糊。- 益处： 这极大地减少了堵塞厨房的交通量。与其向中央搅拌机发送 100 种单独的食材，不如让管道在途中进行组合，这样只有最终结果才会进行长距离传输。
重大障碍（为什么它还不是“魔杖”）
作者认为，虽然这听起来很棒，但实现它面临着六个主要的“厨房噩梦”：
“微小数字”问题（低精度）：
AI 厨师经常使用“微小”的数字（如 4 位或 8 位整数）来快速烹饪。这就像是用一个小茶匙而不是大汤勺。问题在于：如果你把太多微小的数字加在一起，可能会导致勺子溢出或损失精度。- 代价： 为了修复这个问题，“神奇管道”（Core-INC）需要携带更大、更精确的勺子来承载中间结果。但如果它们携带更大的勺子，就会失去原本应有的速度优势。
“特殊形状”问题（向量数据）：
有时食材会以奇怪的自定义形状出现（例如“块浮点数”）。目前的管道是为标准形状构建的。如果管道必须停下来重新调整每种食材的形状以适应自己，就会失去速度。论文警告说，AI 数据格式的变化速度比网络硬件重新设计进行设计的速度更快。“空白空间”问题（稀疏数据）：
有时厨师只使用庞大储藏室中的极少数食材（稀疏数据）。如果管道试图混合这些数据，其中的“空白空间”可能会被垃圾数据（填充物）填满，使混合物变得巨大且缓慢。这就像是在一个巨大的空房间里混合几种香料；突然间，房间里到处都是灰尘。“精确食谱”问题（可复现性）：
在调试过程中，厨师需要知道如果他们两次烹饪同一道菜，结果必须是*位对位（bit-for-bit）*完全一致的。但浮点运算非常微妙：如果你以不同的顺序相加数字，你会得到略微不同的结果。为了节省时间，“神奇管道”会改变运算顺序，这破坏了“精确食谱”规则。修复这个问题所需的额外工作会抵消掉速度提升带来的收益。“交通警察”问题（协调）：
管道需要准确知道何时混合以及何时停止。如果厨房正忙于其他任务（多租户环境），建立这些“混合树”将变成一场物流噩梦。每当一组新厨师开始工作时，很难构建一个定制的流水线。“秘密食谱”问题（加密）：
如果厨师们正在烹饪秘密食谱，他们会对食材进行加密。但如果管道要混合这些食材，它们就需要“看到”数据才能进行数学运算。这破坏了加密。要解决这个问题，你需要“同态加密”（对加密数据进行数学运算），而这在目前非常缓慢，且仅适用于简单的数字，不适用于复杂的 AI 数据。
结论：它会改变一切吗？
作者通过模拟实验（图 5）表明，即使网络将数据传输速度提高了 60%，整体烹饪时间也仅提高了约 11% 到 34%。这是因为 阿姆达尔定律（Amdahl's Law）：如果厨师大部分时间都在切菜（计算），而只有很小一部分时间在传递食材（通信），那么提高传递速度的效果并不显著。
预测：
论文得出结论，网络内集体操作（INC）不会是一场一夜之间的革命。
- 短期内： 它可能会缓慢普及，主要集中在小型、局部的厨房（单交换机设置）中，在这些地方通信是最大的瓶颈。
- 长期来看： 要让它在各处奏效，我们需要标准化（例如文中提到的“Ultra Ethernet”联盟所达成的共识）和更简单的设计。
总结来说，让网络进行数学运算的想法在理论上是“游戏规则改变者”，但在实践中却是一个充满技术陷阱的“挑战”。它可能会循序渐进地到来，从特定的局部用途开始，而不是直接取代整个系统。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。