Extending WRSS to Rust, Julia, Haskell, and Python Under Irregular Parallel Workloads

当工程师构建软件来解决大规模问题时，他们通常会将工作分解成较小的部分，并同时分发给许多处理器，希望任务能更快完成。这种被称为并行计算的策略在工作完美均匀时表现得非常出色，就像是在整理一副扑克牌，每个堆里的牌数都一样。在这些有序的情况下，研究人员已经开发出一种方法，可以精确测量速度停止提升的临界点，即增加更多工作者不再产生帮助的那个点。这种被称为“负载-运行时间缩放特征”（Workload–Runtime Scaling Signature）的测量工具，已成功绘制出了在任务预测且统一时，几种编程语言性能极限的图谱。然而，现实世界很少如此整齐。许多科学和商业应用涉及杂乱、不规则的数据，其中一些工作者可能承担了如山般繁重的工作，而另一些人几乎无事可做，这创造了一个标准工具无法察觉的隐藏瓶颈。

一位研究人员试图测试其现有的测量工具是否能够应对这种混乱。他们将原本适用于整齐、规则任务的框架应用于四个困难且不规则的任务：搜索复杂网络、导航深度决策树、进行稀疏矩阵乘法以及模拟空间中粒子的运动。他们在一部强大的计算机系统上使用四种截然不同的编程语言——Rust、Julia、Haskell 和 Python——运行了这些任务。目标是观察当工作分布具有不可预测性且依赖于数据本身时，旧方法是否仍能告知他们减速发生的位置。

研究人员发现，原有的工具缺少了一个关键的拼图碎片。在旧方法中，所有的计算时间都被归为一类。但在这些不规则任务中，由于数据的限制，最慢的工作者往往需要比平均工作者做多得多的工作。研究人员意识到，这种由工作分布不均引起的额外负担，是一个独立于所需总计算量的不同问题。他们提出了一个观察数据的新视角，将计算时间拆分为两个部分：每个人承担的平均工作量，以及被迫加在最慢工作者身上的额外不公平工作量。这种新的四部分视图揭示了旧的三部分视图在描述真实瓶颈所在时往往具有误导性。

当研究人员将这种新的、更详细的视图应用于他们的测试时，结果发生了剧变。对于像搜索复杂网络或模拟密集集群中的粒子这类任务，旧方法声称计算机仍受限于纯粹的计算量。它暗示增加更多的工作者仍会有所帮助。然而，新方法显示，真正的难题在于失衡本身。在许多情况下，最慢工作者承担的额外工作量如此之大，以至于掩盖了系统已经因等待和协调而触及天花板的事实。例如，在一次针对四百万个点的网络测试中，新方法显示，这种失衡占据了总时间的高达 34%，而旧方法将这一因素隐藏在了通用的计算数值之中。

这种视角的转变改变了研究人员对何时停止增加工作者的理解。在旧视图中，一个程序可能看起来在十六个工作者时仍能良好扩展。而在新视图中，同一个程序可能会显示其收益在仅有四个或八个工作者时就已经停止，因为失衡已成为主导问题。研究发现，这种新的诊断方法对于不规则负载是必不可少的，但对于工作自然平衡的规则负载则是多余的。研究人员得出结论，如果不将平均工作量与最慢工作者承担的额外负担分开，性能研究可能会系统性地误导工程师如何优化其软件。

该研究还强调了不同编程语言处理这种混乱情况的方式。以内存管理极其严格而著称的 Rust 语言展现出了保持工作平衡的最佳能力，其产生的额外不公平时间最少。Python 由于采用不同的任务运行方式，表现出了最大的失衡，这可能是因为它拆分工作的方法过于粗糙，无法处理细粒度的不规则性。Julia 和 Haskell 则介于两者之间，其中 Julia 的表现会根据遇到的特定数据而表现出一定的波动性。这些发现表明，对于杂乱、不可预测的任务，选择语言不仅仅是关于原始速度，更是关于该语言如何在工作者之间分配不均匀负载的能力。

最终，这项研究为导航现代计算的复杂性提供了更清晰的地图。它证明了当工作是不规则的时候，旧的经验法则不再适用。通过简单地将平均努力与施加在最慢工作者身上的额外负担分开，工程师终于可以看清系统的真实极限。这种清晰度使他们能够做出更好的决策，决定何时增加算力，以及何时专注于平衡负载，从而确保其软件在现实世界数据的混沌状态下仍能发挥出最高效率。