A Methodology for Selecting and Ranking High-Performance GPU Configurations in Deep Learning Training

在人工智能领域，最显眼的突破往往来自软件，但驱动它们的引擎却是硬件。为了教会计算机识别照片中的猫或将一个句子翻译成另一种语言，工程师必须训练复杂的数学模型。这种训练过程对性能的要求极高，需要计算机在极短的时间内执行数十亿次计算。为了处理这种工作负载，研究人员依赖于被称为图形处理器（GPU）的专用芯片，这些芯片旨在同时处理许多任务。然而，仅仅增加这些强大芯片的数量并不总能让工作变快。正如如果办公室太小或工具共享不当，庞大的工人团队可能会拖慢项目的进度一样，增加 GPU 有时会产生瓶向效应，导致芯片在等待数据方面花费的时间比实际工作的时间还要多。科学家和工程师面临的挑战是找到一个甜点，即在速度与系统的成本和复杂性之间取得平衡，从而实现硬件的高效利用。

来自巴利阿里群岛大学的一个研究小组开发了一种解决这一难题的新方法。他们创建了一种方法，用于对用于训练名为 ResNet-50 的流行图像识别模型的各种计算机配置进行分类。他们不仅仅是观察哪个系统完成工作的速度最快，而是想了解哪些系统是最有效的。他们将这些机器的性能视为一种景观，观察随着芯片数量的增加，训练时间、速度和资源使用情况是如何变化的。通过将相似的系统分组并进行比较，他们发现最强大的配置并不总是那些拥有最多芯片的配置。

研究人员首先从一个广泛使用的行业标准——MLPerf Training 基准测试中收集数据。该数据集包含了许多不同组织在同一图像识别任务上测试其硬件的结果。团队查看了每个系统的具体细节，例如所使用的图形芯片类型、安装了多少个芯片、训练耗时多久以及系统每秒可以处理多少张图像。然后，他们使用一种计算机技术来衡量这些细节中哪些最为重要。通过分析可用数据，他们确定了一组对系统性能和效率有显著影响的变量，重点关注可以衡量的可扩展性的关键驱动因素。他们发现，芯片数量与获得的加速之间的关系并不是一条直线。在理想情况下，将芯片数量增加一倍应该使训练时间减半。在现实中，研究人员观察到，随着系统规模的扩大，每个新芯片带来的额外速度增益开始缩减。

为了理清这些复杂的数据，研究人员根据性能表现将不同的计算机配置分为五个不同的类别。他们发现其中一个特定组脱颖而出，成为了最有效的。这些系统使用了适量的最新一代图形芯片（通常在 4 到 16 个单元之间），并配备了强大的中央处理器。这些配置实现了卓越的平衡：它们在保持极高资源效率的同时，非常快速地训练模型。相比之下，拥有最大数量芯片的系统（有些使用数千个单元）虽然以绝对最短的时间完成了任务，但效率却低得多。在这些庞大的设置中，芯片并没有发挥出应有的全力，因为它们在等待数据或彼此协作，这意味着大量昂贵的硬件处于闲置状态。

这项研究表明，训练人工智能模型最好的方法并不是简单地向问题投入更多硬件。相反，最有效的系统是那些不同组件和谐协作的系统。研究人员发现，最优的配置使用了芯片之间的高速连接以及强大的处理器，以便无延迟地向芯片输送数据。这使得图形芯片能够保持忙碌且高效的工作状态。研究结果表明，一个规模较小但经过精细调优的系统通常可以胜过一个庞大但不平衡的系统。对于构建这些系统的机构而言，这意味着投资于精心挑选的适量顶级芯片并确保它们连接妥当，可能比购买规模最大的硬件集群是更明智的选择。这项研究为选择合适的工具提供了清晰的指南，表明效率和性能最好是通过平衡而非单纯追求规模来实现的。