A Holistic Assessment of the Carbon Footprint of Noor, a Very Large Arabic Language Model

在快速发展的人工智能领域，新一代计算机程序已经出现，它们能够以惊人的流利度理解并生成人类语言。这些系统通常被称为基础模型，是通过将海量文本输入到被称为神经网络的复杂数学结构中构建而成的。该领域普遍存在的观点是“越大越好”：模型看到的数据越多、其内部结构越大，它就变得越聪明。这种对规模的追求导致了拥有数十亿参数的模型诞生，这些模型只需通过识别所消耗文本中的模式，即可无需特定训练就能执行任务。然而，这种对规模的竞赛伴随着隐藏的代价。训练这些模型所需的巨大计算能力消耗了大量的电力，而这种能源使用对环境的影响已成为一个紧迫的问题。随着世界应对气候变化，了解这些数字巨头真实的碳足迹不再仅仅是一个技术细节，而是评估其对社会价值的必要组成部分。

来自阿布扎比技术创新研究所和巴黎 LightOn 的研究小组决定超越常规的数据进行观察。他们没有仅仅计算训练单个模型所消耗的电量，而是对一个名为 Noor 的项目进行了完整的端到端核算。该项目旨在构建有史以来最大的阿拉伯语语言模型，规模从 15 亿到 130 亿个参数不等。研究人员想要了解让这些模型诞生所付出的总环境代价，从收集数据的第一步开始，直到这些模型未来可能被人类使用的时刻。他们追踪了每一个能源消耗来源，包括大规模数据集的存储、获得正确设计所需的初步实验、主要的训练过程，甚至包括国际团队协作所需的旅行。他们的目标是描绘出如此宏大的事业所产生的碳排放的全貌。

旅程始于数据。为了教会模型阿拉伯语，团队必须组建一个包含 1500 亿个单词的定制文本集。这涉及下载海量的网络数据，过滤掉低质量内容，并将其组织成计算机可读的形式。在实际训练开始之前，存储和移动这些数以 TB 计的信息就需要消耗大量能量。研究人员计算出，仅用于存储和传输这些数据以及清洗和准备数据的初步工作，就占了项目总能耗的很大一部分。他们发现，准备数据的努力并非微小的辅助任务，而是整体环境成本的主要贡献者。

一旦数据准备就绪，团队便进入了训练阶段，即计算机学习预测句子中下一个单词的过程。这是整个过程中能耗最高的环节。团队在一台强大的超级计算机上训练了四个规模递增的模型。他们发现，这些模型的碳排放量在很大程度上取决于计算机所在的位置。当他们使用运行清洁电力非常纯净的卢森堡数据中心时，排放量低得令人惊讶。然而，当他们使用位于阿拉伯联合酋长国的自有高性能计算集群时，由于当地的电力组合包含更多高碳强度的能源，排放量则要高得多。研究表明，计算工作的地点与正在进行的计算量同样重要。总而言之，训练这四个模型消耗了最多的能量，但这并不是唯一的因素。

研究人员还观察了项目中的人为因素。团队由分别在法国和阿拉伯联合酋长国的科学家组成，他们需要往返于两国之间以举行研讨会和头脑风暴会议。他们计算了这些飞行的碳排放量，并发现这些飞行占据了总足迹中的显著部分。事实上，仅旅行一项就占了项目总碳排放量的近五分之一。这一发现挑战了普遍的假设，即认为唯一重要的只有计算机运行时间。研究强调，在一个数据中心正变得更加高效且电力变得更加清洁的世界里，人类旅行和其他间接成本可能会成为项目环境影响的主要部分。

展望未来，团队还估算了当这些模型真正被人们使用时可能发生的情况。他们计算了模型在响应用户提示词以生成文本时所需的能量。他们发现，如果这些模型被广泛使用，在日常使用过程中消耗的能量最终可能会超过最初训练它们所用的能量。这是一个至关重要的洞察，因为训练只发生一次，但使用可以发生数百万次。研究人员指出，如果这些模型部署在由清洁能源驱动的计算机上，其影响将会很低；但如果它们在由化石燃料驱动的电网上运行，环境成本可能会非常高。

Noor 项目的最终统计结果为 36.5 吨二氧化碳当量。为了直观理解，美国平均每人每年产生约 20 吨碳排放，这意味着这整个研究项目产生的排放量相当于一个人两年多的排放量。虽然与工业污染相比这似乎规模较小，但对于单项研究工作而言，这具有显著意义。研究结论指出，这一足迹的最大驱动因素是用于训练的电力的碳强度。通过选择在拥有更清洁能源的地点进行计算，团队估计他们可以将总足迹减少一半以上。

该论文并不建议我们停止构建大型语言模型，但它主张我们在构建它们时必须更加周全。研究人员建议，未来的项目应该系统地追踪所有排放源，而不不仅仅是训练时间。他们建议，选择使用清洁能源的数据中心、尽量减少不必要的旅行以及使用更高效的计算机硬件，可以大幅降低环境成本。他们还强调，随着技术的进步和训练过程变得更加高效，关注点必须转向其他成本，例如旅行和模型的长期使用。通过采取整体性的视角，科学界可以在继续推进人工智能发展的同时，密切关注其对地球的影响。